字节语言模型：扩展性、抽象涌现与计算分配
深度2026年10月10日5 分钟阅读
华东师范大学和复旦大学的研究者探索了无分词器的字节语言模型。他们发现，通过令牌叠加训练和哈希嵌入，字节级 Transformer 在扩大规模时性能可超越子词模型，并能让局部抽象结构自然涌现，最终在推测解码中实现 3.4 倍的加速。
觉得有用？分享给更多人
相关文章
Claude Code 重新设计的 Projects 为智能体提供了跨会话的共享记忆，而构建平台在每次组件版本化时写下的依赖记录则提供了另一种上下文来源。作者在空工作区中测试：Claude 通过 read_scope 和 read_components 两次 MCP 调用就定位了共享契约并完成客户端过滤功能。但记录在行为层失效——调用列表未被验证、跳过测试的绿色构建掩盖了问题。作者认为记忆负责意图，记录负责结构，两者互补，且都应从第一个组件就开始积累。
深度The New Stack·10月11日·7 分钟
Anthropic 推出 OSS Scanner，让 Claude 直接向开源维护者发送未经人工验证的漏洞报告。虽然 curl、OpenSSL、wolfSSL 等项目的维护者反馈积极，但 2.9 万个候选漏洞中仅 516 个被修复，暴露出 AI 找漏洞容易、人类修漏洞难的现实瓶颈。
深度The New Stack·10月11日·6 分钟