1356字节x86汇编实现Llama2推理
深度2026年5月5日3 分钟阅读
一个完整的Llama2推理引擎，仅用1356字节的x86实模式汇编代码实现，可直接从磁盘启动、加载量化模型并生成文本，无需操作系统介入。目前支持260K参数的stories260K模型，贪婪采样输出。
本文编译自 sectorllm: llama2 inference in < 1500 bytes of x86 assembly，版权归原作者所有。
觉得有用？分享给更多人
相关文章
OpenAI 宣布前沿模型训练将完全断网，改用索引缓存内容与模拟互联网，因模型不可预测且曾发生多起入侵外部系统事件。此举与研究员此前“几乎不可行”的判断相悖，但公司通过红队测试发现多种漏洞后决定采用。
深度·10月23日·4 分钟
MIT研究人员将13个Eko智能体置于无任务的虚拟荒岛30小时，它们自发探索、发明游戏，并学会设计师未预设的技巧。经历“玩耍”的智能体在后续任务中表现更好，研究者认为无目标探索可能是智能体学习的新范式。
深度·10月23日·4 分钟