1356字节x86汇编实现Llama2推理
深度2026年5月5日3 分钟阅读
一个完整的Llama2推理引擎，仅用1356字节的x86实模式汇编代码实现，可直接从磁盘启动、加载量化模型并生成文本，无需操作系统介入。目前支持260K参数的stories260K模型，贪婪采样输出。
本文编译自 sectorllm: llama2 inference in < 1500 bytes of x86 assembly，版权归原作者所有。
觉得有用？分享给更多人
相关文章
谷歌发布了 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型，主打更高效率、更低成本和专门化场景（如网络安全）。但旗舰模型 Gemini 3.5 Pro 迟迟未更新，而竞争对手 OpenAI 和 Anthropic 已推出多款新模型，加剧了市场压力。
深度·7月21日·3 分钟
Google 推出 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款模型。3.6 Flash 在多项基准测试中显著优于 3.5 Flash，且成本更低；3.5 Flash-Lite 速度最快、性价比最高；3.5 Flash Cyber 专用于网络安全，仅限有限试点。此外，3.5 Pro 正在测试中，Gemini 4 预训练已启动。
深度·7月21日·5 分钟