Dan Woods 用 Apple 论文在 MacBook 上跑 Qwen 397B

深度Simon Willison2026年3月18日2 分钟阅读
Dan Woods 利用 Apple 的「LLM in a Flash」研究,在 48GB 内存的 MacBook Pro M3 Max 上,让 Qwen3.5-397B-A17B 模型以每秒 5.5+ token 的速度运行。他通过 Claude Code 自动执行了 90 次实验,生成了优化的 MLX 和 Metal 代码。
本文编译自 Autoresearching Apple's "LLM in a Flash" to run Qwen 397B locally,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

新版 Claude 模型在调用 Pi 的 edit 工具时,会在嵌套的 edits 数组中凭空捏造大量额外键(如 requireUnique、oldText2 等),导致工具调用失败。作者分析认为,这是由于模型在后训练中过度适应了 Claude Code 的扁平编辑工具 schema,遇到不同形状的工具时更易生成不符合 schema 的调用。开启 strict 模式可解决,但显示了后训练对模型行为的深刻影响。

深度·7月4日·12 分钟

阿里巴巴报告将禁止员工使用 Anthropic 的 Claude Code 编程工具,自7月10日起生效。该工具被列为高风险软件,员工将被要求使用阿里自研的 Qoder 替代。此前 Anthropic 已禁止中国公司使用其模型,并曾通过实验性代码识别中国用户以防止滥用。

深度·7月4日·2 分钟

评论