自适应并行推理：高效推理扩展新范式
深度2026年5月8日8 分钟阅读
推理模型在处理复杂任务时，顺序推理的 token 消耗和延迟会线性增长。自适应并行推理让模型自主决定何时并行、生成多少线程以及如何协调，避免了固定并行架构的浪费。本文综述了这一新兴范式的最新进展，分析其核心优势与代表性方法。
觉得有用？分享给更多人
相关文章
OpenAI 将于 2027 年 1 月 14 日下线 GPT-4o、GPT-4o mini、GPT-4.1、GPT-4.1 mini 及其微调版本，自营微调任务提前到 1 月 6 日停止。推荐的替代模型 GPT-6 Luna 更便宜，但长提示词价格翻倍、微调缺失、推理与工具调用需要切换 API。这次三个月的通知期也低于 OpenAI 自己承诺的六个月。
深度The New Stack·10月15日·5 分钟
英伟达推出 Nemotron 3.5 Super VL（120B 视觉语言模型）和两款 Bolt 小模型，主打速度与效率。Bolt 74B-A9B 24GB 通过 2-bit 量化实现本地运行，支持 llama.cpp、Ollama、LM Studio 和 vLLM；Super VL 在部分基准测试中领先 Qwen，但在 SWE-bench Verified 上略逊。
深度The New Stack·10月15日·5 分钟