Llama-3-70B 分治策略击败 GPT-4o 长文本处理

深度2026年3月26日4 分钟阅读
Llama-3-70B 分治策略击败 GPT-4o 长文本处理
大语言模型(LLM)的上下文窗口(Context Window)越来越大,但性能却会随着文本长度增加而意外下降。研究发现,采用分治(Divide & Conquer)框架——将长文档拆分成并行处理的块,由规划器(Planner)、工作器(Worker)和管理器(Manager)协同——可以让 Llama-3-70B、Qwen-72B 等小模型在长上下文任务上超越 GPT-4o 的单次处理(Single-shot)。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI 的 Decisions API 进入公测并加入图像输入,能在文本或图像上输出谓词、选项、分数三类结构化结果,模型跑在 GPT-6 Luna 上,按每百万输入 token 0.10 美元计费。Perplexity、Cloudflare、Amazon 也在本月发布了各自的开放权重决策模型,可下载自部署。OpenAI 坚持托管 API 的做法,可能成为开发者选型的关键差异。

深度The New Stack·10月7日·4 分钟

Haiku 5.5 定价 $0.10/$0.50 每百万 token(10 万 token 内),超过后涨价 5 倍;但新分词器让相同提示词多消耗约 1.25 倍 token,存在隐性涨价。Anthropic 同时将 Sonnet 5.5 的缓存读取价格减半,并为 Max 和 Team 订阅用户提供每月 API 额度。

深度Simon Willison·10月7日·4 分钟

评论