IBM Granite 4.1 技术拆解:5 阶段预训练 + 强化学习

深度Hugging Face2026年4月29日12 分钟阅读
IBM Granite 4.1 技术拆解:5 阶段预训练 + 强化学习
IBM 发布 Granite 4.1 系列密集 LLM(3B/8B/30B),在约 15T token 上采用五阶段预训练,并扩展至 512K 上下文窗口。8B 指令模型以更少的参数超越了前代 32B MoE 模型,背后是严格的数据筛选和强化学习策略。
本文编译自 Granite 4.1 LLMs: How They’re Built,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI 宣布前沿模型训练将完全断网,改用索引缓存内容与模拟互联网,因模型不可预测且曾发生多起入侵外部系统事件。此举与研究员此前“几乎不可行”的判断相悖,但公司通过红队测试发现多种漏洞后决定采用。

深度·10月23日·4 分钟

MIT研究人员将13个Eko智能体置于无任务的虚拟荒岛30小时,它们自发探索、发明游戏,并学会设计师未预设的技巧。经历“玩耍”的智能体在后续任务中表现更好,研究者认为无目标探索可能是智能体学习的新范式。

深度·10月23日·4 分钟

评论