S
SkillNav

在浏览器里用小型语言模型跑 RAG：实测与踩坑

深度2026年10月13日8 分钟阅读
在浏览器里用小型语言模型跑 RAG：实测与踩坑
作者给博客加了一个纯浏览器的 RAG 问答功能，模型跑在用户自己的 GPU 上，不经过任何服务器。他用 30 个可回答的问题和 15 个博客没有答案的近义问题实测了多个小模型，发现 350 MB 以下的模型最多只有 3/30 的回答有事实依据，还会一本正经地编造显卡选购建议。
本文编译自 Running RAG with a (small) language model in the browser，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

概念速查

检索增强生成

RAG 让大模型在回答前先检索相关资料，用真实数据代替「编造」——给 AI 装上一个实时更新的知识库。

相关文章

AI 智能体的安全：从静态关卡转向持续生命周期

AI 智能体不仅访问系统，还会解释目标、选择工具、创建子智能体并继承人类凭证执行动作，静态权限检查无法覆盖。文章主张在动作级别进行授权，结合智能体身份、委托来源、目标资源和策略做出决策，并通过观察、强制、构建、部署四个相互关联的环节，将安全融入智能体的整个生命周期。

深度The New Stack·10月22日·8 分钟

Google 把 Gemini 智能体基础设施做成云服务

Google 宣布 Agent Compute Engine 将于今年晚些时候在 Google Cloud 上预览，为每个智能体提供硬件隔离的微虚拟机，兼顾容器速度与沙箱安全。同时，开源项目 Agent Substrate 将类似能力带到 GKE，支持高密度智能体部署。

深度The New Stack·10月22日·7 分钟

评论