llm-all-models-async 0.1:将同步模型转为异步

指南Simon Willison2026年3月31日2 分钟阅读
Simon Willison 发布新插件 llm-all-models-async 0.1,能把只提供同步版本的 LLM 插件模型转为异步。这个插件解决了 Datasette 只能使用异步模型的问题,背后还推动了 LLM 0.30 新增插件钩子机制。

Simon Willison 发布了 llm-all-models-async 0.1,这个插件能把只提供同步版本的 LLM 插件模型注册成异步版本。

LLM 插件可以定义同步和异步两种模型。异步模型通常用于 API 调用的模型,而同步模型则是在插件内部直接运行模型。

Willison 的 llm-mrchatterbox 插件只支持同步模型。他想用 Datasette 的 LLM 功能(特别是 datasette-enrichments-llm)来测试这个插件,但 Datasette 只能使用异步模型。

于是,他让 Claude 帮忙写了个插件,用线程池把同步模型转成异步模型。这个需求还推动了 LLM 本身新增一个插件钩子机制,Willison 刚刚在 LLM 0.30 中发布了这个更新。

本文编译自 llm-all-models-async 0.1,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

pgEdge 推出开源 MCP Server for Postgres,支持 AI 智能体通过模型上下文协议(MCP)而非传统 API 方式访问数据库。服务强调数据源无关性、完整模式自省和 token 优化,适用于 Claude Code、Cursor 等主流 AI 开发工具。

指南The New Stack·4月2日·4 分钟

Google 推出 Flex 和 Priority 两个新的推理层级,帮助开发者平衡成本与可靠性。Flex 是成本优化层级,适合后台任务,价格便宜一半;Priority 是最高保障层级,适合用户交互型应用。两者都通过同步接口调用,简化了架构管理。

指南·4月2日·3 分钟

评论