llm-all-models-async 0.1:将同步模型转为异步
指南Simon Willison2026年3月31日2 分钟阅读
Simon Willison 发布新插件 llm-all-models-async 0.1,能把只提供同步版本的 LLM 插件模型转为异步。这个插件解决了 Datasette 只能使用异步模型的问题,背后还推动了 LLM 0.30 新增插件钩子机制。
Simon Willison 发布了 llm-all-models-async 0.1,这个插件能把只提供同步版本的 LLM 插件模型注册成异步版本。
LLM 插件可以定义同步和异步两种模型。异步模型通常用于 API 调用的模型,而同步模型则是在插件内部直接运行模型。
Willison 的 llm-mrchatterbox 插件只支持同步模型。他想用 Datasette 的 LLM 功能(特别是 datasette-enrichments-llm)来测试这个插件,但 Datasette 只能使用异步模型。
于是,他让 Claude 帮忙写了个插件,用线程池把同步模型转成异步模型。这个需求还推动了 LLM 本身新增一个插件钩子机制,Willison 刚刚在 LLM 0.30 中发布了这个更新。
本文编译自 llm-all-models-async 0.1,版权归原作者所有。
觉得有用?分享给更多人