DSPy 优化 Datasette Agent 的 SQL 提示词
教程Simon Willison2026年7月2日3 分钟阅读
Simon Willison 尝试用 DSPy 框架评估和改进 Datasette Agent 的 SQL 系统提示词。通过自动化测试和优化,他发现了几个可以提升 AI 生成 SQL 质量的方向。
觉得有用?分享给更多人
觉得有用?分享给更多人
by daymade
适合把模糊需求、零散 prompt 提炼成可测试的结构化规范,基于 EARS 补全触发条件、约束和示例,用于优化 AI 生成代码、产品方案或文档输入。
✎ 把含糊需求快速整理成清晰、可执行的规范,尤其适合写代码和产品文档时用 EARS 方法补齐细节、少走弯路。
by daymade
用Promptfoo搭建和执行LLM评测流程,覆盖promptfooconfig.yaml配置、Prompt测试、模型对比、Python自定义断言、llm-rubric评分与few-shot示例管理。
✎ 做提示词测试和模型对比时,提示词评测能把 Promptfoo 流程快速搭起来,YAML 配置、Python 断言和 LLM-as-judge 都很顺手。
Matt Pocock 介绍了他新发布的 /wayfinder Skill,针对项目规划阶段“迷雾重重”的场景,通过地图、门票等概念拆分任务,让 Agent 自主完成规划、原型和研究。他强调术语一致性的重要性,并建议在单体会话能完成的小任务上使用原有的 grill-me Skill。
文章指出,Token 优化是一个系统性问题,重点在于工作流重构而非单纯压缩提示词。通过引入语义缓存、上下文预算、模型路由等架构组件,可以显著减少重复计算,降低成本与延迟。