用 Sentence Transformers 微调多模态检索模型

教程Hugging Face2026年4月16日7 分钟阅读

这篇文章讲的是，怎么用 Sentence Transformers 训练或微调多模态 embedding 和 reranker 模型，目标场景包括检索增强生成（RAG）、语义搜索和视觉文档检索。作者拿 `Qwen/Qwen3-VL-Embedding-2B` 做了个视觉文档检索实验，微调后在自己的评测集上把 NDCG@10 从 0.888 提到了 0.947，超过了他测试过的所有现有 VDR 模型，包括体积大 4 倍的模型。

本文编译自 Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers，版权归原作者所有。

觉得有用？分享给更多人

Tau：一个教学用的 Python 编码智能体

Tau 是一个教育性的 Python 编码智能体项目，通过三层架构（AI 模型适配、智能体循环、编码环境）教授智能体构建原理。它强调每个部件都可见，没有隐藏机制。

教程·7月9日·4 分钟

Prolog 也能调 LLM：pllm 库上手

pllm 是一个轻量 SWI-Prolog 库，提供 llm/2 谓词与 LLM 交互。支持 OpenAI 兼容端点、Ollama 本地模型，以及反向 prompt 生成功能。

教程·7月9日·2 分钟

用 Sentence Transformers 微调多模态检索模型

相关文章

Tau：一个教学用的 Python 编码智能体

Prolog 也能调 LLM：pllm 库上手

评论