Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA

发布日期：2025-06-24 23:57    点击次数：143

Qwen3 深夜上新，Embedding 系列全新登场！

它专为文本表征、检索与排序任务设计，旨在将文本（如句子、段落）转换为高质量的向量表示，以便在语义搜索、问答系统、推荐引擎等应用中更有效地处理和理解自然语言。

可用于文档检索、RAG、分类、情感分析、检索等任务。

它在 Qwen3 基础模型上训练而来，充分发挥 Qwen3 的多语言优势。

一共有 0.6B/4B/8B 三种尺寸，8B 版本在 MTEB 多语言 Leaderboard 榜单中排名第一，性能超越一众商业 API 服务。

有人就表示，0.6B 版本不就是为了手机 RAG 准备的吗？期待苹果 WWDC 了。

今年阿里巴巴确认与苹果合作，承接 Apple Intelligenc 在中国的服务。

目前，该系列模型已在 Hugging Face、ModelScope 和 GitHub 平台开源，用户也可以直接使用阿里云百炼平台提供的最新的文本向量模型服务。

3 种尺寸任意挑选

Qwen3-Embedding 系列的主要亮点包括：

泛化强

拿下新 SOTA，排序模型在各类文本检索场景中表现出色，显著提升搜索结果相关性。

架构灵活

提供 0.6B-8B 三种模型配置，开发者可灵活组合表征与排序模块，实现功能扩展。

此外，模型支持以下定制化特性：

表征维度自定义：允许用户根据实际需求调整表征维度，有效降低应用成本；

指令适配优化：支持用户自定义指令模板，以提升特定任务、语言或场景下的性能表现。

多语言支持

Qwen3-Embedding 系列支持 119 种语言，涵盖主流自然语言及多种编程语言。

具体来看模型情况，Qwen3-Embedding 系列一共包含 3 款模型：

Qwen3-Embedding-8B

Qwen3-Embedding-4B

Qwen3-Embedding-0.6B

此外还发布了排序模型 Reranker 系列，评测结果如下图所示：

Qwen3-Reranker-0.6B

Qwen3-Reranker-4B

Qwen3-Reranker-8B

它们在各类文本检索场景中表现出色，可以显著提升搜索结果的相关性。

在模型架构上，Embedding 模型和 Reranker 模型分别采用了双塔结构和单塔结构的设计。

通过 LoRA 微调，最大限度保留并继承了基础模型的文本理解能力。

具体实现如下：

Embedding 模型接收单段文本作为输入，取模型最后一层「EOS」标记对应的隐藏状态向量，作为输入文本的语义表示；

Reranker 模型则接收文本对（例如用户查询与候选文档）作为输入，利用单塔结构计算并输出两个文本的相关性得分。

在实际应用中，Embedding 模型和 Reranker 模型常常结合使用，可以兼顾效率和精度。

比如在 RAG 系统里，Embedding 模型和 Reranker 模型共同构建了检索部分的骨干框架。Embedding 模型用于初步检索，Reranker 模型用于优化候选结果。

在模型训练上，Qwen3-Embedding 系列模型的训练继承了 GTE-Qwen 系列（此前推出的文本向量模型）的多阶段训练范式，针对具体应用场景进行了深度优化。

Embedding 模型的训练过程主要有 3 阶段：

第一阶段，通过超大规模拖监督数据进行对比学习预训练；

第二阶段，基于高质量标注数据进行监督训练；

第三阶段，通过模型融合策略融合多个候选模型，以提升性能。

Reranker 模型的训练中，基于实验验证结果，直接采用高质量标注数据进行监督训练，可以提升训练效率。

Qwen3 团队强调，在 Embedding 模型的第一阶段弱监督训练中，他们构建了多任务适配的 Prompt 体系。

也就是针对不同任务类型和语言特性，使用 Qwen3 动态生成了一系列弱监督文本对，突破了传统方法依赖社区论坛或开源数据筛选获取弱监督文本对的局限性，实现了大规模弱监督数据的高效生成。

One More Thing

值得一提的是，苹果 WWDC25 定档下周二（6 月 10 日）。

中国的 Apple Intelligence 正是由阿里来提供大模型能力。

巧合的是，在 WWDC25 同天 19:30，阿里将开展 Qwen3-Embedding 技术直播。

感兴趣的同学可以在官号蹲一下了。

ModelScope：

https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48

https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f

Hugging Face：

https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f

https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea

GitHub：

https://github.com/QwenLM/Qwen3-Embedding

技术报告：

https://github.com/QwenLM/Qwen3-Embedding/blob/main/qwen3_embedding_technical_report.pdf

—  完  —

� �  量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。

� � 也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～

一键关注 � � 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！