mteb

GitHub
3.2k 591 非常简单 1 次阅读 今天Apache-2.0其他语言模型开发框架
AI 解读 由 AI 自动生成,仅供参考

MTEB(Massive Text Embedding Benchmark)是一个专为评估文本嵌入模型和信息检索系统而设计的开源基准测试工具。在自然语言处理领域,面对层出不穷的嵌入模型,开发者往往难以判断哪个模型最适合自己的业务场景。MTEB 通过提供一套涵盖语义搜索、重排序、聚类、分类等多样化任务的标准化评测体系,有效解决了模型性能对比难、评估标准不统一的痛点。

这款工具非常适合 AI 研究人员、算法工程师以及需要选型嵌入模型的开发者使用。其核心亮点在于庞大的任务库和便捷的易用性:用户只需几行 Python 代码或简单的命令行指令,即可加载主流模型(如 Sentence Transformers)并在多个数据集上自动运行评估。此外,MTEB 还维护着一个公开的交互式排行榜,实时展示各类模型在不同任务上的表现,为技术选型提供直观的数据支持。无论是想要验证新模型的效果,还是希望在项目中快速找到最优的嵌入方案,MTEB 都能提供专业且高效的帮助。

使用场景

某金融科技团队正在为智能客服系统筛选最佳的文本嵌入模型,以优化用户意图识别和知识库检索效果。

没有 mteb 时

  • 评估标准混乱:团队需手动收集多个分散的数据集(如分类、聚类、检索),难以统一测试标准,导致不同模型的对比缺乏公平性。
  • 开发成本高昂:工程师需花费数天编写自定义评估脚本,处理数据加载、指标计算及结果格式化,严重拖慢选型进度。
  • 结果可信度低:自测结果无法与社区主流基准对齐,难以判断模型在真实复杂场景下的泛化能力,存在上线后效果不达预期的风险。
  • 复现困难:缺乏统一的缓存管理和任务定义机制,不同成员运行的实验结果难以复现和追溯。

使用 mteb 后

  • 基准统一规范:直接调用 MTEB 内置的 50+ 标准化任务(如 Banking77Classification),一键在相同维度下公平对比多个候选模型。
  • 效率显著提升:通过简单的 Python API 或 CLI 命令即可启动全流程评估,将原本数天的工作缩短至几小时,快速产出详细报告。
  • 决策依据充分:评估结果自动对齐 Hugging Face 官方排行榜,团队可直观参考全球社区验证过的性能数据,精准锁定最适合金融场景的模型。
  • 实验可复现:利用 MTEB 自带的任务版本控制和缓存机制,确保每次评估环境一致,轻松回溯和验证历史实验数据。

MTEB 通过提供标准化的大规模评估框架,帮助团队从繁琐的基建工作中解放出来,以数据驱动的方式高效锁定最优嵌入模型。

运行环境要求

操作系统
  • 未说明
GPU

未说明

内存

未说明

依赖
notesREADME 中未明确列出具体的操作系统、GPU、内存或 Python 版本要求。该工具主要通过 pip 或 uv 安装,核心依赖为 sentence-transformers(用于加载模型)。具体硬件需求取决于所评估的嵌入模型大小及任务数据集规模。
python未说明
sentence-transformers
mteb hero image

快速开始

MTEB MTEB

多模态嵌入与检索系统评估工具箱

GitHub release License Downloads

安装 | 使用 | 排行榜 | 文档 | 引用

安装

您可以使用 pip 或 uv 轻松安装 mteb。有关更多安装信息,请参阅文档

pip install mteb

为了更快地安装,您也可以使用 uv

uv add mteb

示例用法

下面是一个简单的使用案例示例。更多信息请参阅文档

import mteb
from sentence_transformers import SentenceTransformer

# 选择模型
model_name = "sentence-transformers/all-MiniLM-L6-v2"
model = mteb.get_model(model_name) # 如果该模型未在 MTEB 中实现,则等同于 SentenceTransformer(model_name)

# 选择任务
tasks = mteb.get_tasks(tasks=["Banking77Classification.v2"])

# 评估
results = mteb.evaluate(model, tasks=tasks)

您也可以使用命令行运行:

mteb run \
    -m sentence-transformers/all-MiniLM-L6-v2 \
    -t "Banking77Classification.v2" \
    --output-folder results

有关如何使用命令行的更多信息,请查看相关文档

概述

概述
📈 排行榜 基准测试的交互式排行榜
入门.
🏃 入门 mteb 的使用方法概述
🤖 定义模型 如何使用现有模型并定义自定义模型
📋 选择任务 如何选择任务、基准测试、数据集划分等
🏭 运行评估 如何运行评估,包括缓存管理、加速评估等
📊 加载结果 如何加载和处理现有模型的结果
概述.
📋 任务 可用任务概述
📐 基准测试 可用基准测试概述
🤖 模型 可用模型概述
贡献
🤖 添加模型 如何将模型提交到 MTEB 和排行榜
👩‍💻 添加数据集 如何向 MTEB 添加新任务/数据集
👩‍💻 添加基准测试 如何向 MTEB 和排行榜添加新基准测试
🤝 贡献 如何为 MTEB 做出贡献并将其设置为开发状态

引用

MTEB 最初在论文 “MTEB: 大规模文本嵌入基准” 中提出,并在 “MMTEB: 大规模多语言文本嵌入基准” 中得到了大幅扩展。在使用 mteb 时,我们建议同时引用这两篇文章。

BibTeX 引用(点击展开)
@article{muennighoff2022mteb,
  author = {Muennighoff, Niklas and Tazi, Nouamane and Magne, Loïc and Reimers, Nils},
  title = {MTEB: Massive Text Embedding Benchmark},
  publisher = {arXiv},
  journal={arXiv preprint arXiv:2210.07316},
  year = {2022},
  url = {https://arxiv.org/abs/2210.07316},
  doi = {10.48550/ARXIV.2210.07316},
}

@article{enevoldsen2025mmtebmassivemultilingualtext,
  title={MMTEB: Massive Multilingual Text Embedding Benchmark},
  author={Kenneth Enevoldsen and Isaac Chung and Imene Kerboua and Márton Kardos and Ashwin Mathur and David Stap and Jay Gala and Wissam Siblini and Dominik Krzemiński and Genta Indra Winata and Saba Sturua and Saiteja Utpala and Mathieu Ciancone and Marion Schaeffer and Gabriel Sequeira and Diganta Misra and Shreeya Dhakal and Jonathan Rystrøm and Roman Solomatin and Ömer Çağatan and Akash Kundu and Martin Bernstorff and Shitao Xiao and Akshita Sukhlecha and Bhavish Pahwa and Rafał Poświata and Kranthi Kiran GV and Shawon Ashraf and Daniel Auras and Björn Plüster and Jan Philipp Harries and Loïc Magne and Isabelle Mohr and Mariya Hendriksen and Dawei Zhu and Hippolyte Gisserot-Boukhlef and Tom Aarsen and Jan Kostkan and Konrad Wojtasik and Taemin Lee and Marek Šuppa and Crystina Zhang and Roberta Rocca and Mohammed Hamdy and Andrianos Michail and John Yang and Manuel Faysse and Aleksei Vatolin and Nandan Thakur and Manan Dey and Dipam Vasani and Pranjal Chitale and Simone Tedeschi and Nguyen Tai and Artem Snegirev and Michael Günther and Mengzhou Xia and Weijia Shi and Xing Han Lù and Jordan Clive and Gayatri Krishnakumar and Anna Maksimova and Silvan Wehrli and Maria Tikhonova and Henil Panchal and Aleksandr Abramov and Malte Ostendorff and Zheng Liu and Simon Clematide and Lester James Miranda and Alena Fenogenova and Guangyu Song and Ruqiya Bin Safi and Wen-Ding Li and Alessia Borghini and Federico Cassano and Hongjin Su and Jimmy Lin and Howard Yen and Lasse Hansen and Sara Hooker and Chenghao Xiao and Vaibhav Adlakha and Orion Weller and Siva Reddy and Niklas Muennighoff},
  publisher = {arXiv},
  journal={arXiv preprint arXiv:2502.13595},
  year={2025},
  url={https://arxiv.org/abs/2502.13595},
  doi = {10.48550/arXiv.2502.13595},
}

如果您使用了特定的基准测试,我们也建议您引用该基准及其任务的作者:

benchmark = mteb.get_benchmark("MTEB(eng, v2)")
benchmark.citation # 获取特定基准的引用信息

# 您还可以使用以下代码为附录生成任务表格:
benchmark.tasks.to_latex()

版本历史

2.12.202026/04/16
2.12.192026/04/16
2.12.182026/04/16
2.12.172026/04/16
2.12.162026/04/10
2.12.152026/04/06
2.12.142026/04/05
2.12.132026/04/05
2.12.122026/04/05
2.12.112026/04/05
2.12.102026/04/05
2.12.92026/04/02
2.12.82026/03/31
2.12.72026/03/30
2.12.62026/03/30
2.12.52026/03/29
2.12.42026/03/29
2.12.32026/03/28
2.12.22026/03/28
2.12.12026/03/27

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

158.6k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|6天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|1周前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架