[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-embeddings-benchmark--mteb":3,"tool-embeddings-benchmark--mteb":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":77,"languages":78,"stars":97,"forks":98,"last_commit_at":99,"license":100,"difficulty_score":101,"env_os":102,"env_gpu":102,"env_ram":102,"env_deps":103,"category_tags":107,"github_topics":109,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":125,"updated_at":126,"faqs":127,"releases":162},8343,"embeddings-benchmark\u002Fmteb","mteb","MTEB: Massive Text Embedding Benchmark","MTEB（Massive Text Embedding Benchmark）是一个专为评估文本嵌入模型和信息检索系统而设计的开源基准测试工具。在自然语言处理领域，面对层出不穷的嵌入模型，开发者往往难以判断哪个模型最适合自己的业务场景。MTEB 通过提供一套涵盖语义搜索、重排序、聚类、分类等多样化任务的标准化评测体系，有效解决了模型性能对比难、评估标准不统一的痛点。\n\n这款工具非常适合 AI 研究人员、算法工程师以及需要选型嵌入模型的开发者使用。其核心亮点在于庞大的任务库和便捷的易用性：用户只需几行 Python 代码或简单的命令行指令，即可加载主流模型（如 Sentence Transformers）并在多个数据集上自动运行评估。此外，MTEB 还维护着一个公开的交互式排行榜，实时展示各类模型在不同任务上的表现，为技术选型提供直观的数据支持。无论是想要验证新模型的效果，还是希望在项目中快速找到最优的嵌入方案，MTEB 都能提供专业且高效的帮助。","\u003Ch1 align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_readme_1ce8d7b03018.png\" alt=\"MTEB\" width=\"28\" style=\"vertical-align: middle; margin-right: 10px;\"\u002F> MTEB\n\u003C\u002Fh1>\n\n\u003Ch3 align=\"center\" style=\"border-bottom: none;\">Multimodal toolbox for evaluating embeddings and retrieval systems\u003C\u002Fh3>\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Freleases\">\n        \u003Cimg alt=\"GitHub release\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frelease\u002Fembeddings-benchmark\u002Fmteb.svg\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fblob\u002Fmaster\u002FLICENSE\">\n        \u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fembeddings-benchmark\u002Fmteb.svg?color=green\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpepy.tech\u002Fproject\u002Fmteb\">\n        \u003Cimg alt=\"Downloads\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_readme_e66901f0d920.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Ch4 align=\"center\">\n    \u003Cp>\n        \u003Ca href=\"https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Finstallation\u002F\">Installation\u003C\u002Fa> |\n        \u003Ca href=\"https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F\">Usage\u003C\u002Fa> |\n        \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmteb\u002Fleaderboard\">Leaderboard\u003C\u002Fa> |\n        \u003Ca href=\"https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F\">Documentation\u003C\u002Fa> |\n        \u003Ca href=\"#citing\">Citing\u003C\u002Fa>\n    \u003C\u002Fp>\n\u003C\u002Fh4>\n\n\n\u003Ch3 align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmteb\u002Fleaderboard\">\u003Cimg style=\"float: middle; padding: 10px 10px 10px 10px;\" width=\"60\" height=\"55\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_readme_d637797d5818.png\" \u002F>\u003C\u002Fa>\n\u003C\u002Fh3>\n\n\n## Installation\n\nYou can install mteb simply using pip or uv. For more on installation please see the [documentation](https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Finstallation\u002F).\n\n```bash\npip install mteb\n```\n\nFor faster installation, you can also use [uv](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002F):\n```bash\nuv add mteb\n```\n\n\n## Example Usage\n\nBelow we present a simple use-case example. For more information, see the [documentation](https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F).\n\n```python\nimport mteb\nfrom sentence_transformers import SentenceTransformer\n\n# Select model\nmodel_name = \"sentence-transformers\u002Fall-MiniLM-L6-v2\"\nmodel = mteb.get_model(model_name) # if the model is not implemented in MTEB it will be eq. to SentenceTransformer(model_name)\n\n# Select tasks\ntasks = mteb.get_tasks(tasks=[\"Banking77Classification.v2\"])\n\n# evaluate\nresults = mteb.evaluate(model, tasks=tasks)\n```\n\nYou can also run it using the CLI:\n\n```bash\nmteb run \\\n    -m sentence-transformers\u002Fall-MiniLM-L6-v2 \\\n    -t \"Banking77Classification.v2\" \\\n    --output-folder results\n```\n\nFor more on how to use the CLI check out the [related documentation](https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Fcli\u002F).\n\n## Overview\n\n| Overview                       |                                                                                      |\n|--------------------------------|--------------------------------------------------------------------------------------|\n| 📈 [Leaderboard]               | The interactive leaderboard of the benchmark                                         |\n| **Get Started**.               |                                                                                      |\n| 🏃 [Get Started]               | Overview of how to use mteb                                                          |\n| 🤖 [Defining Models]           | How to use existing model and define custom ones                                     |\n| 📋 [Selecting tasks]           | How to select tasks, benchmarks, splits etc.                                         |\n| 🏭 [Running Evaluation]        | How to run the evaluations, including cache management, speeding up evaluations etc. |\n| 📊 [Loading Results]           | How to load and work with existing model results                                     |\n| **Overview**.                  |                                                                                      |\n| 📋 [Tasks]                     | Overview of available tasks                                                          |\n| 📐 [Benchmarks]                | Overview of available benchmarks                                                     |\n| 🤖 [Models]                    | Overview of available Models                                                         |\n| **Contributing**               |                                                                                      |\n| 🤖 [Adding a model]            | How to submit a model to MTEB and to the leaderboard                                 |\n| 👩‍💻 [Adding a dataset]          | How to add a new task\u002Fdataset to MTEB                                                |\n| 👩‍💻 [Adding a benchmark]        | How to add a new benchmark to MTEB and to the leaderboard                            |\n| 🤝 [Contributing]              | How to contribute to MTEB and set it up for development                              |\n\n[Get Started]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F\n[Defining Models]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Fdefining_the_model\u002F\n[Selecting tasks]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Fselecting_tasks\u002F\n[Running Evaluation]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Frunning_the_evaluation\u002F\n[Loading Results]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Floading_results\u002F\n[Tasks]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Foverview\u002Favailable_tasks\u002Fretrieval\u002F\n[Benchmarks]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Foverview\u002Favailable_benchmarks\u002F\n[Models]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Foverview\u002Favailable_models\u002Ftext\u002F\n[Contributing]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002FCONTRIBUTING\u002F\n[Adding a model]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fcontributing\u002Fadding_a_model\u002F\n[Adding a dataset]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fcontributing\u002Fadding_a_dataset\u002F\n[Adding a benchmark]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fcontributing\u002Fadding_a_benchmark\u002F\n[Leaderboard]: https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmteb\u002Fleaderboard\n\n## Citing\n\nMTEB was introduced in \"[MTEB: Massive Text Embedding Benchmark](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.07316)\", and heavily expanded in \"[MMTEB: Massive Multilingual Text Embedding Benchmark](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.13595)\". When using `mteb`, we recommend that you cite both articles.\n\n\u003Cdetails>\n  \u003Csummary> Bibtex Citation (click to unfold) \u003C\u002Fsummary>\n\n\n```bibtex\n@article{muennighoff2022mteb,\n  author = {Muennighoff, Niklas and Tazi, Nouamane and Magne, Loïc and Reimers, Nils},\n  title = {MTEB: Massive Text Embedding Benchmark},\n  publisher = {arXiv},\n  journal={arXiv preprint arXiv:2210.07316},\n  year = {2022},\n  url = {https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.07316},\n  doi = {10.48550\u002FARXIV.2210.07316},\n}\n\n@article{enevoldsen2025mmtebmassivemultilingualtext,\n  title={MMTEB: Massive Multilingual Text Embedding Benchmark},\n  author={Kenneth Enevoldsen and Isaac Chung and Imene Kerboua and Márton Kardos and Ashwin Mathur and David Stap and Jay Gala and Wissam Siblini and Dominik Krzemiński and Genta Indra Winata and Saba Sturua and Saiteja Utpala and Mathieu Ciancone and Marion Schaeffer and Gabriel Sequeira and Diganta Misra and Shreeya Dhakal and Jonathan Rystrøm and Roman Solomatin and Ömer Çağatan and Akash Kundu and Martin Bernstorff and Shitao Xiao and Akshita Sukhlecha and Bhavish Pahwa and Rafał Poświata and Kranthi Kiran GV and Shawon Ashraf and Daniel Auras and Björn Plüster and Jan Philipp Harries and Loïc Magne and Isabelle Mohr and Mariya Hendriksen and Dawei Zhu and Hippolyte Gisserot-Boukhlef and Tom Aarsen and Jan Kostkan and Konrad Wojtasik and Taemin Lee and Marek Šuppa and Crystina Zhang and Roberta Rocca and Mohammed Hamdy and Andrianos Michail and John Yang and Manuel Faysse and Aleksei Vatolin and Nandan Thakur and Manan Dey and Dipam Vasani and Pranjal Chitale and Simone Tedeschi and Nguyen Tai and Artem Snegirev and Michael Günther and Mengzhou Xia and Weijia Shi and Xing Han Lù and Jordan Clive and Gayatri Krishnakumar and Anna Maksimova and Silvan Wehrli and Maria Tikhonova and Henil Panchal and Aleksandr Abramov and Malte Ostendorff and Zheng Liu and Simon Clematide and Lester James Miranda and Alena Fenogenova and Guangyu Song and Ruqiya Bin Safi and Wen-Ding Li and Alessia Borghini and Federico Cassano and Hongjin Su and Jimmy Lin and Howard Yen and Lasse Hansen and Sara Hooker and Chenghao Xiao and Vaibhav Adlakha and Orion Weller and Siva Reddy and Niklas Muennighoff},\n  publisher = {arXiv},\n  journal={arXiv preprint arXiv:2502.13595},\n  year={2025},\n  url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.13595},\n  doi = {10.48550\u002FarXiv.2502.13595},\n}\n```\n\u003C\u002Fdetails>\n\n\nIf you use any of the specific benchmarks, we also recommend that you cite the authors of both the benchmark and its tasks:\n\n```py\nbenchmark = mteb.get_benchmark(\"MTEB(eng, v2)\")\nbenchmark.citation # get citation for a specific benchmark\n\n# you can also create a table of the task for the appendix using:\nbenchmark.tasks.to_latex()\n```\n","\u003Ch1 align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_readme_1ce8d7b03018.png\" alt=\"MTEB\" width=\"28\" style=\"vertical-align: middle; margin-right: 10px;\"\u002F> MTEB\n\u003C\u002Fh1>\n\n\u003Ch3 align=\"center\" style=\"border-bottom: none;\">多模态嵌入与检索系统评估工具箱\u003C\u002Fh3>\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Freleases\">\n        \u003Cimg alt=\"GitHub release\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frelease\u002Fembeddings-benchmark\u002Fmteb.svg\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fblob\u002Fmaster\u002FLICENSE\">\n        \u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fembeddings-benchmark\u002Fmteb.svg?color=green\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpepy.tech\u002Fproject\u002Fmteb\">\n        \u003Cimg alt=\"Downloads\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_readme_e66901f0d920.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Ch4 align=\"center\">\n    \u003Cp>\n        \u003Ca href=\"https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Finstallation\u002F\">安装\u003C\u002Fa> |\n        \u003Ca href=\"https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F\">使用\u003C\u002Fa> |\n        \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmteb\u002Fleaderboard\">排行榜\u003C\u002Fa> |\n        \u003Ca href=\"https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F\">文档\u003C\u002Fa> |\n        \u003Ca href=\"#citing\">引用\u003C\u002Fa>\n    \u003C\u002Fp>\n\u003C\u002Fh4>\n\n\n\u003Ch3 align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmteb\u002Fleaderboard\">\u003Cimg style=\"float: middle; padding: 10px 10px 10px 10px;\" width=\"60\" height=\"55\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_readme_d637797d5818.png\" \u002F>\u003C\u002Fa>\n\u003C\u002Fh3>\n\n\n## 安装\n\n您可以使用 pip 或 uv 轻松安装 mteb。有关更多安装信息，请参阅[文档](https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Finstallation\u002F)。\n\n```bash\npip install mteb\n```\n\n为了更快地安装，您也可以使用 [uv](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002F)：\n```bash\nuv add mteb\n```\n\n\n## 示例用法\n\n下面是一个简单的使用案例示例。更多信息请参阅[文档](https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F)。\n\n```python\nimport mteb\nfrom sentence_transformers import SentenceTransformer\n\n# 选择模型\nmodel_name = \"sentence-transformers\u002Fall-MiniLM-L6-v2\"\nmodel = mteb.get_model(model_name) # 如果该模型未在 MTEB 中实现，则等同于 SentenceTransformer(model_name)\n\n# 选择任务\ntasks = mteb.get_tasks(tasks=[\"Banking77Classification.v2\"])\n\n# 评估\nresults = mteb.evaluate(model, tasks=tasks)\n```\n\n您也可以使用命令行运行：\n\n```bash\nmteb run \\\n    -m sentence-transformers\u002Fall-MiniLM-L6-v2 \\\n    -t \"Banking77Classification.v2\" \\\n    --output-folder results\n```\n\n有关如何使用命令行的更多信息，请查看[相关文档](https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Fcli\u002F)。\n\n## 概述\n\n| 概述                       |                                                                                      |\n|--------------------------------|--------------------------------------------------------------------------------------|\n| 📈 [排行榜]               | 基准测试的交互式排行榜                                         |\n| **入门**.               |                                                                                      |\n| 🏃 [入门]               | mteb 的使用方法概述                                                          |\n| 🤖 [定义模型]           | 如何使用现有模型并定义自定义模型                                     |\n| 📋 [选择任务]           | 如何选择任务、基准测试、数据集划分等                                         |\n| 🏭 [运行评估]        | 如何运行评估，包括缓存管理、加速评估等                                 |\n| 📊 [加载结果]           | 如何加载和处理现有模型的结果                                     |\n| **概述**.                  |                                                                                      |\n| 📋 [任务]                     | 可用任务概述                                                          |\n| 📐 [基准测试]                | 可用基准测试概述                                                     |\n| 🤖 [模型]                    | 可用模型概述                                                         |\n| **贡献**               |                                                                                      |\n| 🤖 [添加模型]            | 如何将模型提交到 MTEB 和排行榜                                 |\n| 👩‍💻 [添加数据集]          | 如何向 MTEB 添加新任务\u002F数据集                                                |\n| 👩‍💻 [添加基准测试]        | 如何向 MTEB 和排行榜添加新基准测试                            |\n| 🤝 [贡献]              | 如何为 MTEB 做出贡献并将其设置为开发状态                              |\n\n[入门]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002F\n[定义模型]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Fdefining_the_model\u002F\n[选择任务]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Fselecting_tasks\u002F\n[运行评估]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Frunning_the_evaluation\u002F\n[加载结果]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fget_started\u002Fusage\u002Floading_results\u002F\n[任务]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Foverview\u002Favailable_tasks\u002Fretrieval\u002F\n[基准测试]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Foverview\u002Favailable_benchmarks\u002F\n[模型]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Foverview\u002Favailable_models\u002Ftext\u002F\n[贡献]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002FCONTRIBUTING\u002F\n[添加模型]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fcontributing\u002Fadding_a_model\u002F\n[添加数据集]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fcontributing\u002Fadding_a_dataset\u002F\n[添加基准测试]: https:\u002F\u002Fembeddings-benchmark.github.io\u002Fmteb\u002Fcontributing\u002Fadding_a_benchmark\u002F\n[排行榜]: https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmteb\u002Fleaderboard\n\n## 引用\n\nMTEB 最初在论文 “[MTEB: 大规模文本嵌入基准](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.07316)” 中提出，并在 “[MMTEB: 大规模多语言文本嵌入基准](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.13595)” 中得到了大幅扩展。在使用 `mteb` 时，我们建议同时引用这两篇文章。\n\n\u003Cdetails>\n  \u003Csummary> BibTeX 引用（点击展开） \u003C\u002Fsummary>\n\n\n```bibtex\n@article{muennighoff2022mteb,\n  author = {Muennighoff, Niklas and Tazi, Nouamane and Magne, Loïc and Reimers, Nils},\n  title = {MTEB: Massive Text Embedding Benchmark},\n  publisher = {arXiv},\n  journal={arXiv preprint arXiv:2210.07316},\n  year = {2022},\n  url = {https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.07316},\n  doi = {10.48550\u002FARXIV.2210.07316},\n}\n\n@article{enevoldsen2025mmtebmassivemultilingualtext,\n  title={MMTEB: Massive Multilingual Text Embedding Benchmark},\n  author={Kenneth Enevoldsen and Isaac Chung and Imene Kerboua and Márton Kardos and Ashwin Mathur and David Stap and Jay Gala and Wissam Siblini and Dominik Krzemiński and Genta Indra Winata and Saba Sturua and Saiteja Utpala and Mathieu Ciancone and Marion Schaeffer and Gabriel Sequeira and Diganta Misra and Shreeya Dhakal and Jonathan Rystrøm and Roman Solomatin and Ömer Çağatan and Akash Kundu and Martin Bernstorff and Shitao Xiao and Akshita Sukhlecha and Bhavish Pahwa and Rafał Poświata and Kranthi Kiran GV and Shawon Ashraf and Daniel Auras and Björn Plüster and Jan Philipp Harries and Loïc Magne and Isabelle Mohr and Mariya Hendriksen and Dawei Zhu and Hippolyte Gisserot-Boukhlef and Tom Aarsen and Jan Kostkan and Konrad Wojtasik and Taemin Lee and Marek Šuppa and Crystina Zhang and Roberta Rocca and Mohammed Hamdy and Andrianos Michail and John Yang and Manuel Faysse and Aleksei Vatolin and Nandan Thakur and Manan Dey and Dipam Vasani and Pranjal Chitale and Simone Tedeschi and Nguyen Tai and Artem Snegirev and Michael Günther and Mengzhou Xia and Weijia Shi and Xing Han Lù and Jordan Clive and Gayatri Krishnakumar and Anna Maksimova and Silvan Wehrli and Maria Tikhonova and Henil Panchal and Aleksandr Abramov and Malte Ostendorff and Zheng Liu and Simon Clematide and Lester James Miranda and Alena Fenogenova and Guangyu Song and Ruqiya Bin Safi and Wen-Ding Li and Alessia Borghini and Federico Cassano and Hongjin Su and Jimmy Lin and Howard Yen and Lasse Hansen and Sara Hooker and Chenghao Xiao and Vaibhav Adlakha and Orion Weller and Siva Reddy and Niklas Muennighoff},\n  publisher = {arXiv},\n  journal={arXiv preprint arXiv:2502.13595},\n  year={2025},\n  url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.13595},\n  doi = {10.48550\u002FarXiv.2502.13595},\n}\n```\n\u003C\u002Fdetails>\n\n\n如果您使用了特定的基准测试，我们也建议您引用该基准及其任务的作者：\n\n```py\nbenchmark = mteb.get_benchmark(\"MTEB(eng, v2)\")\nbenchmark.citation # 获取特定基准的引用信息\n\n# 您还可以使用以下代码为附录生成任务表格：\nbenchmark.tasks.to_latex()\n```","# MTEB 快速上手指南\n\nMTEB (Massive Text Embedding Benchmark) 是一个用于评估文本嵌入（Embedding）和检索系统的多功能工具箱。它提供了丰富的基准测试任务，帮助开发者量化模型性能并对比不同方案。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows\n*   **Python 版本**：建议 Python 3.8 及以上版本\n*   **前置依赖**：\n    *   `pip` 或 `uv` (推荐用于加速安装)\n    *   稳定的网络连接（用于下载模型和数据集，若访问 Hugging Face 受限，建议配置镜像源）\n\n> **提示**：国内用户若遇到连接问题，可设置环境变量使用镜像加速：\n> ```bash\n> export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n> ```\n\n## 安装步骤\n\n您可以选择使用标准的 `pip` 或更快速的 `uv` 进行安装。\n\n### 方式一：使用 pip 安装（通用）\n\n```bash\npip install mteb\n```\n\n### 方式二：使用 uv 安装（推荐，速度更快）\n\n如果您已安装 [uv](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002F)，可以使用以下命令：\n\n```bash\nuv add mteb\n```\n\n## 基本使用\n\nMTEB 支持通过 Python 代码和命令行接口 (CLI) 两种方式运行评估。以下是最简单的使用示例。\n\n### 1. Python 代码方式\n\n创建一个 Python 脚本，加载模型并运行指定的评估任务：\n\n```python\nimport mteb\nfrom sentence_transformers import SentenceTransformer\n\n# 选择模型\n# 如果模型未在 MTEB 中内置实现，它将等效于 SentenceTransformer(model_name)\nmodel_name = \"sentence-transformers\u002Fall-MiniLM-L6-v2\"\nmodel = mteb.get_model(model_name)\n\n# 选择任务\n# 此处以 Banking77 分类任务为例\ntasks = mteb.get_tasks(tasks=[\"Banking77Classification.v2\"])\n\n# 执行评估\nresults = mteb.evaluate(model, tasks=tasks)\n\n# 打印结果\nprint(results)\n```\n\n### 2. 命令行 (CLI) 方式\n\n您也可以直接在终端中运行评估命令，将结果输出到指定文件夹：\n\n```bash\nmteb run \\\n    -m sentence-transformers\u002Fall-MiniLM-L6-v2 \\\n    -t \"Banking77Classification.v2\" \\\n    --output-folder results\n```\n\n运行完成后，评估结果将保存在 `results` 目录中。更多高级用法（如自定义模型、批量测试、缓存管理）请参考官方文档。","某金融科技团队正在为智能客服系统筛选最佳的文本嵌入模型，以优化用户意图识别和知识库检索效果。\n\n### 没有 mteb 时\n- **评估标准混乱**：团队需手动收集多个分散的数据集（如分类、聚类、检索），难以统一测试标准，导致不同模型的对比缺乏公平性。\n- **开发成本高昂**：工程师需花费数天编写自定义评估脚本，处理数据加载、指标计算及结果格式化，严重拖慢选型进度。\n- **结果可信度低**：自测结果无法与社区主流基准对齐，难以判断模型在真实复杂场景下的泛化能力，存在上线后效果不达预期的风险。\n- **复现困难**：缺乏统一的缓存管理和任务定义机制，不同成员运行的实验结果难以复现和追溯。\n\n### 使用 mteb 后\n- **基准统一规范**：直接调用 MTEB 内置的 50+ 标准化任务（如 Banking77Classification），一键在相同维度下公平对比多个候选模型。\n- **效率显著提升**：通过简单的 Python API 或 CLI 命令即可启动全流程评估，将原本数天的工作缩短至几小时，快速产出详细报告。\n- **决策依据充分**：评估结果自动对齐 Hugging Face 官方排行榜，团队可直观参考全球社区验证过的性能数据，精准锁定最适合金融场景的模型。\n- **实验可复现**：利用 MTEB 自带的任务版本控制和缓存机制，确保每次评估环境一致，轻松回溯和验证历史实验数据。\n\nMTEB 通过提供标准化的大规模评估框架，帮助团队从繁琐的基建工作中解放出来，以数据驱动的方式高效锁定最优嵌入模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fembeddings-benchmark_mteb_32bd3983.png","embeddings-benchmark","Massive Text Embedding Benchmark","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fembeddings-benchmark_7b3474bc.png","",null,"https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark",[79,83,87,91,94],{"name":80,"color":81,"percentage":82},"Python","#3572A5",52.8,{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",47.1,{"name":88,"color":89,"percentage":90},"Makefile","#427819",0,{"name":92,"color":93,"percentage":90},"Shell","#89e051",{"name":95,"color":96,"percentage":90},"Dockerfile","#384d54",3215,591,"2026-04-16T17:32:24","Apache-2.0",1,"未说明",{"notes":104,"python":102,"dependencies":105},"README 中未明确列出具体的操作系统、GPU、内存或 Python 版本要求。该工具主要通过 pip 或 uv 安装，核心依赖为 sentence-transformers（用于加载模型）。具体硬件需求取决于所评估的嵌入模型大小及任务数据集规模。",[106],"sentence-transformers",[108,35,14],"其他",[110,111,112,106,113,114,115,116,117,118,119,120,121,122,64,123,124],"benchmark","clustering","information-retrieval","sts","text-embedding","retrieval","neural-search","semantic-search","sbert","text-classification","bitext-mining","reranking","multilingual-nlp","low-resource-nlp","multimodal","2026-03-27T02:49:30.150509","2026-04-17T10:19:45.060091",[128,133,138,143,148,153,158],{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},37329,"如何在项目中添加音频处理依赖（如 torchaudio）以解决导入错误？","如果遇到与音频任务相关的错误（例如缺少 torchaudio），需要在项目的 `pyproject.toml` 文件中显式添加 `torchaudio` 作为依赖项。维护者确认该依赖已在最新的 PR 中被添加到配置文件中，确保安装最新版本的包或手动编辑 toml 文件即可解决。","https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F2093",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},37330,"如何验证提交的结果文件是否能被 leaderboard 正确读取？","可以通过运行特定的加载函数来验证结果文件。具体方法是调用 `mteb\u002Fload_results\u002Fload_results.py` 脚本中的加载函数（参考第 79 行附近），该函数会检查仓库中的 `MTEBResults` 格式是否正确。建议将此过程设置为集成测试，以确保从 mteb 到 results 再到 leaderboard 的整个流程畅通无阻。","https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F932",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},37331,"Leaderboard 2.0 在显示分数和排名时有哪些优化规则？","为了提高可读性，Leaderboard 2.0 采取了以下措施：1. 从模型名称中移除组织前缀；2. 将分数乘以 100 并保留一位小数（例如 78.1），因为更精确的小数位数通常不代表有意义的性能差异；3. 在摘要表中添加排名；4. 使用 Borda 计数法（Borda count）替换简单的平均排名来计算最终排序。","https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F1317",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},37332,"发布新版 Leaderboard 前必须解决哪些关键问题？","发布前的最低要求包括：1. 修复任务聚合问题（特别是 CQADupstackRetrieval 等数据集）；2. 补全缺失的关键模型分数（如 Jasper, voyage-2-large-instruct, Cohere 等在 MSMARCO 开发集上的分数）；3. 创建并提交新模型和结果的文档指南；4. 为 `MTEB(eng, classic)` 中的所有任务添加元数据。只有解决这些“致命问题”后才会考虑发布。","https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F1867",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},37333,"是否计划测量人类在 MTEB 基准测试上的表现作为上限参考？","是的，社区认为测量人类平均表现非常有价值，这有助于确定嵌入模型在某些基准测试上的理论天花板（例如聚类任务中某些帖子可能无法推断出子版块）。目前的计划是将其作为一个研究项目进行，如果可行，未来会将人类平均分直接展示在 Leaderboard 上，以便与模型得分进行对比。","https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F2272",{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},37334,"如果发现旧版本（v2）有 bug，维护者会提供修复补丁吗？","维护者通常不会为已发布的旧版本（如 v2）专门发布修复补丁。官方建议用户直接使用主分支（main branch）的最新代码，因为那里包含了最新的修复。如果用户必须停留在旧版本，可以尝试手动 cherry-pick（拣选）相关的修复提交应用到本地代码库中。","https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F3279",{"id":159,"question_zh":160,"answer_zh":161,"source_url":142},37335,"Gradio 实现的 Leaderboard 是否支持鼠标悬停显示详细信息的功能？","目前不支持。维护者和开发者已经专门调研过在 Gradio 中实现鼠标悬停（hovering）显示详细信息的可行性，结论是当前版本的 Gradio 似乎无法原生支持此功能，因此该需求暂时无法实现。",[163,168,173,178,183,188,193,198,203,208,213,218,223,228,233,238,243,248,253,258],{"id":164,"version":165,"summary_zh":166,"released_at":167},297896,"2.12.20","# 2.12.20 (2026-04-16)\n\n## 修复\n\n* 修复：处理 Transformers v5 中 BaseModelOutputWithPooling 的返回类型 i… (#4328)\n\n* 修复：处理 Transformers v5 中 BaseModelOutputWithPooling 的返回类型\n\nTransformers v5 将 get_text_features、get_image_features 和 get_audio_features 改为返回 BaseModelOutputWithPooling，而不是普通的张量。这导致在直接对输出应用 .norm() 等张量操作时出现 AttributeError。\n\n新增了 isinstance(output, BaseModelOutputWithPooling) 检查，以便在需要时提取 pooler_output，从而保持与 Transformers v4 张量返回的向后兼容性。\n\n受影响的模型封装：\n- clap_models.py：文本路径（音频路径已处理）\n- align_models.py：文本和图像路径\n- wav2clip_model.py：文本路径（CLIP 编码器）\n- llm2clip_models.py：文本和图像路径\n- siglip_models.py：文本和图像路径（此前直接访问 .pooler_output，未提供回退机制）\n\n关闭 #4081\n\n共同作者：Claude Opus 4.6 \u003Cnoreply@anthropic.com>\n\n* 代码风格检查\n\n---------\n\n共同作者：Claude Opus 4.6 \u003Cnoreply@anthropic.com>  \n共同作者：Roman Solomatin \u003C36135455+Samoed@users.noreply.github.com>（[`367d554`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F367d554a9f4835b17072b0c0902586dd780c59d0)）\n\n* 修复：重复加载检索数据集 (#4399)\n\n修复检索数据集加载问题（[`316fca3`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F316fca3f919e329670e05322accc431a63767a18)）","2026-04-16T14:46:28",{"id":169,"version":170,"summary_zh":171,"released_at":172},297897,"2.12.19","# 2.12.19 (2026-04-16)\n\n## 文档\n\n* docs: 更新添加数据集的检查清单 (#4394)\n\n* docs: 更新添加数据集的检查清单\n\n修复检查清单，使其不那么依赖特定文本内容\n\n* docs: 将分数复现在 PR 要求中加入 (#4396)\n\n在描述中加入分数复现的要求\n\n---------\n\n共同作者：Roman Solomatin \u003Csamoed.roman@gmail.com> ([`dc58c76`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fdc58c761c525ad7f4367eb20df495f3ea4476271))\n\n## 修复\n\n* fix: 自动将基础模型添加到 `ModelMeta` (#4395)\n\n* 从模型仓库获取源模型\n\n* 修复测试\n\n* 检查模型是否具有模型卡片属性 ([`ed1833a`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fed1833a41121ec4ebc235d529a06364e75de9d08))\n\n## 未知\n\n* model: 添加 Google Gemini embedding 2 (#4247)\n\n* 添加 Google Gemini embedding 2 模型\n\n* feat: 为 Gemini Embedding 2 添加每项任务的提示映射和多模态支持\n\n- 创建 GEMINI_EMBEDDING_2_PROMPTS 字典，包含来自 issue #4260 的 132 种针对 Google API 的任务类型映射\n- 添加 GoogleGeminiEmbeddingModel 类，使用 google-genai SDK，支持文本、图像以及文本与图像交替输入\n- 更新 ModelMeta 以使用新类，并设置模态为 [“image”, “text”]\n- 在 pyproject.toml 中添加 google_genai 可选依赖\n\n* feat: 为 Gemini Embedding 2 添加音频模态支持\n\n- 添加 _audio_to_wav_bytes 辅助函数，用于将 numpy 音频数组转换为 WAV 格式\n- 在 encode() 方法中通过 Part.from_bytes 处理音频输入，MIME 类型为 audio\u002Fwav\n- 更新模态为 [“audio”, “image”, “text”]\n\n* fix: 从 Gemini API 的模型名称中去除 google\u002F 前缀\n\ngoogle-genai SDK 的 embed_content 方法无法处理带有 “google\u002F” 前缀的格式。因此，在构造函数中像 Voyage 那样将其去除。\n\n* fix: 添加针对 429 状态码限流的指数退避重试机制\n\n当达到 API 配额限制时，最多重试 10 次，采用指数退避策略（60秒、120秒、240秒……直至 600秒）。这对于 MIRACL 等大型多语言基准测试至关重要。\n\n* refactor: 回应 PR 审查意见\n\n- 将 132 条目的每项任务字典替换为基于任务类型的默认值加上 62 条任务覆盖（KennethEnevoldsen：建议使用元数据）\n- 为 GoogleGeminiEmbeddingModel 添加 embed_dim 参数（Samoed）\n- 为检索语料库文档添加标题格式化功能（Samoed）\n- 添加关于 API 限制的批处理大小注释（Samoed）\n- 简化 encode() 的控制流程\n\n* fix: 将 print 替换为 logger.warning 以符合代码规范\n\n* fix: 处理音频与文本交替输入，并注明 MRL 的 embed_dim 支持\n\n- 在 encode() 方法中添加音频与文本交替分支，用于处理交替内容\n- 注明一旦 PR #4170 合并，embed_dim 将支持 [768, 1536, 3072]\n\n* fix: 使用 MRL 的 embed_dim 列表，并移除重复的日志记录\n\n* fix 未使用的参数\n\n---------\n\n共同作者：Kenneth Enevoldsen \u003Ckennethcenevoldsen@gmail.com> ([`633e41c`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F633e41c6f4ac2a186f52303c86be75479fd7ad32))\n\n* 将 Kinetics400 从视频类别中移出，并添加零样本版本 (#4383)\n\n* 区分 AV 和 V 两类任务\n\n* m","2026-04-16T12:26:55",{"id":174,"version":175,"summary_zh":176,"released_at":177},297898,"2.12.18","# 2.12.18 (2026-04-16)\n\n## 修复\n\n* fix: 将句子转换器中的量化处理作为实验进行 (#4367)\n\n* 处理 SBERT 的量化模型\n\n* 将其移至模型编码内部\n\n* 更新提示类型的类型\n\n* 修复测试 ([`e45cbaa`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fe45cbaae39100d4362fb195dbab99c9b090f5cf3))","2026-04-16T09:54:20",{"id":179,"version":180,"summary_zh":181,"released_at":182},297899,"2.12.17","# 2.12.17 (2026-04-16)\n\n## 修复\n\n* fix: 修正了错误的模型重命名 (#4391)\n\n这导致了以下不正确的警告：\n\n```\nDeprecationWarning: 模型 'mteb\u002Fbaseline-random-encoder' 已被重命名为 'mteb\u002Fbaseline-random-encoder'。为避免此警告，请使用新名称。\n  model = mteb.get_model_meta("mteb\u002Fbaseline-random-encoder") ([`b65730d`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fb65730d833b3e321be759b243f62090066faad45))\n\n## 未知\n\n* model: 添加 BidirLM 文本嵌入系列 (270M, 0.6B, 1B, 1.7B) (#4374)\n\n* model: 添加 BidirLM 文本嵌入系列 (270M, 0.6B, 1B, 1.7B)\n\n* 应用代码审查中的建议\n\n共同作者：Roman Solomatin <samoed.roman@gmail.com>\n\n* 运行 lint\n\n---------\n\n共同作者：Isaac Chung <chungisaac1217@gmail.com>\n共同作者：Roman Solomatin <samoed.roman@gmail.com> ([`e8a4069`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fe8a40693b00005cb0362bd6c5798d61287a196f3))\n\n* [MVEB] PE-AV 模型、Kinetics400 数据集、RavdessAV 数据集 (#4199)\n\n* fix: 将 SIBFLEURS 重新分类为 AudioClassification，而非 AudioMultilabelClassification\n\n* fix: 将 SIBFLEURS 的描述性统计信息移至 AudioClassification\n\n* 添加视频模态\n\n* 添加 Kinetics-400 数据集\n\n* 添加 pe_av 模型\n\n* 修复拼写错误\n\n* 修复编排器 bug\n\n* 编辑分类抽象任务中的选择列\n\n* 正确处理 PE_AV 中的帧\n\n* 向方法添加 self 关键字参数\n\n* 添加音频编排器\n\n* 修复类型错误\n\n* 修复 audio_video 嵌入对象的处理问题\n\n* 添加 Ravdess_av 聚类\n\n* 修复任务元数据\n\n* 开始视频集成\n\n* 开始视频集成\n\n* 更新任务结构\n\n* 更新视频输入类型\n\n* 将视频和音频合并为字典\n\n* 修复任务端\n\n* 修复 pe_av 模型\n\n* 降低写入批次大小\n\n* 修复列标签\n\n* 执行 lint\n\n* 添加 pe_av 模型元数据\n\n* 修复数据集元数据\n\n* 移除意外提交的文件\n\n* 从数据集中移除嵌套列表结构\n\n* 编辑编排器以处理单个视频项目\n\n* 多模态编排器 + 修复注释\n\n* 执行 lint\n\n* 元数据更新\n\n* 使用前向传播获取嵌入\n\n* 替换前向传播 + 将音频添加到 msrvtt\n\n* 修复类别元数据\n\n* 编辑获取嵌入的方法\n\n* 添加 n_embedding_parameters\n\n* 将输入列名称更改为列表\n\n* 执行 lint + 类型检查\n\n* 添加 classvar\n\n* 为 classvar 添加 str\n\n* 将 list 更改为 sequence\n\n* 执行 lint + 类型检查时出现错误\n\n* 编辑 dataloader 和 msrvtt 对输入列的处理方式\n\n* 将 sequence 从类型检查中移出\n\n* 修复随机基线\n\n* 为随机基线添加编排器\n\n* 恢复之前的字典结构 + 使音频成为可选\n\n* 清理结构\n\n* 执行 lint\n\n* 安全检查\n\n* 减少写入批次大小\n\n* 匹配 msrvtt 格式\n\n* 修复类型检查问题\n\n* 重构：将视频和音频保持为单独的数据集列\n\n* fix: 在 _prepare_dataset 中正确处理单字符串 input_column\n\n* 审查修复内容\n\n* 执行 lint\n\n* 修复类型提示问题\n\n* 回应审查意见：简化 input_column_name，移除 VideoInputItem，修复编排器输出\n\n- 将 input_column_name 从 Mapping[str, str] 还原为 str | Sequence[str","2026-04-16T08:44:59",{"id":184,"version":185,"summary_zh":186,"released_at":187},297900,"2.12.16","# 2.12.16 (2026-04-10)\n\n## 修复\n\n* fix: 在 get_model_meta 中添加从 HuggingFace 模型卡片中提取语言的功能 (#4278)\n\n* feat: 在 get_model_meta 中添加从 HuggingFace 模型卡片中提取语言的功能\n\n从 HuggingFace 模型卡片元数据中提取语言代码，并将其转换为 MTEB 的内部 ISOLanguageScript 格式（例如，“eng-Latn”）。\n\n- 添加 ISO 639-1（2 字母）到 ISO 639-3（3 字母）的映射表（共 183 个代码）\n- 添加从 ISO 639-3 到 ISO 15924 的默认脚本映射表（共 303 个代码）\n- 添加 hf_lang_to_iso_lang_script() 和 hf_langs_to_iso_lang_scripts() 转换函数\n- 将语言提取功能集成到 ModelMeta._from_hub() 中\n- 将 ISO 语言代码误报添加到拼写错误配置中\n\n关闭 #3694\n\n* fix: 移除语言代码不必要的拼写错误扩展词\n\n这些语言代码（ful、som、yor 等）仅出现在 JSON 文件中，而这些文件已通过 [tool.typos.files] extend-exclude 配置排除。\n\n* fix: 延迟加载 JSON 映射并使 HF 语言相关函数私有化\n\n根据 KennethEnevoldsen 的评审意见进行调整：\n- 延迟加载 iso_639_1_to_3.json 和 iso_639_3_to_default_script.json，以避免在导入时执行过多操作\n- 将 hf_lang_to_iso_lang_script 重命名为 _hf_lang_to_iso_lang_script，hf_langs_to_iso_lang_scripts 重命名为 _hf_langs_to_iso_lang_scripts（这些不是我们希望维护的公共接口）\n\n* fix: 使用 functools.cache 进行延迟加载，而非全局变量声明\n\n修复 PLW0603 静态分析错误（不鼓励使用全局变量）。按照 KennethEnevoldsen 的评审意见，保留了私有函数名称。\n\n* fix: 解决 CI 静态分析错误（PLR0911、PLC2701、PLR6301）\n\n- 减少 _hf_lang_to_iso_lang_script 中的返回语句数量（从 7 个减少到 6 个）\n- 将测试类方法改为普通函数（PLR6301）\n- 直接从 iso_mappings 模块导入私有函数\n- 从 __init__.py 的重新导出中移除私有名称\n\n* 格式化\n\n---------\n\n共同作者：Kenneth Enevoldsen \u003Ckennethcenevoldsen@gmail.com> ([`0fe9fe2`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F0fe9fe26054888dab0e12ddd3ae4019cc45f898b))\n\n* fix: `colpali_engine` 模型查询处理 (#4361)\n\n修复 bug ([`2ea3fe7`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F2ea3fe72fff0d96bf93f8d15f6fb47dc6ec24657))\n\n## 未知\n\n* 更新 codefuse_models.py (#4363) ([`1db4399`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F1db43997b1b7f685203095092cc7ef6754cbda78))\n\n* model: 添加 webAI 的 ColVec1 模型 (#4358)\n\n* 添加了 webai_models 和 ViDoRe v3 运行器（待移除）...\n\n* 将 .cache 目录与运行 Pod 评估的输出目录分开...\n\n* 移除了 run_vdrv3，修改了模型实现，待办事项：更新模型卡片后需添加提交哈希值...\n\n* 添加了最新的提交哈希值，准备提交 PR...\n\n* 应用 @KennethEnevoldsen 的建议\n\n共同作者：Kenneth Enevoldsen \u003Ckenevoldsen@pm.me>\n\n* 应用 @KennethEnevoldsen 的建议\n\n共同作者：Kenneth Enevoldsen \u003Ckenevoldsen@pm.me>\n\n* 应用 @KennethEnevoldsen 的建议\n\n共同作者：Kenneth Enevoldsen \u003Ckenevoldsen@pm.me","2026-04-10T14:46:27",{"id":189,"version":190,"summary_zh":191,"released_at":192},297901,"2.12.15","# 2.12.15 (2026-04-06)\n\n## 修复\n\n* fix: 将 SDSKoPubVDRT2IRetrieval 重新上传至 mteb 组织 (#4357)\n\n在 #4348 中遗漏了此更改（[`3cfcf6e`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F3cfcf6e96d22e63778ec9819916b9e8734139b84)）\n\n## 未知\n\n* 数据集：添加 SDS KoPub-VDR (#4348)\n\n* 数据集：添加 SDS KoPub-VDR\n\n* 更新 mteb\u002Ftasks\u002Fretrieval\u002Fkor\u002Fsds_kopub_vdr_t2it_retrieval.py\n\n共同作者：Roman Solomatin <samoed.roman@gmail.com>\n\n* 更新数据集路径和版本\n\n* 应用 @KennethEnevoldsen 的建议\n\n---------\n\n共同作者：Roman Solomatin <samoed.roman@gmail.com>\n共同作者：Roman Solomatin <36135455+Samoed@users.noreply.github.com>\n共同作者：Kenneth Enevoldsen <kenevoldsen@pm.me> （[`00da722`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F00da7223e077f9f3e2cef9ef579b883775365eb7)）\n\n* 如果未安装 gradio，则跳过排行榜测试 (#4355)\n\n如果未安装 gradio，则跳过排行榜测试（[`0d13dd0`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F0d13dd0a2904f03d0959a8a1a7dbdf1c93038287)）","2026-04-06T16:30:01",{"id":194,"version":195,"summary_zh":196,"released_at":197},297902,"2.12.14","# 2.12.14 (2026-04-05)\n\n## 修复\n\n* 修复：将 SIBFLEURS 重新分类为 AudioClassification，而非 AudioMultilabelClassification (#4353)\n\n* 修复：将 SIBFLEURS 重新分类为 AudioClassification，而非 AudioMultilabelClassification\n\n* 修复：将 SIBFLEURS 的描述性统计信息移至 AudioClassification 模块（[`ea83696`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fea83696c66656bfe5f5229db4ca00f628f3289ac)）","2026-04-05T22:28:05",{"id":199,"version":200,"summary_zh":201,"released_at":202},297903,"2.12.13","# 2.12.13 (2026-04-05)\n\n## 修复\n\n* fix: 将主评分指标由准确率改为 LRAP (#4351)\n\n适用于 MAEB 多标签分类任务。\n\n我怀疑我们还需要相应地调整提交的结果以匹配这一更改（[`f0f540d`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Ff0f540dbfa5b541939ed0e35edada0e488dc30ff)）。\n\n## 未知\n\n* 激活 PLR 规则 (#4317)\n\n* 激活 PLR 规则\n\n* 修复测试\n\n* 添加 noqa\n\n* 再添加一些 noqa\n\n* 移除大部分 noqa\n\n* 移除已注释的规则\n\n* 修复移除时引入的破坏性变更\n\n* 更新最大参数数\n\n* 修复类型标注\n\n* 修复代码风格检查（[`fe1f74c`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Ffe1f74c3235227b47edb80a5641e4dd56dadc39c)）","2026-04-05T18:11:32",{"id":204,"version":205,"summary_zh":206,"released_at":207},297904,"2.12.12","# 2.12.12 (2026-04-05)\n\n## 修复\n\n* 修复：在音频模型实现中添加 `training_datasets` 注解 (#4345)\n\n在音频模型实现中添加 `training_datasets`\n\n为所有音频模型填充 `training_datasets` 字段，尽可能使用最匹配的 MTEB 任务名称（例如 AudioSetMini、FleursA2TRetrieval、CommonVoiceMini17A2TRetrieval）。对于没有 MTEB 对应数据集的情况，在集合内以注释形式注明。（[`fff86d6`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Ffff86d6c354d4658513699235c3eb44dc9fbbb97))","2026-04-05T14:24:36",{"id":209,"version":210,"summary_zh":211,"released_at":212},297905,"2.12.11","# 2.12.11 (2026-04-05)\n\n## CI\n\n* ci：为兼容 Windows，移除 Makefile 中的内联注释 (#4253)\n\n修复：为兼容 Windows，移除 Makefile 中的内联注释\n\n配方行中的内联 `#` 注释会传递给 Shell，而 Windows 的 cmd.exe 不会将 `#` 视为注释字符。移除此类注释可修复 Makefile 在 Windows 上的使用问题。\n\n关闭 #2300（[`3254563`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F325456370ecbbddd3b1b88de23d81b0d68f8458f)）\n\n## 修复\n\n* 修复：修复了无法记录基准测试的 bug。（#4325）\n\n* 修复 - 修复了无法记录基准测试的 bug。\n\n* 功能 - 添加 event_logger 单元测试（[`487802d`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F487802d1f3e4f0884233aab2012721d718aebfda)）\n\n* 修复：添加对依赖项下限的支持 (#4343)\n\n* 测试最低依赖版本\n\n* 自定义缓存\n\n* 更新名称\n\n* 切换到 pip\n\n* 添加虚拟环境创建\n\n* 更改解析类型\n\n* 升级 scipy\n\n* 升级 numpy\n\n* 将 transformers 加入依赖项\n\n* 升级 torch\n\n* 降低 transformers 版本\n\n* 升级 pydantic\n\n* 升级 pydantic\n\n* 尝试修复\n\n* 格式化\n\n* 修复分支历史\n\n* 向操作中添加注释\n\n* 修复注释\n\n* 想要修复\n\n* 添加 bitextparser\n\n---------\n\n共同作者：Kenneth Enevoldsen \u003Ckennethcenevoldsen@gmail.com>（[`c247f7e`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fc247f7ed8810f653e60067b1de81eef40be4d91e)）\n\n## 未知\n\n* 数据集：添加 MuPLeR (#4324)\n\n* 数据集：添加 MuPLeR\n\n* 更新 mteb\u002Ftasks\u002Fretrieval\u002Fmultilingual\u002Fmupler_retrieval.py\n\n共同作者：Roman Solomatin \u003Csamoed.roman@gmail.com>\n\n* 更新 mteb\u002Ftasks\u002Fretrieval\u002Fmultilingual\u002Fmupler_retrieval.py\n\n共同作者：Roman Solomatin \u003Csamoed.roman@gmail.com>\n\n* 修复 bibtex 格式\n\n* 移除了不必要的 load_data 函数，添加了 eupl-1.2 许可证\n\n* 应用了 @KennethEnevoldsen 的建议\n\n---------\n\n共同作者：Roman Solomatin \u003Csamoed.roman@gmail.com>  \n共同作者：Kenneth Enevoldsen \u003Ckenevoldsen@pm.me>（[`334e908`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F334e908553669b6b5b71fca4666b247d6bc75c91)）","2026-04-05T13:42:50",{"id":214,"version":215,"summary_zh":216,"released_at":217},297906,"2.12.10","# 2.12.10 (2026-04-05)\n\n## Fix\n\n* fix: Showing loading screen while changing benchmark (#4304)\n\n* Showing loading screen while changing benchmark\n\n* fix lock\n\n---------\n\nCo-authored-by: Kenneth Enevoldsen <kennethcenevoldsen@gmail.com> ([`9e3936d`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F9e3936d6a0d41325d3f5c2da95002678127a0508))\n\n## Unknown\n\n* model: add Octen INT8 models and update HuggingFace org to Octen (#4347)\n\n* feat: add Octen INT8 models and update HuggingFace org to Octen\n\n* feat: add output_dtypes\n\n* fix: add instruction_template_8b_int8 with '- ' doc prefix for 8B INT8 model\n\n* fix: remove list wrapper from output_dtypes ([`30aedd8`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F30aedd83232809780b0f7078b558d17f28cad2e4))","2026-04-05T12:08:08",{"id":219,"version":220,"summary_zh":221,"released_at":222},297907,"2.12.9","# 2.12.9 (2026-04-02)\n\n## Documentation\n\n* docs: update links in README for task and usage sections (#4342)\n\n* docs: update links in README for task and usage sections\n\n* upd links\n\n---------\n\nCo-authored-by: Roman Solomatin <36135455+Samoed@users.noreply.github.com> ([`e32aa74`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fe32aa749048d656de626f0621e7bd84adfeb593c))\n\n## Fix\n\n* fix: Not possible to get benchmarks on leaderboard without leaderboard deps (#4330)\n\n* move menuentry\n\n* fix typing\n\n* fix imports\n\n* make menu private ([`c36bc41`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fc36bc4195ca2a3b33c222f102bcddf41761f3fb0))","2026-04-02T13:30:35",{"id":224,"version":225,"summary_zh":226,"released_at":227},297908,"2.12.8","# 2.12.8 (2026-03-31)\n\n## Fix\n\n* fix: import for qwen2audio (#4338)\n\nfix import ([`17e1c4d`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F17e1c4dd739bcb50e56233bade1607dd7bccd6fb))\n\n## Unknown\n\n* Add more prompts to codefuse_models.py (#4336) ([`b1c36f9`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fb1c36f9d2a9a74e5cd84d33365e9e5c58d6d7829))\n\n* remove -query suffix from harrier prompts_dict keys (#4331)\n\nfix: remove -query suffix from harrier prompts_dict keys\n\nThe mteb prompts_dict lookup uses task_metadata.name (e.g.\n'News21InstructionRetrieval'), not the suffixed form. Keys like\n'News21InstructionRetrieval-query' were never matched. Remove the\n'-query' suffix so prompts are correctly resolved.\n\nCo-authored-by: Copilot <223556219+Copilot@users.noreply.github.com> ([`1d0dac4`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F1d0dac48f2de636e4f76d9ab71762a99df1f9a8f))","2026-03-31T14:52:19",{"id":229,"version":230,"summary_zh":231,"released_at":232},297909,"2.12.7","# 2.12.7 (2026-03-30)\n\n## Fix\n\n* fix: Make `ModelMeta` hashable (#4315)\n\n* Make ModelMeta hashable\n\n* apply changes from copilot review\n\n* convert embed_dim to hashable\n\n* apply changes from review\n\n* removed all in-place mutation in ModelMeta\n\n* fix tests\n\n* fiix typechecking\n\n* add typehinting comment on correct line\n\n* change equality function\n\n* remove froze=true and add __setattr__ ([`7363cae`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F7363cae68bae468b430edebca3a8632b16a865a6))\n\n## Unknown\n\n* model: Add harrier-oss-v1 model implementations (270m, 0.6b, 27b) (#4326)\n\n* Add harrier-oss-v1 model implementations (270m, 0.6b, 27b)\n\nCo-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>\n\n* lint\n\n* Simplify instruction_template from @Samoed\n\nCo-authored-by: Roman Solomatin <samoed.roman@gmail.com>\n\n---------\n\nCo-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>\nCo-authored-by: Kenneth Enevoldsen <kennethcenevoldsen@gmail.com>\nCo-authored-by: Roman Solomatin <samoed.roman@gmail.com> ([`39261ea`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F39261ea120679d027765482bab5d0b51aa904775))","2026-03-30T15:20:53",{"id":234,"version":235,"summary_zh":236,"released_at":237},297910,"2.12.6","# 2.12.6 (2026-03-30)\n\n## Fix\n\n* fix: activate flake8-bandit rules (#4319)\n\n* activate flake8-bandit rules\n\n* upd rules\n\n* fix rules ([`588fb1e`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F588fb1e9805e0549271fc8619f094c1fa17a17ad))","2026-03-30T11:20:34",{"id":239,"version":240,"summary_zh":241,"released_at":242},297911,"2.12.5","# 2.12.5 (2026-03-29)\n\n## Fix\n\n* fix: Conan-embedding-v1 HF link 🤗 (#4323)\n\nfix: Conan-embedding-v1 HF link ([`9311eb7`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F9311eb79c8a481a95f2c42a909460a9c0892a869))","2026-03-29T17:56:28",{"id":244,"version":245,"summary_zh":246,"released_at":247},297912,"2.12.4","# 2.12.4 (2026-03-29)\n\n## Documentation\n\n* docs: Remove unused icon for models (#4312)\n\nremove unused icon for models ([`07141c6`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F07141c6a08bd4257cde1b6c156cd4dc8680ecdbb))\n\n* docs: Simplify task types in documentation (#4212)\n\n* WIP: suggestion for tasktype simplification\n\nAs discussed in:\nhttps:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fpull\u002F4203\n\nThis is mostly intended to be useful when structering the documentation.\n\nThis is just a suggestion. We could also do much simpler simplifications e.g. removing modality and multilinguality of types.\n\n* update tasks\n\n* resolve indentation warning\n\n* add no-wrap for merge\n\n* update index site\n\n* Update mteb\u002Fabstasks\u002Ftask_metadata.py\n\nCo-authored-by: Roman Solomatin <samoed.roman@gmail.com>\n\n* Update mteb\u002Fabstasks\u002Ftask_metadata.py\n\nCo-authored-by: Isaac Chung <chungisaac1217@gmail.com>\n\n* fixed headings\n\n* format\n\n* fix removed MockMultilingualImageMultilabelClassificationTask\n\n* fix spelling lint errors\n\n* spelling lint\n\n* add fixes from comments\n\n* re-order and fix links\n\n* added description for tasks pages and removed autogenerated segments\n\n---------\n\nCo-authored-by: Roman Solomatin <samoed.roman@gmail.com>\nCo-authored-by: Isaac Chung <chungisaac1217@gmail.com> ([`5738e39`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F5738e39ff742c3ed2df0dc6cd015f165853157ad))\n\n## Fix\n\n* fix: update `public_training_code` for F2LLM models (#4313)\n\ndiscussed here:\nhttps:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fissues\u002F3237#issuecomment-4148299969 ([`bb7aaf1`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fbb7aaf16d38ba1ca78e37bbd0d6fca3e0d7be866))\n\n## Unknown\n\n* tests: activate t20 rules (#4318)\n\n* activate t20 rules\n\n* add log too\n\n* remove log\n\n* Update pyproject.toml\n\nCo-authored-by: Kenneth Enevoldsen <kennethcenevoldsen@gmail.com>\n\n---------\n\nCo-authored-by: Kenneth Enevoldsen <kennethcenevoldsen@gmail.com> ([`9726d2b`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F9726d2b0949a908f0f571c59709b9f8726616d34))","2026-03-29T10:13:14",{"id":249,"version":250,"summary_zh":251,"released_at":252},297913,"2.12.3","# 2.12.3 (2026-03-28)\n\n## Fix\n\n* fix: Ensure that experiments_kwargs are passed for get_model_meta (#4308)\n\n* fix: Ensure that experiments_kwargs are passed for get_model_meta\n\nfixes #4307\n\n* remove test files from tests\n\n* fix based on comment\n\n* avoid manipulating modelmeta\n\n* make sure model meta is only assigned in load_model\n\n* re-add loader kwargs ([`72083fe`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F72083fea3981014c19993083274f74bad7336d8a))","2026-03-28T15:09:43",{"id":254,"version":255,"summary_zh":256,"released_at":257},297914,"2.12.2","# 2.12.2 (2026-03-28)\n\n## Ci\n\n* ci: update actions for node v24 (#4303)\n\n* update actions\n\n* change to release version\n\n* change back to commit ([`7720fdf`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F7720fdf4ee6d92bef9bdf2e5fb9eb1b4aa0cb083))\n\n## Fix\n\n* fix: Add Thai to leaderboard language selector (#4265)\n\nAdd Thai to leaderboard language selector\n\nAdd MTEB(tha, v1) to the Language-specific section of the benchmark\nselector so it appears in the HuggingFace leaderboard UI.\n\nThe benchmark definition was merged in #4213.\n\nCo-authored-by: anusoft <anu@anusoft.com>\nCo-authored-by: Claude Opus 4.6 <noreply@anthropic.com> ([`42ffe62`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F42ffe629506bb03f03cff0c11c49ed7f84031bad))","2026-03-28T12:01:37",{"id":259,"version":260,"summary_zh":261,"released_at":262},297915,"2.12.1","# 2.12.1 (2026-03-27)\n\n## Fix\n\n* fix: Ensure that experiments_kwargs are passed for get_model_meta\n\nfixes #4307 ([`50b548c`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002F50b548c46bfae91f83dccd356c796309e7d9cb1f))\n\n## Unknown\n\n* Revert "fix: Ensure that experiments_kwargs are passed for get_model_meta"\n\nThis reverts commit 50b548c46bfae91f83dccd356c796309e7d9cb1f. ([`da9a32e`](https:\u002F\u002Fgithub.com\u002Fembeddings-benchmark\u002Fmteb\u002Fcommit\u002Fda9a32e991654a9d30902661ed8b83bf89c25d6a))","2026-03-27T15:09:36"]