[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-Ayanami0730--deep_research_bench":3,"similar-Ayanami0730--deep_research_bench":88},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":17,"owner_location":17,"owner_email":17,"owner_twitter":17,"owner_website":17,"owner_url":18,"languages":19,"stars":28,"forks":29,"last_commit_at":30,"license":31,"difficulty_score":32,"env_os":33,"env_gpu":34,"env_ram":34,"env_deps":35,"category_tags":38,"github_topics":42,"view_count":32,"oss_zip_url":17,"oss_zip_packed_at":17,"status":47,"created_at":48,"updated_at":49,"faqs":50,"releases":87},9117,"Ayanami0730\u002Fdeep_research_bench","deep_research_bench","DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents","DeepResearch Bench 是一个专为评估“深度研究智能体”而设计的综合性基准测试平台。随着 AI 代理从简单的问答转向执行复杂的长周期研究任务（如自主搜集信息、分析数据并撰写报告），业界亟需一套标准来衡量这些能力的真实水平。DeepResearch Bench 正是为了解决这一评估缺失问题而生，它提供了一套严谨的数据集和评测流程，能够量化不同模型在深度研究场景下的表现。\n\n该平台主要服务于 AI 研究人员、大模型开发者以及企业技术团队。通过访问其公开的排行榜和数据集，用户可以直观对比各类开源与闭源模型（如 Grep Deep Research、MS-Agent 等）的性能差异，从而为模型选型或算法优化提供客观依据。其独特亮点在于构建了贴近真实科研与工作流的复杂任务场景，不仅关注最终答案的准确性，更强调智能体在多步推理、信息整合及报告生成过程中的综合能力。此外，项目维护活跃，持续收录最新模型成果并更新排名，已成为观察深度研究代理技术发展的重要窗口。无论是希望验证新算法的研究者，还是寻求高效研究助手的开发者，都能从中获得极具价值的参考。","\u003Ch1 align=\"center\">DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents\u003C\u002Fh1>\n\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fblob\u002Fmain\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode_License-MIT-blue\" alt=\"license\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdeepresearch-bench.github.io\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWebsite-DeepResearch-green\" alt=\"website\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmuset-ai\u002FDeepResearch-Bench-Dataset\">\u003Cimg alt=\"Dataset\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Dataset-orange?color=FF6F00\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard\">\u003Cimg alt=\"Leaderboard\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🏆%20Leaderboard-yellow?color=FFD700\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAyanami0730\u002FDeepResearch-Leaderboard\">\u003Cimg alt=\"Hugging Face\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-blue?color=8A2BE2\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.11763\" target=\"_blank\">\u003Cimg src=https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-b5212f.svg?logo=arxiv>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fagi-eval.cn\u002Fevaluation\u002Fdetail?id=67\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤝%20AGI--Eval-purple?color=8569f6\" alt=\"AGI-Eval\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Ch5 align=\"center\"> If you like our project, please give us a star ⭐ on GitHub for the latest update.\u003C\u002Fh5>\n\n# ✨ News\n+ [16 Apr 2026] 🎉 **New Model Added**: We welcome [**Deep Dog 1**](https:\u002F\u002Fgithub.com\u002Fbeneadie\u002FDeepDog_1) — an open-source deep research agent (MIT license), achieving an overall score of **53.52**. Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n+ [13 Apr 2026] 🎉 **New Models Added**: We welcome two new models to DeepResearch Bench:\n  - 🥇 [**Grep Deep Research**](https:\u002F\u002Fgrep.ai) — a proprietary deep research agent, achieving **#1** with an overall score of **56.23**.\n  - [**LiAuto Mind DeepResearch 1.5**](https:\u002F\u002Fwww.lixiang.com\u002Ftech\u002Fmindgpt) — a proprietary deep research agent by 理想汽车, achieving an overall score of **52.54**.\n  \n  Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n+ [9 Apr 2026] 🎉 **New Model Added**: We welcome [**MS-Agent Agentic Insight v2（Qwen3.5-Plus、GPT 5.2）**](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fms-agent) — an open-source deep research agent (Apache-2.0 license), achieving an overall score of **55.31**. Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n+ [2 Apr 2026] 🎉 **New Model Added**: We welcome [**Grep.ai Deep Research**](https:\u002F\u002Fgrep.ai) — a proprietary deep research agent, achieving an overall score of **56.09** and ranking **#2** on the leaderboard! Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n+ [2 Apr 2026] 🎉 **New Models Added**: We welcome two new models to DeepResearch Bench:\n  - 🥉 [**1688AILab-DeepResearch**](https:\u002F\u002Fair.1688.com\u002Fkapp\u002F1688-ai-app\u002Fpages\u002Fhome) — a proprietary deep research agent, achieving **#3** with an overall score of **55.39**.\n  - [**TrajectoryKit (GPT-OSS, GPT5.4)**](https:\u002F\u002Fgithub.com\u002FKabakaWilliam\u002Ftrajectorykit) — an open-source deep research agent (MIT license), achieving an overall score of **54.92**.\n  \n  Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n+ [31 Mar 2026] 📝 **Leaderboard Submission Update**: We have clarified the official leaderboard submission requirements in the README. Submissions should now include a temporary **Gemini-2.5-Pro** accessible key, the **raw generated reports**, reproducibility links (repository or product\u002FAPI link), and model metadata such as **model name, link, and open-source license**. Please contact **dumingxuan@mail.ustc.edu.cn** and **imlrz@mail.ustc.edu.cn** for submission, and see [**Submit to Leaderboard**](#submit-to-leaderboard) for details.\n\n+ [25 Mar 2026] 🎉 **New Model Added**: We welcome [**MS-Agent Agentic Insight v2（Qwen3.5-Plus、GPT 5）**](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fms-agent) — an open-source deep research agent (Apache-2.0 license), achieving an overall score of **54.97**. Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n+ [20 Mar 2026] 🎉 **New Models Added**: We welcome three new models to DeepResearch Bench:\n  - 🥇 [**Cellcog Max**](https:\u002F\u002Fwww.cellcog.ai\u002F) — a proprietary deep research agent, achieves **#1** with an overall score of **56.13**!\n  - 🥉 [**Cellcog**](https:\u002F\u002Fwww.cellcog.ai\u002F) — a proprietary deep research agent, achieves **#3** with an overall score of **55.31**.\n  - [**RecallRadar Intelligence**](https:\u002F\u002Fgetrecallradar.com) — a proprietary deep research agent, achieving an overall score of **53.19**.\n  \n  Check out the updated rankings on our [**Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard).\n\n\n+ [6 Feb 2026] 🚀 **DeepResearch Bench II Release**: We have released **DeepResearch Bench II (DRB II)** ([homepage](https:\u002F\u002Fagentresearchlab.org\u002Fbenchmarks\u002Fdeepresearch-bench-ii\u002Findex.html#home)｜[repo](https:\u002F\u002Fgithub.com\u002Fimlrz\u002FDeepResearch-Bench-II)｜[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.08536)). We welcome you to evaluate and exchange ideas. Note that DRB II, as a follow-up to DRB, has a different evaluation focus from DRB; **DRB will continue to be maintained and updated** after the release of DRB II. For more details, please refer to the [DRB II paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.08536).\n\n+ [6 Feb 2026] 📚 **New Papers from Our Lab**: We welcome you to check out the new papers from our lab ([Agent Research Lab](https:\u002F\u002Fagentresearchlab.org\u002Findex.html)):\n  - **Benchmarks**:\n    - [DeepResearch Bench II](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.08536): Evaluates DRA-generated reports with 9,430 fine-grained binary rubrics (information recall, analysis, presentation) derived from expert-written articles.\n    - [Wiki Live Challenge](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.01590): A live benchmark that uses Wikipedia Good Articles as expert-level references, with fine-grained criteria for writing quality and factual verifiability.\n    - [WildGraphBench](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.02053): Benchmarks GraphRAG on long, heterogeneous documents with 1,100 questions spanning single-fact QA, multi-fact QA, and section-level summarization.\n  - **Agents**:\n    - [A-RAG](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.03442): An agentic RAG framework that exposes hierarchical retrieval interfaces (keyword search, semantic search, chunk read) to the model for adaptive multi-granularity retrieval.\n    - [FS-Researcher](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.01566): A file-system-based dual-agent framework (Context Builder + Report Writer) that scales deep research beyond the context window via a persistent knowledge base.\n  \n  **If you want to evaluate your deep research agent** please see the leaderboard submission requirements below and contact us at dumingxuan@mail.ustc.edu.cn and imlrz@mail.ustc.edu.cn.\n+ [18 July 2025] 🎉 We have established a partnership with **AGI-Eval** platform. DeepResearch Bench is now available on [**AGI-Eval**](https:\u002F\u002Fagi-eval.cn\u002Fevaluation\u002Fdetail?id=67), providing a more convenient evaluation interface for researchers and practitioners to test their deep research agents.\n+ [15 July 2025] ⚡️⚡️ **Major Update**: Added comprehensive evaluation of **Kimi-Researcher**, **Doubao-DeepResearch**, and **Claude-Researcher**. Upgraded evaluation infrastructure with **Gemini-2.5-Pro** for RACE and **Gemini-2.5-Flash** for FACT evaluation. All raw research articles and evaluation scores are now available on our [**Hugging Face Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAyanami0730\u002FDeepResearch-Leaderboard) for comprehensive analysis and comparison.\n\nFor detailed evaluation results and comprehensive comparisons, please refer to the evaluation results table below.\n\n\n\n\n## 📖 Overview\n\nDeepResearch Bench addresses the absence of a comprehensive benchmark for systematically evaluating Deep Research Agents (DRAs). Our benchmark consists of **100 PhD-level research tasks**, each meticulously crafted by domain experts across **22 distinct fields**, including:\n\n* 🔬 **Science & Technology**: Physics, chemistry, biology, environmental science, and engineering\n* 💼 **Finance & Business**: investments, personal finance, marketing, and human resources\n* 💻 **Software**: Topics related to the use of software and the internet\n* 🌍 **Others**: Art & Design, Entertainment, History, Industrial, Transportation, Travel, and more\n\n\n## Benchmark Construction\n\n### Topic Distribution Analysis\n\nTo ensure DeepResearch Bench reflects real-world research demands, we analyzed **96,147 anonymized user queries** from web search-enabled LLM interactions.These queries were classified into **22 topic domains** based on the WebOrganizer taxonomy, revealing the authentic distribution of human deep research needs across different fields.\n\n### Expert Task Collection\n\nGuided by real-world demand distribution, we invited **PhD-level experts and senior practitioners** (5+ years experience) to design challenging research tasks within their domains. Each submission underwent rigorous manual screening for:\n\n- **Quality**: High research standards and complexity\n- **Clarity**: Clear task definitions and requirements  \n- **Authenticity**: Grounded in real research scenarios\n- **Challenge Level**: Testing upper limits of DRA capabilities\n\nThis process yielded **100 high-quality benchmark tasks** (50 Chinese, 50 English) that maintain the same topical balance as observed in real-world usage.\n\n\n## Evaluation Framework\n\n![Framework Overview](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAyanami0730_deep_research_bench_readme_c17df3beeef3.png)\n\nDeepResearch Bench introduces two complementary evaluation methodologies designed to comprehensively assess Deep Research Agents:\n\n### 🎯 RACE (Reference-based Adaptive Criteria-driven Evaluation)\n\nRACE evaluates **report generation quality** through a sophisticated multi-step process:\n\n- **Dynamic Criteria Generation**: Automatically generates task-specific evaluation criteria across four key dimensions:\n  - 📚 **Comprehensiveness**: Coverage breadth and depth of the research topic\n  - 🔍 **Insight\u002FDepth**: Quality of analysis and insight generation  \n  - 📋 **Instruction-Following**: Adherence to specific task requirements\n  - 📖 **Readability**: Clarity, organization, and presentation quality\n\n- **Reference-Based Scoring**: Compares target reports against high-quality reference reports to ensure discriminative evaluation\n- **Weighted Assessment**: Uses dynamic weights adapted to each task's specific requirements\n\n### 🔗 FACT (Framework for Factual Abundance and Citation Trustworthiness)\n\nFACT evaluates **information retrieval and grounding capabilities** through:\n\n- **Statement-URL Extraction**: Automatically extracts factual claims and their cited sources from generated reports\n- **Deduplication**: Removes redundant statement-URL pairs to focus on unique factual claims\n- **Support Verification**: Uses web scraping and LLM judgment to verify whether cited sources actually support the claims\n- **Citation Metrics**: Calculates:\n  - **Citation Accuracy**: Percentage of correctly supported citations\n  - **Effective Citations**: Average number of verifiably supported citations per task\n\n\n## 📊 Evaluation Results\n\n### Main Results\n\n**View Latest Leaderboard**: Visit our [**DeepResearch Bench Leaderboard**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard) for real-time updated evaluation results, detailed comparative analysis, and raw data.\n\n### Submit to Leaderboard\n\nIf you would like to obtain an **official leaderboard entry** on DeepResearch Bench, please prepare the following materials and send them by email to:\n\n- `dumingxuan@mail.ustc.edu.cn`\n- `imlrz@mail.ustc.edu.cn`\n\n**Required submission materials:**\n\n1. **A temporary key with access to Gemini-2.5-Pro**\n   - This key is used only for verification\u002Fevaluation.\n   - It should remain valid during the evaluation window.\n   - Supported examples include:\n     - Google AI Studio\n     - Vertex AI\n     - OpenRouter\n     - Other official providers with Gemini-2.5-Pro access\n\n2. **The raw generated articles**\n   - Please provide your model outputs in the same format as the benchmark raw data.\n   - Reference example:\n     - [`data\u002Ftest_data\u002Fraw_data\u002Fclaude-3-7-sonnet-latest.jsonl`](https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fblob\u002Fmain\u002Fdata\u002Ftest_data\u002Fraw_data\u002Fclaude-3-7-sonnet-latest.jsonl)\n\n3. **Reproducibility link**\n   - If your model\u002Fagent is **open-source**, please provide a repository link that allows others to reproduce the results.\n   - If your model\u002Fagent is **closed-source**, please provide the product page and\u002For API link used for reproduction and verification.\n\n4. **Model metadata**\n   - **Model name**\n   - **Model\u002Fproject link**\n   - **Open-source license** (for open-source submissions; if closed-source, please clearly indicate that it is proprietary)\n\n**Recommended additional files:**\n\n- `results\u002Frace\u002F\u003Cmodel_name>\u002Frace_result.txt`\n- `results\u002Ffact\u002F\u003Cmodel_name>\u002Ffact_result.txt`\n\nProviding these files can help us speed up verification, but the raw generated reports and the temporary evaluation key are the most important requirements.\n\n---\n\n## 🛠️ Installation and Usage\n\n### Prerequisites\n\n- Python 3.9+\n- Gemini API key (for LLM evaluation)\n- Jina API key (for web scraping in FACT evaluation)\n\n### Setup\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyour-username\u002Fdeep_research_bench.git\ncd deep_research_bench\npip install -r requirements.txt\n```\n\n### API Configuration\n\nSet the required API keys as environment variables:\n\n```bash\n# Set Gemini API key for LLM evaluation\nexport GEMINI_API_KEY=\"your_gemini_api_key_here\"\n\n# Set Jina API key for web scraping\nexport JINA_API_KEY=\"your_jina_api_key_here\"\n```\n\n\n## Project Structure\n\n```\ndeep_research_bench\u002F\n├── data\u002F\n│   ├── criteria_data\u002F      # Evaluation criteria data\n│   ├── prompt_data\u002F        \n│   │   └── query.jsonl     # ← 100 benchmark queries for your agent\n│   └── test_data\u002F          \n│       ├── cleaned_data\u002F   # Cleaned article data\n│       └── raw_data\u002F       # ← Put your model outputs here (model_name.jsonl)\n├── prompt\u002F                 # Prompt templates\n├── utils\u002F                  # Utility functions\n├── deepresearch_bench_race.py  # RACE evaluation script\n├── run_benchmark.sh        # ← Add your model names here, then run\n└── requirements.txt        # Dependencies\n```\n\n**Quick Start Flow:**\n1. Use queries from `data\u002Fprompt_data\u002Fquery.jsonl` → Run your Deep Research Agent\n2. Save outputs to `data\u002Ftest_data\u002Fraw_data\u002F\u003Cmodel_name>.jsonl`\n3. Add model name to `TARGET_MODELS` in `run_benchmark.sh`\n4. Run: `bash run_benchmark.sh`\n\n## Quick Start\n\n### 1. Prepare Your Model Data\n\nRun your Deep Research Agent on the benchmark queries and save outputs in the required format:\n\n**Input**: Use queries from `data\u002Fprompt_data\u002Fquery.jsonl` (100 benchmark tasks)\n\n**Output**: Save results to `data\u002Ftest_data\u002Fraw_data\u002F\u003Cmodel_name>.jsonl`\n\n**Required format** (each line should contain):\n```json\n{\n    \"id\": \"task_id\", \n    \"prompt\": \"original_query_text\", \n    \"article\": \"generated_research_article_with_citations\"\n}\n```\n\n### 2. Configure Models to Evaluate\n\nEdit `run_benchmark.sh` and add your model name:\n```bash\nTARGET_MODELS=(\"your-model-name\")\n```\n\n### 3. Run Evaluation\n\n```bash\nbash run_benchmark.sh\n```\n\nResults will be saved to:\n- RACE evaluation: `results\u002Frace\u002F\u003Cmodel_name>\u002Frace_result.txt`\n- FACT evaluation: `results\u002Ffact\u002F\u003Cmodel_name>\u002Ffact_result.txt`\n\n### Custom LLM Integration\n\nIf you're not using the official Gemini API or want to use other LLMs for evaluation, modify the `AIClient` class in `utils\u002Fapi.py` to implement your custom LLM interface.\n\n## Acknowledgements\n\nWe would like to express our gratitude to the following contributors who helped us collect evaluation data. Since many models and agents do not provide public APIs, manual data collection was necessary, and we deeply appreciate their dedicated efforts:\n\n**Xin Yang**, **Jie Yang**, **Yawen Li**, **Xinyu Ouyang**, **Jiaqi He**, **Gefan Zhang**, **Jinfu Liao**, **Qiuyue Chen**, **Yulin Wang**, and **Lina Wang**.\n\nTheir contributions were essential to the comprehensive evaluation presented in this benchmark.\n\n## Citation\n\nIf you use DeepResearch Bench in your research, please cite our paper:\n\n```bibtex\n@article{du2025deepresearch,\n  author    = {Mingxuan Du and Benfeng Xu and Chiwei Zhu and Xiaorui Wang and Zhendong Mao},\n  title     = {DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents},\n  journal   = {arXiv preprint},\n  year      = {2025},\n}\n``` ","\u003Ch1 align=\"center\">DeepResearch Bench：面向深度研究智能体的全面基准测试\u003C\u002Fh1>\n\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fblob\u002Fmain\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode_License-MIT-blue\" alt=\"license\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdeepresearch-bench.github.io\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWebsite-DeepResearch-green\" alt=\"website\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmuset-ai\u002FDeepResearch-Bench-Dataset\">\u003Cimg alt=\"Dataset\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Dataset-orange?color=FF6F00\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard\">\u003Cimg alt=\"Leaderboard\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🏆%20Leaderboard-yellow?color=FFD700\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAyanami0730\u002FDeepResearch-Leaderboard\">\u003Cimg alt=\"Hugging Face\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-blue?color=8A2BE2\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.11763\" target=\"_blank\">\u003Cimg src=https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-b5212f.svg?logo=arxiv>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fagi-eval.cn\u002Fevaluation\u002Fdetail?id=67\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤝%20AGI--Eval-purple?color=8569f6\" alt=\"AGI-Eval\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Ch5 align=\"center\"> 如果您喜欢我们的项目，请在 GitHub 上为我们点亮星标 ⭐，以获取最新更新。\u003C\u002Fh5>\n\n# ✨ 新闻\n+ [2026年4月16日] 🎉 **新增模型**：我们欢迎[**Deep Dog 1**](https:\u002F\u002Fgithub.com\u002Fbeneadie\u002FDeepDog_1)——一款开源深度研究代理（MIT许可证），综合得分为**53.52**。请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n+ [2026年4月13日] 🎉 **新增模型**：DeepResearch Bench迎来了两款新模型：\n  - 🥇 [**Grep Deep Research**](https:\u002F\u002Fgrep.ai)——一款专有深度研究代理，以**56.23**的综合得分位居**第1名**。\n  - [**LiAuto Mind DeepResearch 1.5**](https:\u002F\u002Fwww.lixiang.com\u002Ftech\u002Fmindgpt)——理想汽车推出的一款专有深度研究代理，综合得分为**52.54**。\n  \n  请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n+ [2026年4月9日] 🎉 **新增模型**：我们欢迎[**MS-Agent Agentic Insight v2（Qwen3.5-Plus、GPT 5.2）**](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fms-agent)——一款开源深度研究代理（Apache-2.0许可证），综合得分为**55.31**。请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n+ [2026年4月2日] 🎉 **新增模型**：我们欢迎[**Grep.ai Deep Research**](https:\u002F\u002Fgrep.ai)——一款专有深度研究代理，综合得分为**56.09**，在排行榜上位列**第2名**！请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n+ [2026年4月2日] 🎉 **新增模型**：DeepResearch Bench迎来了两款新模型：\n  - 🥉 [**1688AILab-DeepResearch**](https:\u002F\u002Fair.1688.com\u002Fkapp\u002F1688-ai-app\u002Fpages\u002Fhome)——一款专有深度研究代理，以**55.39**的综合得分位居**第3名**。\n  - [**TrajectoryKit（GPT-OSS、GPT5.4）**](https:\u002F\u002Fgithub.com\u002FKabakaWilliam\u002Ftrajectorykit)——一款开源深度研究代理（MIT许可证），综合得分为**54.92**。\n  \n  请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n+ [2026年3月31日] 📝 **排行榜提交更新**：我们在README中明确了官方排行榜的提交要求。现在，提交内容应包括可临时访问的**Gemini-2.5-Pro**密钥、**原始生成报告**、可复现性链接（仓库或产品\u002FAPI链接），以及模型元数据，如**模型名称、链接和开源许可证**。请通过**dumingxuan@mail.ustc.edu.cn**和**imlrz@mail.ustc.edu.cn**进行提交，详情请参阅[**提交排行榜**](#submit-to-leaderboard)。\n\n+ [2026年3月25日] 🎉 **新增模型**：我们欢迎[**MS-Agent Agentic Insight v2（Qwen3.5-Plus、GPT 5）**](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fms-agent)——一款开源深度研究代理（Apache-2.0许可证），综合得分为**54.97**。请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n+ [2026年3月20日] 🎉 **新增模型**：DeepResearch Bench迎来了三款新模型：\n  - 🥇 [**Cellcog Max**](https:\u002F\u002Fwww.cellcog.ai\u002F)——一款专有深度研究代理，以**56.13**的综合得分位居**第1名**！\n  - 🥉 [**Cellcog**](https:\u002F\u002Fwww.cellcog.ai\u002F)——一款专有深度研究代理，以**55.31**的综合得分位居**第3名**。\n  - [**RecallRadar Intelligence**](https:\u002F\u002Fgetrecallradar.com)——一款专有深度研究代理，综合得分为**53.19**。\n  \n  请查看我们[**排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard)上的最新排名。\n\n\n+ [2026年2月6日] 🚀 **DeepResearch Bench II发布**：我们发布了**DeepResearch Bench II（DRB II）**（[主页](https:\u002F\u002Fagentresearchlab.org\u002Fbenchmarks\u002Fdeepresearch-bench-ii\u002Findex.html#home)｜[仓库](https:\u002F\u002Fgithub.com\u002Fimlrz\u002FDeepResearch-Bench-II)｜[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.08536)）。欢迎各位评估并交流想法。请注意，作为DRB的后续版本，DRB II的评估重点与DRB有所不同；**DRB将在DRB II发布后继续维护和更新**。更多详情请参阅[DRB II论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.08536)。\n\n+ [2026年2月6日] 📚 **实验室新论文**：欢迎查阅我们实验室（[Agent Research Lab](https:\u002F\u002Fagentresearchlab.org\u002Findex.html)）的新论文：\n  - **基准测试**：\n    - [DeepResearch Bench II](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.08536)：基于专家撰写的文章，采用9,430个细粒度二元评分标准（信息召回、分析、呈现）来评估DRA生成的报告。\n    - [Wiki Live Challenge](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.01590)：一项实时基准测试，以维基百科优良条目作为专家级参考，采用细粒度标准评估写作质量和事实可验证性。\n    - [WildGraphBench](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.02053)：针对长篇异构文档，涵盖单事实问答、多事实问答及章节级摘要的1,100道问题，对GraphRAG进行基准测试。\n  - **智能体**：\n    - [A-RAG](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.03442)：一种具身化RAG框架，向模型暴露分层检索接口（关键词搜索、语义搜索、块读取），实现自适应的多粒度检索。\n    - [FS-Researcher](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.01566)：一种基于文件系统的双智能体框架（上下文构建器+报告撰写器），通过持久化知识库将深度研究扩展至上下文窗口之外。\n  \n  **如果您希望评估自己的深度研究代理**，请参阅下方的排行榜提交要求，并通过dumingxuan@mail.ustc.edu.cn和imlrz@mail.ustc.edu.cn与我们联系。\n+ [2025年7月18日] 🎉 我们与**AGI-Eval**平台建立了合作关系。DeepResearch Bench现已上线[**AGI-Eval**](https:\u002F\u002Fagi-eval.cn\u002Fevaluation\u002Fdetail?id=67)，为研究人员和从业者提供更便捷的评估界面，用于测试他们的深度研究代理。\n+ [2025年7月15日] ⚡️⚡️ **重大更新**：新增了对**Kimi-Researcher**、**Doubao-DeepResearch**和**Claude-Researcher**的全面评估。升级了评估基础设施，使用**Gemini-2.5-Pro**进行RACE评估，使用**Gemini-2.5-Flash**进行FACT评估。所有原始研究文章和评估分数现已在我们的[**Hugging Face排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAyanami0730\u002FDeepResearch-Leaderboard)上公开，供全面分析和比较。\n  \n有关详细的评估结果和全面比较，请参阅下方的评估结果表格。\n\n## 📖 概述\n\nDeepResearch Bench 解决了缺乏系统性评估深度研究代理（DRA）的综合基准的问题。我们的基准由 **100 个博士级别的研究任务** 组成，每个任务均由来自 **22 个不同领域** 的领域专家精心设计，包括：\n\n* 🔬 **科学技术**：物理、化学、生物、环境科学和工程\n* 💼 **金融与商业**：投资、个人理财、市场营销和人力资源\n* 💻 **软件**：与软件和互联网使用相关的主题\n* 🌍 **其他**：艺术与设计、娱乐、历史、工业、交通、旅游等\n\n\n## 基准构建\n\n### 主题分布分析\n\n为确保 DeepResearch Bench 能够反映现实世界的研究需求，我们分析了来自启用网络搜索的 LLM 交互中的 **96,147 条匿名用户查询**。这些查询根据 WebOrganizer 分类体系被划分为 **22 个主题领域**，揭示了人类在不同领域的深度研究需求的真实分布情况。\n\n### 专家任务收集\n\n在真实需求分布的指导下，我们邀请了 **博士级别的专家和资深从业者**（5 年以上经验）在其各自领域内设计具有挑战性的研究任务。每份提交的任务都经过严格的手动筛选，以确保：\n\n- **质量**：高研究标准和复杂性\n- **清晰度**：明确的任务定义和要求\n- **真实性**：基于真实的科研场景\n- **挑战程度**：测试 DRA 能力的上限\n\n通过这一过程，我们最终获得了 **100 个高质量的基准任务**（中文和英文各 50 个），其主题分布与实际使用中的分布保持一致。\n\n\n## 评估框架\n\n![框架概览](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAyanami0730_deep_research_bench_readme_c17df3beeef3.png)\n\nDeepResearch Bench 引入了两种互补的评估方法，旨在全面评估深度研究代理：\n\n### 🎯 RACE（基于参考的自适应标准驱动评估）\n\nRACE 通过一个复杂的多步骤流程来评估 **报告生成质量**：\n\n- **动态标准生成**：自动为每个任务生成特定的评估标准，涵盖四个关键维度：\n  - 📚 **全面性**：对研究主题覆盖的广度和深度\n  - 🔍 **洞察力\u002F深度**：分析质量和见解生成能力\n  - 📋 **指令遵循**：对具体任务要求的遵守程度\n  - 📖 **可读性**：清晰度、组织性和呈现质量\n\n- **基于参考的评分**：将目标报告与高质量的参考报告进行对比，以确保评估的区分度\n- **加权评估**：根据每个任务的具体要求动态调整权重\n\n### 🔗 FACT（事实丰富度与引用可信度框架）\n\nFACT 通过以下方式评估 **信息检索和知识 grounded 性能**：\n\n- **语句-URL 提取**：自动从生成的报告中提取事实性陈述及其引用来源\n- **去重处理**：去除重复的语句-URL 对，以聚焦于独特的事实性陈述\n- **支持验证**：利用网页抓取和 LLM 判断来验证所引用的来源是否确实支持这些陈述\n- **引用指标计算**：计算：\n  - **引用准确性**：正确支持的引用所占百分比\n  - **有效引用数**：每个任务中可验证支持的平均引用数量\n\n\n## 📊 评估结果\n\n### 主要结果\n\n**查看最新排行榜**：访问我们的 [**DeepResearch Bench 排行榜**](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard) ，获取实时更新的评估结果、详细比较分析以及原始数据。\n\n### 提交至排行榜\n\n如果您希望在 DeepResearch Bench 上获得 **官方排行榜条目**，请准备以下材料，并通过电子邮件发送至：\n\n- `dumingxuan@mail.ustc.edu.cn`\n- `imlrz@mail.ustc.edu.cn`\n\n**所需提交材料：**\n\n1. **具备 Gemini-2.5-Pro 访问权限的临时密钥**\n   - 此密钥仅用于验证和评估。\n   - 在评估期间应保持有效。\n   - 支持的示例包括：\n     - Google AI Studio\n     - Vertex AI\n     - OpenRouter\n     - 其他提供 Gemini-2.5-Pro 访问权限的官方提供商\n\n2. **生成的原始文章**\n   - 请以与基准原始数据相同格式提供您的模型输出。\n   - 参考示例：\n     - [`data\u002Ftest_data\u002Fraw_data\u002Fclaude-3-7-sonnet-latest.jsonl`](https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fblob\u002Fmain\u002Fdata\u002Ftest_data\u002Fraw_data\u002Fclaude-3-7-sonnet-latest.jsonl)\n\n3. **可复现性链接**\n   - 如果您的模型\u002F代理是 **开源的**，请提供允许他人复现结果的仓库链接。\n   - 如果您的模型\u002F代理是 **闭源的**，请提供用于复现和验证的产品页面和\u002F或 API 链接。\n\n4. **模型元数据**\n   - **模型名称**\n   - **模型\u002F项目链接**\n   - **开源许可证**（适用于开源提交；若为闭源，请明确注明为专有技术）\n\n**推荐的附加文件：**\n\n- `results\u002Frace\u002F\u003Cmodel_name>\u002Frace_result.txt`\n- `results\u002Ffact\u002F\u003Cmodel_name>\u002Ffact_result.txt`\n\n提供这些文件可以帮助我们加快验证速度，但最重要的要求仍然是生成的原始报告和临时评估密钥。\n\n---\n\n## 🛠️ 安装与使用\n\n### 前置条件\n\n- Python 3.9+\n- Gemini API 密钥（用于 LLM 评估）\n- Jina API 密钥（用于 FACT 评估中的网页抓取）\n\n### 设置\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyour-username\u002Fdeep_research_bench.git\ncd deep_research_bench\npip install -r requirements.txt\n```\n\n### API 配置\n\n将所需的 API 密钥设置为环境变量：\n\n```bash\n# 设置用于 LLM 评估的 Gemini API 密钥\nexport GEMINI_API_KEY=\"your_gemini_api_key_here\"\n\n# 设置用于网页抓取的 Jina API 密钥\nexport JINA_API_KEY=\"your_jina_api_key_here\"\n```\n\n\n## 项目结构\n\n```\ndeep_research_bench\u002F\n├── data\u002F\n│   ├── criteria_data\u002F      # 评估标准数据\n│   ├── prompt_data\u002F        \n│   │   └── query.jsonl     # ← 您的代理需要完成的 100 个基准查询\n│   └── test_data\u002F          \n│       ├── cleaned_data\u002F   # 清洗后的文章数据\n│       └── raw_data\u002F       # ← 将您的模型输出放在这里（model_name.jsonl）\n├── prompt\u002F                 # 提示模板\n├── utils\u002F                  # 工具函数\n├── deepresearch_bench_race.py  # RACE 评估脚本\n├── run_benchmark.sh        # ← 在这里添加您的模型名称，然后运行\n└── requirements.txt        # 依赖项\n```\n\n**快速入门流程：**\n1. 使用 `data\u002Fprompt_data\u002Fquery.jsonl` 中的查询 → 运行您的深度研究代理\n2. 将输出保存到 `data\u002Ftest_data\u002Fraw_data\u002F\u003Cmodel_name>.jsonl`\n3. 将模型名称添加到 `run_benchmark.sh` 中的 `TARGET_MODELS`\n4. 运行：`bash run_benchmark.sh`\n\n## 快速入门\n\n### 1. 准备您的模型数据\n\n在基准查询上运行您的深度研究代理，并将输出保存为所需格式：\n\n**输入**：使用 `data\u002Fprompt_data\u002Fquery.jsonl` 中的查询（100 个基准任务）\n\n**输出**：将结果保存到 `data\u002Ftest_data\u002Fraw_data\u002F\u003Cmodel_name>.jsonl`\n\n**所需格式**（每行应包含）：\n```json\n{\n    \"id\": \"task_id\", \n    \"prompt\": \"original_query_text\", \n    \"article\": \"generated_research_article_with_citations\"\n}\n```\n\n### 2. 配置待评估的模型\n\n编辑 `run_benchmark.sh` 文件，添加您的模型名称：\n```bash\nTARGET_MODELS=(\"your-model-name\")\n```\n\n### 3. 运行评估\n\n```bash\nbash run_benchmark.sh\n```\n\n评估结果将保存至：\n- RACE 评估：`results\u002Frace\u002F\u003Cmodel_name>\u002Frace_result.txt`\n- FACT 评估：`results\u002Ffact\u002F\u003Cmodel_name>\u002Ffact_result.txt`\n\n### 自定义大语言模型集成\n\n如果您未使用官方 Gemini API，或希望使用其他大语言模型进行评估，请修改 `utils\u002Fapi.py` 中的 `AIClient` 类，以实现您自定义的大语言模型接口。\n\n## 致谢\n\n我们谨向以下为收集评估数据提供帮助的贡献者表示衷心感谢。由于许多模型和代理并未提供公开 API，因此不得不采用手动方式收集数据，对此我们深表感激：\n\n**Xin Yang**、**Jie Yang**、**Yawen Li**、**Xinyu Ouyang**、**Jiaqi He**、**Gefan Zhang**、**Jinfu Liao**、**Qiuyue Chen**、**Yulin Wang** 和 **Lina Wang**。\n\n他们的贡献对于本基准测试中所呈现的全面评估至关重要。\n\n## 引用\n\n如果您在研究中使用 DeepResearch Bench，请引用我们的论文：\n\n```bibtex\n@article{du2025deepresearch,\n  author    = {Mingxuan Du and Benfeng Xu and Chiwei Zhu and Xiaorui Wang and Zhendong Mao},\n  title     = {DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents},\n  journal   = {arXiv preprint},\n  year      = {2025},\n}\n```","# DeepResearch Bench 快速上手指南\n\nDeepResearch Bench 是一个用于系统评估深度研究智能体（Deep Research Agents, DRA）的综合基准测试工具。它包含由领域专家精心设计的 100 个博士级研究任务，涵盖科技、金融、软件等 22 个领域，并提供 RACE（报告质量评估）和 FACT（事实与引用可信度评估）两套评估框架。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS\n*   **Python 版本**: Python 3.9 或更高版本\n*   **依赖管理**: pip 或 conda\n*   **API 访问权限**:\n    *   需要拥有 **Gemini-2.5-Pro** 的 API Key（用于 RACE 评估）。\n    *   需要拥有 **Gemini-2.5-Flash** 的 API Key（用于 FACT 评估）。\n    *   若需测试自有模型，需准备对应模型的 API Endpoint 或本地部署环境。\n\n## 安装步骤\n\n目前该项目主要通过源码安装。建议使用虚拟环境以避免依赖冲突。\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench.git\ncd deep_research_bench\n```\n\n### 2. 创建并激活虚拟环境\n```bash\npython -m venv venv\nsource venv\u002Fbin\u002Factivate  # Windows 用户使用: venv\\Scripts\\activate\n```\n\n### 3. 安装依赖\n```bash\npip install -r requirements.txt\n```\n> **提示**: 如果下载速度较慢，可使用国内镜像源加速安装：\n> ```bash\n> pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n### 4. 配置环境变量\n在项目根目录下创建 `.env` 文件，填入必要的 API Key：\n```bash\necho \"GEMINI_API_KEY=your_gemini_api_key_here\" > .env\n# 如有其他模型密钥，请在此处补充\n```\n\n## 基本使用\n\nDeepResearch Bench 的核心功能是评估智能体生成的研究报告。以下是运行评估的最简流程。\n\n### 1. 准备待评估数据\n确保你拥有智能体生成的原始研究报告（通常为 Markdown 或 JSON 格式），并整理好对应的任务 ID。数据集可从 Hugging Face 获取：\n*   **数据集地址**: [muset-ai\u002FDeepResearch-Bench-Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmuset-ai\u002FDeepResearch-Bench-Dataset)\n\n### 2. 运行评估脚本\n使用提供的评估脚本对报告进行打分。以下命令演示了如何对指定目录下的报告运行 RACE 和 FACT 评估：\n\n```bash\npython evaluate.py \\\n    --dataset_path data\u002Ftasks.json \\\n    --report_dir results\u002Fmy_agent_reports \\\n    --eval_mode all \\\n    --output_dir eval_results\n```\n\n**参数说明：**\n*   `--dataset_path`: 基准测试任务文件的路径。\n*   `--report_dir`: 存放待评估报告文件的文件夹路径。\n*   `--eval_mode`: 评估模式，可选 `race` (仅报告质量), `fact` (仅事实核查), 或 `all` (两者都运行)。\n*   `--output_dir`: 评估结果输出的目录。\n\n### 3. 查看结果\n运行完成后，评估结果将保存在 `eval_results` 目录中，包含详细的得分明细、引用准确率以及综合排名数据。您可以将结果上传至 [Leaderboard](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmuset-ai\u002FDeepResearch-Bench-Leaderboard) 进行对比。\n\n### 提交至排行榜\n若希望将您的模型结果收录至官方排行榜，请将以下材料发送至官方邮箱 (`dumingxuan@mail.ustc.edu.cn`, `imlrz@mail.ustc.edu.cn`)：\n1.  临时的 **Gemini-2.5-Pro** 访问密钥。\n2.  **原始生成的报告**文件。\n3.  复现链接（代码仓库或产品\u002FAPI 链接）。\n4.  模型元数据（名称、链接、开源许可证类型）。","某顶尖 AI 实验室的研究团队正在研发新一代深度研究智能体，急需在发布前对其复杂推理与多步检索能力进行权威、量化的评估。\n\n### 没有 deep_research_bench 时\n- **评估标准混乱**：团队只能自行拼凑简单的问答测试集，缺乏涵盖长程规划、信息综合等高难度任务的统一标准，导致自评结果虚高且不可信。\n- **横向对比困难**：面对市场上层出不穷的竞品（如 Grep Deep Research 或 MS-Agent），无法在同等条件下进行公平排名，难以定位自身模型的真实行业位次。\n- **迭代方向模糊**：由于缺乏细粒度的分项得分（如检索准确率 vs. 报告生成质量），开发人员难以判断模型是“找不到信息”还是“写不好总结”，优化效率低下。\n- **学术认可度低**：自建的评测数据集缺乏社区公信力，相关技术论文在投稿顶级会议时，常因实验部分缺乏权威基准支撑而受到审稿人质疑。\n\n### 使用 deep_research_bench 后\n- **建立权威标尺**：直接接入包含多样化复杂任务的综合基准，利用其标准化的评测流程，瞬间获得具有社区共识的客观能力画像。\n- **精准定位排名**：将模型提交至 Hugging Face 排行榜，直接与 Grep、LiAuto Mind 等前沿模型同台竞技，清晰看到 53.52 分或 56.23 分背后的具体差距。\n- **诊断瓶颈所在**：通过基准提供的多维度分析报告，团队迅速发现模型在“跨文档信息整合”环节得分偏低，从而针对性地调整了 Agent 的规划算法。\n- **提升论文说服力**：引用 arXiv 论文及 AGI-Eval 认证背书，用详实的基准数据证明模型性能，显著提升了研究成果的学术影响力和可信度。\n\ndeep_research_bench 不仅是一把衡量深度的“标尺”，更是驱动深度研究智能体从“能用”迈向“好用”的核心导航仪。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAyanami0730_deep_research_bench_25dfe219.png","Ayanami0730","Ayanami","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAyanami0730_76329396.jpg",null,"https:\u002F\u002Fgithub.com\u002FAyanami0730",[20,24],{"name":21,"color":22,"percentage":23},"Python","#3572A5",97.9,{"name":25,"color":26,"percentage":27},"Shell","#89e051",2.1,684,72,"2026-04-17T13:04:31","Apache-2.0",2,"","未说明",{"notes":36,"python":34,"dependencies":37},"README 中未提供具体的运行环境配置（如操作系统、GPU、内存、Python 版本及依赖库）。该项目主要是一个评估基准（Benchmark），提交评测需要联系作者并提供 Gemini-2.5-Pro 的临时访问密钥、原始生成的报告以及复现链接。详细的评估基础设施升级提到了使用 Gemini-2.5-Pro 和 Gemini-2.5-Flash，但未说明本地运行该基准工具的具体硬件要求。",[],[39,40,41],"语言模型","Agent","其他",[43,44,45,46],"agent","benchmark","deepresearch","nlp","ready","2026-03-27T02:49:30.150509","2026-04-18T22:45:07.741685",[51,56,60,64,68,73,78,82],{"id":52,"question_zh":53,"answer_zh":54,"source_url":55},40907,"如何获取闭源模型（如 Gemini、GPT、Grok）的 Deep Research 评估结果？","对于不提供公共 API 的闭源深度研究代理，团队通过手动方式获取结果。具体操作包括直接从用户界面复制文本，或解析输出页面的 HTML 代码来提取内容。","https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fissues\u002F9",{"id":57,"question_zh":58,"answer_zh":59,"source_url":55},40908,"使用与待评估模型同厂商的 LLM（如用 Gemini 评判 Gemini）作为裁判是否会导致评分偏差？","这是一个已知挑战。团队在论文中进行了人类一致性实验，结果显示：即使使用 Gemini-2.5-pro 作为裁判来评估包含其自身生成的文章，其评分与人类判断的相关性仍高于使用 Claude-3.7-Sonnet 作为裁判的情况，且成本更低。因此，该设置被认为能提供更可靠且具性价比的评估。",{"id":61,"question_zh":62,"answer_zh":63,"source_url":55},40909,"为什么基准测试使用专家构建的问题而不是普通用户的查询？","因为许多用户查询过于简单，无法充分发挥深度研究代理的多步搜索、分析和综合能力。通过邀请领域专家构建任务，可以提高测试集的难度：专家的问题通常需要专业的长尾知识，迫使模型执行更长的推理和搜索轨迹才能给出高质量回答。",{"id":65,"question_zh":66,"answer_zh":67,"source_url":55},40910,"RACE 框架中为何使用相对分数公式 S_final = S_target \u002F (S_target + S_reference)？","早期实验表明，相对分数能产生更稳定的评估结果。通过将每个答案与高质量的参考报告进行锚定对比，可以有效减少绝对评分带来的波动，使不同模型间的比较更加公平和一致。",{"id":69,"question_zh":70,"answer_zh":71,"source_url":72},40911,"基准测试如何处理“长度偏差”（即报告越长得分越高）的问题？","团队承认长度偏差是 LLM 作为裁判的固有偏见之一。为此，他们进行了针对性实验：程序化地扩展不同代理生成的文章长度（逐段增加但不添加新信息），以测试评分是否随长度虚高。目前正探索结合其他互补指标（如信息密度）来更客观地反映文章真实质量，并持续验证前沿模型对此类偏见的抵抗能力。","https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fissues\u002F16",{"id":74,"question_zh":75,"answer_zh":76,"source_url":77},40912,"在评估 Gemini Deep Research 时，参考报告（R_ref）是否也来自 Gemini，这是否造成不公平优势？","是的，评估 Gemini 时使用的参考报告确实由 Gemini-2.5-Pro-DeepResearch 生成，但关键点在于：目标报告和参考报告是针对同一查询、在不同时间生成的两份独立报告。采用参考报告机制是为了提升长文评分的稳定性；实验证明，引入高质量参考报告能显著提高裁判模型的评分一致性。","https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fissues\u002F13",{"id":79,"question_zh":80,"answer_zh":81,"source_url":55},40913,"专家提出的问题是如何验证和标准化的？","团队与每位专家进行多轮审查迭代，对每个提示词反复打磨，直到其完全符合“深度研究任务”的定义及基准的整体目标。虽然没有单一模糊标准，而是通过多轮协作确保问题具备足够的复杂性、专业性和可评估性。",{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},40914,"提交排行榜结果后，维护者如何进行验证？","维护者会使用提交方提供的结果文件，在本地按照标准协议运行三次评估，取平均分作为最终验证分数。若提交方确认无误，即可加入排行榜；如有异议，可增加评估轮次以降低方差、收敛到更稳定的代表性分数。","https:\u002F\u002Fgithub.com\u002FAyanami0730\u002Fdeep_research_bench\u002Fissues\u002F41",[],[89,101,109,117,127,135],{"id":90,"name":91,"github_repo":92,"description_zh":93,"stars":94,"difficulty_score":95,"last_commit_at":96,"category_tags":97,"status":47},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[40,98,99,100],"开发框架","图像","数据工具",{"id":102,"name":103,"github_repo":104,"description_zh":105,"stars":106,"difficulty_score":95,"last_commit_at":107,"category_tags":108,"status":47},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[98,99,40],{"id":110,"name":111,"github_repo":112,"description_zh":113,"stars":114,"difficulty_score":32,"last_commit_at":115,"category_tags":116,"status":47},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,"2026-04-18T11:30:52",[98,40,39],{"id":118,"name":119,"github_repo":120,"description_zh":121,"stars":122,"difficulty_score":123,"last_commit_at":124,"category_tags":125,"status":47},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[40,126],"插件",{"id":128,"name":129,"github_repo":130,"description_zh":131,"stars":132,"difficulty_score":32,"last_commit_at":133,"category_tags":134,"status":47},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[98,99,40],{"id":136,"name":137,"github_repo":138,"description_zh":139,"stars":140,"difficulty_score":32,"last_commit_at":141,"category_tags":142,"status":47},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[126,40,99,98]]