[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ruixiangcui--AGIEval":3,"tool-ruixiangcui--AGIEval":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,2,"2026-04-10T11:13:16",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75569,"2026-04-14T10:38:48",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":69,"owner_company":79,"owner_location":80,"owner_email":69,"owner_twitter":69,"owner_website":81,"owner_url":82,"languages":83,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":98,"github_topics":69,"view_count":10,"oss_zip_url":69,"oss_zip_packed_at":69,"status":22,"created_at":99,"updated_at":100,"faqs":101,"releases":132},7450,"ruixiangcui\u002FAGIEval","AGIEval",null,"AGIEval 是一个专为评估大语言模型通用能力而设计的“以人为中心”的基准测试工具。它巧妙地从全球 20 项高标准的人类入学与资格考试中提炼数据，涵盖中国高考、美国 SAT、法学院入学考试、数学竞赛及公务员考试等场景，旨在通过模拟人类认知与解题过程，客观衡量 AI 在复杂任务中的真实水平。\n\n这一工具有效解决了现有评测集往往偏向特定领域或缺乏人类思维深度的问题，为模型能力的横向对比提供了统一且高难度的标尺。其独特亮点在于数据集的持续迭代（如更新至 v1.1 版本），不仅纳入了最新的考题，还针对多选题答案唯一性进行了标准化处理，并提供了完善的少样本学习提示词与基线系统复现代码，确保评估结果的严谨性与可复现性。\n\nAGIEval 非常适合 AI 研究人员、大模型开发者以及算法工程师使用。无论是希望验证新模型在逻辑推理、语言理解等方面的综合表现，还是需要在学术研究中建立可靠的对比基准，AGIEval 都能提供权威的数据支持。目前，该基准已收录了包括 GPT-4o、Llama 3 等主流模型的性能排行榜，是洞察前沿模型能力边界的重要窗口。","# AGIEval\nThis repository contains information about AGIEval, data, code and output of baseline systems for the benchmark.\n\n# Introduction\nAGIEval is a human-centric benchmark specifically designed to evaluate the general abilities of foundation models in tasks pertinent to human cognition and problem-solving. \nThis benchmark is derived from 20 official, public, and high-standard admission and qualification exams intended for general human test-takers, such as general college admission tests (e.g., Chinese College Entrance Exam (Gaokao) and American SAT), law school admission tests, math competitions, lawyer qualification tests, and national civil service exams. \nFor a full description of the benchmark, please refer to our paper: [AGIEval: A Human-Centric Benchmark for\nEvaluating Foundation Models](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.06364.pdf).\n\n# Tasks and Data\n[We have updated the dataset to version 1.1.](data\u002Fv1_1) The new version updated Chinese Gaokao (chemistry, biology, physics) datasets with questions from 2023 and addressed annotation issues. To facilitate evaluation, now all multi-choice question (MCQ) tasks have one answer only (Gaokao-Physics and JEC-QA used to have multi-label answers). AGIEval-en datasets remain the same as Verison 1.0. The new version's statistics are as follows:\n\nAGIEval v1.1 contains 20 tasks, including 18 MCQ tasks and two cloze tasks (Gaokao-Math-Cloze and MATH). You can find the full list of tasks in the table below.\n![The datasets used in AGIEVal](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fruixiangcui_AGIEval_readme_19a1e839ca00.png)\n\nYou can download all post-processed data in the [data\u002Fv1_1](data\u002Fv1_1) folder. All usage of the data should follow the license of the original datasets. \n\nThe data format for all datasets is as follows:\n```\n{\n    \"passage\": null,\n    \"question\": \"设集合 $A=\\\\{x \\\\mid x \\\\geq 1\\\\}, B=\\\\{x \\\\mid-1\u003Cx\u003C2\\\\}$, 则 $A \\\\cap B=$ ($\\\\quad$)\\\\\\\\\\n\",\n    \"options\": [\"(A)$\\\\{x \\\\mid x>-1\\\\}$\", \n        \"(B)$\\\\{x \\\\mid x \\\\geq 1\\\\}$\", \n        \"(C)$\\\\{x \\\\mid-1\u003Cx\u003C1\\\\}$\", \n        \"(D)$\\\\{x \\\\mid 1 \\\\leq x\u003C2\\\\}$\"\n        ],\n    \"label\": \"D\",\n    \"answer\": null\n}\n```\nThe `passage` field is available for gaokao-chinese, gaokao-english, both of logiqa, all of LSAT, and SAT. The answer for multi-choice tasks is saved in the `label` field. The answer for cloze tasks is saved in the `answer` field. \n\nWe provide the prompts for few-shot learning in the [data\u002Ffew_shot_prompts](data\u002Ffew_shot_prompts.csv) file.\n# Baseline Systems\nWe evaluate the performance of the baseline systems (gpt-3.5-turbo and GPT-4o) on AGIEval v1.1.\nThe results are as follows:\n\n![The datasets used in AGIEVal](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fruixiangcui_AGIEval_readme_3fc97425c2dc.png)\n\nYou can replicate the results by following the steps below:\n1. Update your OpenAI API in the [openai_api.py](openai_api.py) file.\n2. run the [run_prediction.py](run_prediction.py) script to get the results.\n\n# Evaluation\nYou can run the [post_process_and_evaluation.py](post_process_and_evaluation.py) file to get the evaluation results.\n# Leaderboard\nWe report the leaderboard on AGIEval v1.1. The leaderboard contains two subsets AGIEval-en and AGIEval-zh. The two subset leaderboards contain only MCQ tasks. The leaderboard is as follows:\n\n## AGIEval-en few-shot\n\n| Model            | Source                                                   | Average |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 71.4    |\n| Llama 3 400B+    | [Link](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 69.9    |\n| Llama 3 70B      | [Link](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 63      |\n| Mixtral 8x22B    | [Link](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 61.2    |\n| GPT-3.5-Turbo    | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 52.7    |\n| Llama 3 8B       | [Link](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 45.9    |\n| Gemma 7B         | [Link](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 44.9    |\n| Mistral 7B       | [Link](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 44      |\n\n## AGIEval-zh few-shot\n\n| Model            | Source                                                   | Average |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 71.9    |\n| GPT-3.5-Turbo    | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 49.5    |\n\n## AGIEval-all few-shot\n\n| Model            | Source                                                   | Average |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 69.0    |\n| GPT-3.5-Turbo    | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 47.2    |\n\n## AGIEval-en zero-shot\n\n| Model            | Source                                                   | Average |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 65.2    |\n| GPT-3.5-Turbo    | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 54.1    |\n\n## AGIEval-zh zero-shot\n\n| Model            | Source                                                   | Average |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 63.3    |\n| GPT-3.5-Turbo    | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 45.0    |\n\n\n## AGIEval-all zero-shot\n(Asterisk sign indicates results reported for AGIEval v1.0.)\n\n| Model            | Source                                                   | Average |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 62.3    |\n| InternLM2-20B*   | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)                 | 53.0    |\n| Qwen-14B*        | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)                 | 52.0    |\n| Phi-3-medium 14b*| [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 50.2    |\n| InternLM2-Chat-7B-SFT*| [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)            | 49.0    |\n| GPT-3.5-Turbo    | [Link](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 46.0    |\n| Qwen-7B*         | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)                 | 45.6    |\n| Mixtral 8x7b*    | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 45.2    |\n| Phi-3-small 7b*  | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 45.1    |\n| Gemma 7b*        | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 42.1    |\n| Llama-3-In*      | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 42.0    |\n| Phi-3-mini 3.8b* | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 37.5    |\n| Mistral 7b*      | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 35.1    |\n| Phi-2 2.7b*      | [Link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 29.8    |\n\n# Citation\nIf you use AGIEval benchmark or the code in your research, please cite our paper:\n```\n@misc{zhong2023agieval,\n      title={AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models}, \n      author={Wanjun Zhong and Ruixiang Cui and Yiduo Guo and Yaobo Liang and Shuai Lu and Yanlin Wang and Amin Saied and Weizhu Chen and Nan Duan},\n      year={2023},\n      eprint={2304.06364},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n\n# Contributing\nThis project welcomes contributions and suggestions.  Most contributions require you to agree to a\nContributor License Agreement (CLA) declaring that you have the right to, and actually do, grant us\nthe rights to use your contribution. For details, visit https:\u002F\u002Fcla.opensource.microsoft.com.\n\nWhen you submit a pull request, a CLA bot will automatically determine whether you need to provide\na CLA and decorate the PR appropriately (e.g., status check, comment). Simply follow the instructions\nprovided by the bot. You will only need to do this once across all repos using our CLA.\n\nThis project has adopted the [Microsoft Open Source Code of Conduct](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002F).\nFor more information see the [Code of Conduct FAQ](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002Ffaq\u002F) or\ncontact [opencode@microsoft.com](mailto:opencode@microsoft.com) with any additional questions or comments.\n\n# Trademarks\n\nThis project may contain trademarks or logos for projects, products, or services. Authorized use of Microsoft \ntrademarks or logos is subject to and must follow \n[Microsoft's Trademark & Brand Guidelines](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Flegal\u002Fintellectualproperty\u002Ftrademarks\u002Fusage\u002Fgeneral).\nUse of Microsoft trademarks or logos in modified versions of this project must not cause confusion or imply Microsoft sponsorship.\nAny use of third-party trademarks or logos are subject to those third-party's policies.\n","# AGIEval\n本仓库包含 AGIEval 的相关信息、数据、代码以及基准测试中基线系统的输出结果。\n\n# 简介\nAGIEval 是一个以人类为中心的基准测试，专门用于评估基础模型在与人类认知和问题解决相关的任务中的综合能力。该基准测试源自 20 项面向普通考生的官方、公开且高标准的入学和资格考试，例如普通高校入学考试（如中国高考和美国 SAT）、法学院入学考试、数学竞赛、律师资格考试以及国家公务员考试。有关该基准测试的完整描述，请参阅我们的论文：[AGIEval: 用于评估基础模型的人类中心基准](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.06364.pdf)。\n\n# 任务与数据\n[我们已将数据集更新至 1.1 版。](data\u002Fv1_1) 新版本更新了中国高考（化学、生物、物理）数据集，加入了 2023 年的题目，并修复了标注问题。为便于评估，现在所有选择题任务都只有一个正确答案（此前高考物理和 JEC-QA 曾允许多标签答案）。AGIEval 英文数据集与 1.0 版保持一致。新版本的统计数据如下：\n\nAGIEval v1.1 包含 20 个任务，其中包括 18 个选择题任务和两个完形填空任务（高考数学完形填空和 MATH）。您可以在下表中找到完整的任务列表。\n![AGIEVal 中使用的数据集](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fruixiangcui_AGIEval_readme_19a1e839ca00.png)\n\n您可以在 [data\u002Fv1_1](data\u002Fv1_1) 文件夹中下载所有后处理后的数据。所有数据的使用均应遵循原始数据集的许可协议。\n\n所有数据集的格式如下：\n```\n{\n    \"passage\": null,\n    \"question\": \"设集合 $A=\\\\{x \\\\mid x \\\\geq 1\\\\}, B=\\\\{x \\\\mid-1\u003Cx\u003C2\\\\}$, 则 $A \\\\cap B=$ ($\\\\quad$)\\\\\\\\\\n\",\n    \"options\": [\"(A)$\\\\{x \\\\mid x>-1\\\\}$\", \n        \"(B)$\\\\{x \\\\mid x \\\\geq 1\\\\}$\", \n        \"(C)$\\\\{x \\\\mid-1\u003Cx\u003C1\\\\}$\", \n        \"(D)$\\\\{x \\\\mid 1 \\\\leq x\u003C2\\\\}$\"\n        ],\n    \"label\": \"D\",\n    \"answer\": null\n}\n```\n`passage` 字段适用于高考语文、高考英语、两套 LogiQA 数据、全部 LSAT 和 SAT 数据。选择题任务的答案保存在 `label` 字段中，而完形填空任务的答案则保存在 `answer` 字段中。\n\n我们在 [data\u002Ffew_shot_prompts](data\u002Ffew_shot_prompts.csv) 文件中提供了少样本学习的提示模板。\n# 基线系统\n我们评估了基线系统（gpt-3.5-turbo 和 GPT-4o）在 AGIEval v1.1 上的表现。\n结果如下：\n\n![AGIEVal 中使用的数据集](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fruixiangcui_AGIEval_readme_3fc97425c2dc.png)\n\n您可以通过以下步骤复现这些结果：\n1. 在 [openai_api.py](openai_api.py) 文件中更新您的 OpenAI API 密钥。\n2. 运行 [run_prediction.py](run_prediction.py) 脚本以获取结果。\n# 评估\n您可以运行 [post_process_and_evaluation.py](post_process_and_evaluation.py) 文件来获得评估结果。\n# 排行榜\n我们公布了 AGIEval v1.1 的排行榜。排行榜分为 AGIEval-en 和 AGIEval-zh 两个子集，这两个子集仅包含选择题任务。排行榜如下：\n\n## AGIEval-en 少样本\n\n| 模型            | 来源                                                   | 平均分 |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 71.4    |\n| Llama 3 400B+    | [链接](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 69.9    |\n| Llama 3 70B      | [链接](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 63      |\n| Mixtral 8x22B    | [链接](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 61.2    |\n| GPT-3.5-Turbo    | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 52.7    |\n| Llama 3 8B       | [链接](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 45.9    |\n| Gemma 7B         | [链接](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 44.9    |\n| Mistral 7B       | [链接](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fmeta-llama-3\u002F)           | 44      |\n\n## AGIEval-zh 少样本\n\n| 模型            | 来源                                                   | 平均分 |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 71.9    |\n| GPT-3.5-Turbo    | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 49.5    |\n\n## AGIEval-all 少样本\n\n| 模型            | 来源                                                   | 平均分 |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 69.0    |\n| GPT-3.5-Turbo    | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 47.2    |\n\n## AGIEval-en 零样本\n\n| 模型            | 来源                                                   | 平均分 |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 65.2    |\n| GPT-3.5-Turbo    | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 54.1    |\n\n## AGIEval-zh 零样本\n\n| 模型            | 来源                                                   | 平均分 |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 63.3    |\n| GPT-3.5-Turbo    | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 45.0    |\n\n## AGIEval-全部零样本\n（星号表示为 AGIEval v1.0 报告的结果。）\n\n| 模型            | 来源                                                   | 平均 |\n|------------------|----------------------------------------------------------|---------|\n| GPT-4o           | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 62.3    |\n| InternLM2-20B*   | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)                 | 53.0    |\n| Qwen-14B*        | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)                 | 52.0    |\n| Phi-3-medium 14b*| [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 50.2    |\n| InternLM2-Chat-7B-SFT*| [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)            | 49.0    |\n| GPT-3.5-Turbo    | [链接](https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval)           | 46.0    |\n| Qwen-7B*         | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.17297)                 | 45.6    |\n| Mixtral 8x7b*    | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 45.2    |\n| Phi-3-small 7b*  | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 45.1    |\n| Gemma 7b*        | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 42.1    |\n| Llama-3-In*      | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 42.0    |\n| Phi-3-mini 3.8b* | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 37.5    |\n| Mistral 7b*      | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 35.1    |\n| Phi-2 2.7b*      | [链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2404.14219)                 | 29.8    |\n\n# 引用\n如果您在研究中使用 AGIEval 基准或代码，请引用我们的论文：\n```\n@misc{zhong2023agieval,\n      title={AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models}, \n      author={Wanjun Zhong and Ruixiang Cui and Yiduo Guo and Yaobo Liang and Shuai Lu and Yanlin Wang and Amin Saied and Weizhu Chen and Nan Duan},\n      year={2023},\n      eprint={2304.06364},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n\n# 贡献\n本项目欢迎贡献和建议。大多数贡献都需要您同意贡献者许可协议 (CLA)，声明您有权并确实授予我们使用您贡献的权利。有关详细信息，请访问 https:\u002F\u002Fcla.opensource.microsoft.com。\n\n当您提交拉取请求时，CLA 机器人会自动确定您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需执行一次此操作。\n\n本项目已采用 [微软开源行为准则](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002F)。有关更多信息，请参阅 [行为准则常见问题解答](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002Ffaq\u002F) 或通过电子邮件 [opencode@microsoft.com](mailto:opencode@microsoft.com) 联系我们，以获取更多问题或意见。\n\n# 商标\n\n本项目可能包含项目、产品或服务的商标或徽标。未经授权使用微软商标或徽标需遵守并遵循 \n[微软商标与品牌指南](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Flegal\u002Fintellectualproperty\u002Ftrademarks\u002Fusage\u002Fgeneral)。\n在本项目的修改版本中使用微软商标或徽标不得造成混淆或暗示微软的赞助。任何第三方商标或徽标的使用均受其各自政策的约束。","# AGIEval 快速上手指南\n\nAGIEval 是一个以人类为中心的基准测试工具，旨在评估基础模型在涉及人类认知和解决问题任务中的通用能力。该基准源自 20 项官方公开的高标准入学考试和资格考试（如中国高考、美国 SAT、律师资格考试等）。\n\n## 环境准备\n\n*   **系统要求**：Linux 或 macOS 环境（Windows 需使用 WSL）。\n*   **编程语言**：Python 3.8 或更高版本。\n*   **前置依赖**：\n    *   `pip` 包管理工具。\n    *   OpenAI API Key（用于复现官方基线结果或调用 GPT 系列模型）。\n    *   建议配置国内 pip 镜像源以加速依赖安装（如清华源或阿里源）。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval.git\n    cd AGIEval\n    ```\n\n2.  **安装 Python 依赖**\n    虽然 README 未明确列出 `requirements.txt`，但运行脚本通常需要 `openai` 库。请确保安装：\n    ```bash\n    pip install openai -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n    *(注：如需处理特定数据格式，可能还需安装 `pandas`, `tqdm` 等常用库)*\n\n3.  **获取数据**\n    所有预处理后的数据（v1.1 版本）位于 `data\u002Fv1_1` 文件夹中。如果是首次克隆，数据应已包含在内；若需单独更新，请检查该目录内容。\n    *注意：数据使用需遵循原始数据集的许可证。*\n\n4.  **配置 API Key**\n    编辑 `openai_api.py` 文件，填入您的 OpenAI API Key：\n    ```python\n    # 在 openai_api.py 中设置\n    import os\n    os.environ[\"OPENAI_API_KEY\"] = \"sk-Your-API-Key-Here\"\n    ```\n\n## 基本使用\n\n### 1. 运行预测 (Baseline Evaluation)\n使用提供的脚本对基线模型（如 GPT-3.5-Turbo 或 GPT-4o）进行推理测试：\n\n```bash\npython run_prediction.py\n```\n*执行后将生成模型的预测结果文件。*\n\n### 2. 进行评估 (Evaluation)\n运行后处理与评估脚本，计算模型在各项任务上的得分：\n\n```bash\npython post_process_and_evaluation.py\n```\n*脚本将输出模型在 AGIEval-en（英文子集）、AGIEval-zh（中文子集）及整体数据集上的准确率。*\n\n### 3. 数据格式说明\n数据集采用 JSON 格式，主要字段如下：\n*   `question`: 题目内容。\n*   `options`: 选择题选项列表（仅多选题任务）。\n*   `label`: 选择题正确答案（如 \"A\", \"B\", \"C\", \"D\"）。\n*   `answer`: 填空题正确答案（仅填空任务）。\n*   `passage`: 阅读理解所需的上下文段落（部分任务包含）。\n\n示例数据片段：\n```json\n{\n    \"passage\": null,\n    \"question\": \"设集合 $A=\\\\{x \\\\mid x \\\\geq 1\\\\}, B=\\\\{x \\\\mid-1\u003Cx\u003C2\\\\}$, 则 $A \\\\cap B=$ ($\\\\quad$)\\\\\\\\\\n\",\n    \"options\": [\"(A)$\\\\{x \\\\mid x>-1\\\\}$\", \"(B)$\\\\{x \\\\mid x \\\\geq 1\\\\}$\", \"(C)$\\\\{x \\\\mid-1\u003Cx\u003C1\\\\}$\", \"(D)$\\\\{x \\\\mid 1 \\\\leq x\u003C2\\\\}$\"],\n    \"label\": \"D\",\n    \"answer\": null\n}\n```\n\n### 4. 少样本提示 (Few-Shot Prompts)\n项目提供了用于少样本学习的提示词模板，位于 `data\u002Ffew_shot_prompts.csv` 文件中，可在构建输入 Prompt 时参考使用。","某教育科技团队正在研发一款面向高中生的 AI 辅导助手，急需验证其底层大模型在数学、理综及逻辑推理等核心学科上的真实解题能力。\n\n### 没有 AGIEval 时\n- **评估标准模糊**：团队仅依赖通用对话测试或简单的开源数据集，无法准确衡量模型在处理高考题、SAT 等高难度人类认知任务时的具体水平。\n- **盲区难以发现**：模型可能在日常闲聊中表现流畅，但在涉及复杂逻辑推导（如 LSAT 法律推理）或特定学科知识（如化学、生物）时存在严重缺陷，却因缺乏针对性考题而未被察觉。\n- **迭代方向迷失**：由于缺少统一的“标尺”，团队难以量化不同版本模型的进步幅度，导致优化策略往往凭感觉调整，效率低下且资源浪费。\n\n### 使用 AGIEval 后\n- **建立权威标尺**：直接引入包含中国高考、美国 SAT 等 20 项官方高标准考试的题库，将模型能力量化为具体的分数，清晰定位其在人类认知任务中的真实水位。\n- **精准定位短板**：通过细分任务（如 Gaokao-Math-Cloze 或逻辑推理题）的得分差异，迅速发现模型在特定学科或题型上的薄弱环节，从而进行定向微调。\n- **科学驱动迭代**：利用 AGIEval 提供的标准化基线对比（如对照 GPT-4o 或 Llama 3 的得分），团队能客观评估每次训练的效果，确保模型能力稳步向顶尖水平靠拢。\n\nAGIEval 通过将高标准的真人考试转化为自动化评测基准，帮助开发者从“凭感觉调优”转向“数据驱动的精进”，确保 AI 模型真正具备解决复杂人类问题的能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fruixiangcui_AGIEval_b156d676.png","ruixiangcui","Ruixiang Cui","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fruixiangcui_d5a208ed.png","University of Copenhagen","Copenhagen, Denmark","https:\u002F\u002Fruixiangcui.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fruixiangcui",[84],{"name":85,"color":86,"percentage":87},"Python","#3572A5",100,772,54,"2026-04-11T02:02:41","MIT","","未说明",{"notes":95,"python":93,"dependencies":96},"该工具主要用于评估大语言模型（如 GPT-3.5-turbo, GPT-4o 等）在人类认知任务上的表现。运行基准测试脚本需要配置 OpenAI API Key。README 中未提供本地部署模型的具体环境要求（如 GPU、显存、Python 版本等），主要依赖通过 API 调用或用户自行集成的模型推理代码。",[97],"openai",[18],"2026-03-27T02:49:30.150509","2026-04-14T20:50:58.912000",[102,107,112,117,122,127],{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},33431,"logiqa-zh 数据集中的选项格式不正确（缺少 (A)(B) 前缀）如何修复？","这是一个数据格式化问题。维护者已根据社区反馈更新了数据集，将选项格式统一修正为标准的 \"(A)...\", \"(B)...\" 形式。请拉取最新的 commit 以获取修复后的数据。","https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval\u002Fissues\u002F25",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},33427,"运行 run_prediction.py 时如何生成第二阶段输出文件（output_path）？","要生成第二阶段输出（例如 predict.davinci-003.sat-math.zero-shot.jsonl），需要在 run_prediction.py 中将第 133 行设置为 True，第 134 行设置为 False。此外，确保在 setting_name_list 中启用了 'few-shot' 模式，否则 output_path 可能不会被使用。","https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval\u002Fissues\u002F5",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},33428,"数据集（如 gaokao-physics）解析结果出现错误，将非选项字母误判为答案怎么办？","这是由于正则表达式匹配了所有大写字母导致的。解决方案是修改 parse_qa_multiple_answer 函数中的正则模式，将匹配范围从 \"[A-Z]\" 限制为 \"[A-F]\"（即 pattern = \"\\(*([A-F])\\)*\"），以减少误判概率。该建议已被合并到新版本中。","https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval\u002Fissues\u002F3",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},33429,"发现数据集中存在空选项、脏数据或格式错误（如 JSON 解析失败）该如何处理？","维护者已针对 gaokao-chemistry、biology、physics 等数据集进行了重新标注和清洗，并添加了 2023 年的新题目。如果遇到此类问题，请拉取最新的 commit 或直接从 GitHub 页面下载最新的数据集文件即可解决。","https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval\u002Fissues\u002F26",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},33430,"数据集中的某些条目缺少 \"passage\" 字段或内容为空，这是正常现象吗？","这不是正常现象，而是数据缺失错误。维护者已修复了发现的五个缺失 passage 字段的条目。请用户拉取最新代码以获取修正后的完整数据。","https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval\u002Fissues\u002F19",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},33432,"gaokao-english 或 gaokao-geography 数据集中存在乱码、图片残留或标签错误（如标签为 E 但只有 4 个选项）怎么办？","这些是已知的数据清洗问题（如拼写错误、错误的标签索引）。维护者已在最新的 commit 中修正了这些 typo 和逻辑错误。遇到具体错误案例时，建议检查是否使用了最新版本的数据，或直接拉取最新代码。","https:\u002F\u002Fgithub.com\u002Fruixiangcui\u002FAGIEval\u002Fissues\u002F12",[]]