[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-microsoft--ToRA":3,"tool-microsoft--ToRA":62},[4,18,26,36,46,54],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":42,"last_commit_at":43,"category_tags":44,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,45],"插件",{"id":47,"name":48,"github_repo":49,"description_zh":50,"stars":51,"difficulty_score":32,"last_commit_at":52,"category_tags":53,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":55,"name":56,"github_repo":57,"description_zh":58,"stars":59,"difficulty_score":32,"last_commit_at":60,"category_tags":61,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[45,13,15,14],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":10,"env_os":95,"env_gpu":96,"env_ram":97,"env_deps":98,"category_tags":105,"github_topics":106,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":145},8137,"microsoft\u002FToRA","ToRA","ToRA is a series of Tool-integrated Reasoning LLM Agents designed to solve challenging mathematical reasoning problems by interacting with tools [ICLR'24].","ToRA 是一系列专为解决高难度数学推理问题而设计的工具集成型智能体。它巧妙地将大语言模型的自然语言推理能力与外部计算工具（如代码解释器、符号求解库）相结合，让模型在思考过程中能够调用工具进行精确计算和验证。这一机制有效解决了传统大模型在处理复杂数学题时容易出现的“幻觉”和计算错误问题，显著提升了答案的准确性和可靠性。\n\n在技术亮点上，ToRA 通过独特的训练策略，实现了语言推理与代码执行的无缝切换。实验数据显示，即使是参数量较小的 ToRA-Code-34B 模型，在结合自一致性策略后，其在权威数学基准测试（如 MATH 数据集）上的得分也能超越未使用工具的 GPT-4，展现了极高的性价比和强大的解题潜力。\n\nToRA 非常适合人工智能研究人员、教育科技开发者以及需要处理复杂逻辑推理任务的工程师使用。研究人员可以基于其开源代码探索工具增强型推理的新范式；开发者则可将其集成到智能辅导系统或科学计算应用中，为用户提供精准的数学解题辅助。目前，该项目的模型权重与代码已在 Hugging Face 和 GitHub 全面开源，便于社区进一步研究与复用。","\n\u003Ch1 align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"100\" alt=\"ToRA\" \u002F>\n\u003Cbr>\nToRA: A Tool-Integrated Reasoning Agent\n\u003C\u002Fh1>\n\n\u003Cdiv align=\"center\">\n\n![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTask-Mathematical%20Reasoning-orange)\n![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModel-Released-blue)\n![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-MIT-green)\n\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Ftora-a-tool-integrated-reasoning-agent-for\u002Fmath-word-problem-solving-on-math)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fmath-word-problem-solving-on-math?p=tora-a-tool-integrated-reasoning-agent-for)\n\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fmicrosoft.github.io\u002FToRA\u002F\">\u003Cb>[🌐 Website]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.17452\">\u003Cb>[📜 Paper]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fllm-agents\">\u003Cb>[🤗 HF Models]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\">\u003Cb>[🐱 GitHub]\u003C\u002Fb>\u003C\u002Fa>\n  \u003C!-- \u003Ca href=\"https:\u002F\u002F9557c5365a6f44dc84.gradio.live\">\u003Cb>[🐯 Gradio Demo]\u003C\u002Fb>\u003C\u002Fa> -->\n  \u003Cbr>\n  \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002Fzhs05232838\u002Fstatus\u002F1708860992631763092\">\u003Cb>[🐦 Twitter]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fwww.reddit.com\u002Fr\u002FLocalLLaMA\u002Fcomments\u002F1703k6d\u002Ftora_a_toolintegrated_reasoning_agent_for\u002F\">\u003Cb>[💬 Reddit]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fnotes.aimodels.fyi\u002Fresearchers-announce-tora-training-language-models-to-better-understand-math-using-external-tools\u002F\">[🍀 Unofficial Blog]\u003C\u002Fa>\n  \u003C!-- \u003Ca href=\"#-quick-start\">Quick Start\u003C\u002Fa> • -->\n  \u003C!-- \u003Ca href=\"#%EF%B8%8F-citation\">Citation\u003C\u002Fa> -->\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\nRepo for \"\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.17452\" target=\"_blank\">ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving\u003C\u002Fa>\" [ICLR'2024]\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_02beb0bf60f0.png\" width=\"1000\">\n        \u003Cbr>\n    \u003Cem>Figure 1: Comparing ToRA with baselines on LLaMA-2 base models from 7B to 70B.\u003C\u002Fem>\n\u003C\u002Fp>\n\n\n## 🔥 News\n\n\u003C!-- - [2023\u002F10\u002F13] 🔥🔥🔥 We release a demo for ToRA at [🐯 Gradio](https:\u002F\u002F9557c5365a6f44dc84.gradio.live), try it out!!! -->\n- [2023\u002F10\u002F08] 🔥🔥🔥 All ToRA models released at [🤗 HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fllm-agents)!\n- [2023\u002F09\u002F29] ToRA paper, repo, and website released.\n\n## 💡 Introduction\n\nToRA is a series of Tool-integrated Reasoning Agents designed to solve challenging mathematical reasoning problems by interacting with tools, e.g., computation libraries and symbolic solvers. ToRA series seamlessly integrate natural language reasoning with the utilization of external tools, thereby amalgamating the analytical prowess of language and the computational efficiency of external tools.\n\n| Model | Size | GSM8k | MATH | AVG@10 math tasks\u003Csup>†\u003C\u002Fsup> |\n|---|---|---|---|---|\n| GPT-4 | - | 92.0 | 42.5 | 78.3 |\n| GPT-4 (PAL) | - | 94.2 | 51.8 | 86.4 |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-7B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-7b-v1.0) | 7B | 68.8 | 40.1 | 62.4|\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-Code-7B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-code-7b-v1.0) | 7B | 72.6 | 44.6 | 66.5| \n| ToRA-Code-7B + self-consistency (k=50) | 7B | 76.8 | 52.5 | - |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-13B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-13b-v1.0) | 13B |  72.7 | 43.0 | 65.9|\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-Code-13B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-code-13b-v1.0) | 13B | 75.8 | 48.1 | 71.3 |\n| ToRA-Code-13B + self-consistency (k=50) | 13B | 80.4 | 55.1 | - |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-Code-34B\u003Csup>*\u003C\u002Fsup>](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-code-34b-v1.0) | 34B | 80.7 | **51.0** | 74.8 |\n| ToRA-Code-34B + self-consistency (k=50) | 34B | 85.1 | \u003Cu>**60.0**\u003C\u002Fu> | - |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-70B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-70b-v1.0) | 70B | **84.3** | 49.7 | **76.9** |\n| ToRA-70B + self-consistency (k=50) | 70B | \u003Cu>**88.3**\u003C\u002Fu> | 56.9 | - |\n\n- \u003Csup>*\u003C\u002Fsup>ToRA-Code-34B is currently the first and only open-source model to achieve over 50% accuracy (pass@1) on the MATH dataset, which significantly outperforms GPT-4’s CoT result (51.0 vs. 42.5), and is competitive with GPT-4 solving problems with programs. By open-sourcing our codes and models, we hope more breakthroughs will come!\n\n- \u003Csup>†\u003C\u002Fsup>10 math tasks include GSM8k, MATH, GSM-Hard, SVAMP, TabMWP, ASDiv, SingleEQ, SingleOP, AddSub, and MultiArith.\n### Tool-Integrated Reasoning\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_540e02b42579.png\" width=\"800\">\n    \u003Cbr>\n    \u003Cem>Figure 2: A basic example of single-round tool interaction, which interleaves rationales with program-based tool use.\u003C\u002Fem>\n\u003C\u002Fp>\n\n### ToRA Training Pipeline\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_f262e67b3a37.png\" width=\"800\">\n    \u003Cbr>\n    \u003Cem>Figure 3: Training ToRA contains ① Imitation Learning, and ② output space shaping.\u003C\u002Fem>\n\u003C\u002Fp>\n\n\n## 🚀 Quick Start\n\n### ⚙️ Setup\n\nWe recommend using [Conda](https:\u002F\u002Fdocs.conda.io\u002Fprojects\u002Fminiconda) to manage your environment. We use [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) (0.1.4) to accelerate inference. Run the following commands to setup your environment:\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA.git && cd ToRA\u002Fsrc\nconda create -n tora python=3.10\nconda activate tora\npip install packaging==22.0\npip install torch==2.0.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118 # CUDA 11.8 for example\npip install -r requirements.txt\n```\n\n### 🪁 Inference\n\nWe provide a script for inference, simply config the `MODEL_NAME_OR_PATH` and `DATA` in [src\u002Fscripts\u002Finfer.sh](\u002Fsrc\u002Fscripts\u002Finfer.sh) and run the following command:\n\n```sh\nbash scritps\u002Finfer.sh\n```\n\nWe also open-source the [model outputs](\u002Fsrc\u002Foutputs\u002Fllm-agents\u002F) from our best models (ToRA-Code-34B and ToRA-70B) in the `src\u002Foutputs\u002F` folder.\n\n### ⚖️ Evaluation\n\nThe [src\u002Feval\u002Fgrader.py](\u002Fsrc\u002Feval\u002F) file contains the grading logic that assesses the accuracy of the predicted answer by comparing it to the ground truth. This logic is developed based on the Hendrycks' MATH grading system, which we have manually verified on the MATH dataset to minimize false positives and false negatives.\n\nTo evaluate the predicted answer, run the following command:\n\n```sh\npython -m eval.evaluate \\\n    --data_name \"math\" \\\n    --prompt_type \"tora\" \\\n    --file_path \"outputs\u002Fllm-agents\u002Ftora-code-34b-v1.0\u002Fmath\u002Ftest_tora_-1_seed0_t0.0_s0_e5000.jsonl\" \\\n    --execute\n```\n\nthen you will get:\n\n```\nNum samples: 5000\nNum scores: 5000\nTimeout samples: 0\nEmpty samples: 2\nMean score: [51.0]\nType scores: {'Algebra': 67.3, 'Counting & Probability': 42.2, 'Geometry': 26.1, 'Intermediate Algebra': 40.0, 'Number Theory': 59.3, 'Prealgebra': 63.8, 'Precalculus': 34.2}\n```\n\n### ⚡️ Training\n\nWe're currently undergoing an internal review to open-source the ToRA-Corpus-16k, stay tuned!\nWe also open-source our complete training scripts for the community, and you may construct your own dataset for training. We provide some example data in [data\u002Ftora\u002F](\u002Fdata\u002Ftora\u002F).\n\nTo train a model, run the following command:\n\n```sh\nbash scripts\u002Ftrain.sh codellama 7b\n```\n\n\n## ☕️ Citation\n\nIf you find this repository helpful, please consider citing our paper:\n\n```\n@inproceedings{\ngou2024tora,\ntitle={To{RA}: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving},\nauthor={Zhibin Gou and Zhihong Shao and Yeyun Gong and yelong shen and Yujiu Yang and Minlie Huang and Nan Duan and Weizhu Chen},\nbooktitle={The Twelfth International Conference on Learning Representations},\nyear={2024},\nurl={https:\u002F\u002Fopenreview.net\u002Fforum?id=Ep0TtjVoap}\n}\n```\n\n## 🍀 Contributing\n\nThis project welcomes contributions and suggestions.  Most contributions require you to agree to a\nContributor License Agreement (CLA) declaring that you have the right to, and actually do, grant us\nthe rights to use your contribution. For details, visit https:\u002F\u002Fcla.opensource.microsoft.com.\n\nThis project has adopted the [Microsoft Open Source Code of Conduct](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002F).\nFor more information see the [Code of Conduct FAQ](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002Ffaq\u002F) or\ncontact [opencode@microsoft.com](mailto:opencode@microsoft.com) with any additional questions or comments.\n\n\n## 🌟 Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_020cc77006ce.png)](https:\u002F\u002Fstar-history.com\u002F#microsoft\u002FToRA&Date)\n","\u003Ch1 align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"100\" alt=\"ToRA\" \u002F>\n\u003Cbr>\nToRA：一款工具集成型推理代理\n\u003C\u002Fh1>\n\n\u003Cdiv align=\"center\">\n\n![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTask-Mathematical%20Reasoning-orange)\n![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModel-Released-blue)\n![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-MIT-green)\n\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Ftora-a-tool-integrated-reasoning-agent-for\u002Fmath-word-problem-solving-on-math)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fmath-word-problem-solving-on-math?p=tora-a-tool-integrated-reasoning-agent-for)\n\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fmicrosoft.github.io\u002FToRA\u002F\">\u003Cb>[🌐 官网]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.17452\">\u003Cb>[📜 论文]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fllm-agents\">\u003Cb>[🤗 HF 模型]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\">\u003Cb>[🐱 GitHub]\u003C\u002Fb>\u003C\u002Fa>\n  \u003C!-- \u003Ca href=\"https:\u002F\u002F9557c5365a6f44dc84.gradio.live\">\u003Cb>[🐯 Gradio 演示]\u003C\u002Fb>\u003C\u002Fa> -->\n  \u003Cbr>\n  \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002Fzhs05232838\u002Fstatus\u002F1708860992631763092\">\u003Cb>[🐦 Twitter]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fwww.reddit.com\u002Fr\u002FLocalLLaMA\u002Fcomments\u002F1703k6d\u002Ftora_a_toolintegrated_reasoning_agent_for\u002F\">\u003Cb>[💬 Reddit]\u003C\u002Fb>\u003C\u002Fa> •\n  \u003Ca href=\"https:\u002F\u002Fnotes.aimodels.fyi\u002Fresearchers-announce-tora-training-language-models-to-better-understand-math-using-external-tools\u002F\">[🍀 非官方博客]\u003C\u002Fa>\n  \u003C!-- \u003Ca href=\"#-quick-start\">快速入门\u003C\u002Fa> • -->\n  \u003C!-- \u003Ca href=\"#%EF%B8%8F-citation\">引用\u003C\u002Fa> -->\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n“\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.17452\" target=\"_blank\">ToRA：用于数学问题求解的工具集成型推理代理\u003C\u002Fa>”项目仓库 [ICLR'2024]\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_02beb0bf60f0.png\" width=\"1000\">\n        \u003Cbr>\n    \u003Cem>图1：在7B至70B参数规模的LLaMA-2基础模型上，ToRA与基线方法的对比。\u003C\u002Fem>\n\u003C\u002Fp>\n\n\n## 🔥 最新消息\n\n\u003C!-- - [2023\u002F10\u002F13] 🔥🔥🔥 我们在[🐯 Gradio](https:\u002F\u002F9557c5365a6f44dc84.gradio.live)上发布了ToRA的演示，请大家试用！！！ -->\n- [2023\u002F10\u002F08] 🔥🔥🔥 所有ToRA模型已在[🤗 HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fllm-agents)上发布！\n- [2023\u002F09\u002F29] ToRA论文、代码库和官网正式发布。\n\n## 💡 简介\n\nToRA是一系列工具集成型推理代理，旨在通过与计算库、符号求解器等外部工具交互来解决具有挑战性的数学推理问题。ToRA系列将自然语言推理与外部工具的高效利用无缝结合，从而融合了语言的分析能力与外部工具的计算效率。\n\n| 模型 | 参数量 | GSM8k | MATH | 10个数学任务的平均准确率\u003Csup>†\u003C\u002Fsup> |\n|---|---|---|---|---|\n| GPT-4 | - | 92.0 | 42.5 | 78.3 |\n| GPT-4 (PAL) | - | 94.2 | 51.8 | 86.4 |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-7B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-7b-v1.0) | 7B | 68.8 | 40.1 | 62.4|\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-Code-7B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-code-7b-v1.0) | 7B | 72.6 | 44.6 | 66.5| \n| ToRA-Code-7B + 自洽机制（k=50） | 7B | 76.8 | 52.5 | - |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-13B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-13b-v1.0) | 13B |  72.7 | 43.0 | 65.9|\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-Code-13B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-code-13b-v1.0) | 13B | 75.8 | 48.1 | 71.3 |\n| ToRA-Code-13B + 自洽机制（k=50） | 13B | 80.4 | 55.1 | - |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-Code-34B\u003Csup>*\u003C\u002Fsup>](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-code-34b-v1.0) | 34B | 80.7 | **51.0** | 74.8 |\n| ToRA-Code-34B + 自洽机制（k=50） | 34B | 85.1 | \u003Cu>**60.0**\u003C\u002Fu> | - |\n| [\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_e5200bf99e9b.png\" width=\"16\" alt=\"ToRA\" \u002F> ToRA-70B](https:\u002F\u002Fhuggingface.co\u002Fllm-agents\u002Ftora-70b-v1.0) | 70B | **84.3** | 49.7 | **76.9** |\n| ToRA-70B + 自洽机制（k=50） | 70B | \u003Cu>**88.3**\u003C\u002Fu> | 56.9 | - |\n\n- \u003Csup>*\u003C\u002Fsup>ToRA-Code-34B是目前首个也是唯一一个在MATH数据集上达到超过50%准确率（pass@1）的开源模型，显著优于GPT-4的CoT结果（51.0 vs. 42.5），并且与使用程序解决问题的GPT-4表现相当。我们希望通过开源代码和模型，能够推动更多突破性进展！\n\n- \u003Csup>†\u003C\u002Fsup>10个数学任务包括GSM8k、MATH、GSM-Hard、SVAMP、TabMWP、ASDiv、SingleEQ、SingleOP、AddSub和MultiArith。\n### 工具集成式推理\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_540e02b42579.png\" width=\"800\">\n    \u003Cbr>\n    \u003Cem>图2：单轮工具交互的基本示例，其中推理过程与基于程序的工具使用交替进行。\u003C\u002Fem>\n\u003C\u002Fp>\n\n### ToRA训练流程\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_f262e67b3a37.png\" width=\"800\">\n    \u003Cbr>\n    \u003Cem>图3：ToRA的训练包含①模仿学习，以及②输出空间的优化。\u003C\u002Fem>\n\u003C\u002Fp>\n\n\n## 🚀 快速入门\n\n### ⚙️ 环境搭建\n\n我们建议使用[Conda](https:\u002F\u002Fdocs.conda.io\u002Fprojects\u002Fminiconda)来管理您的环境。我们采用[vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)（0.1.4）来加速推理。请运行以下命令以设置您的环境：\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA.git && cd ToRA\u002Fsrc\nconda create -n tora python=3.10\nconda activate tora\npip install packaging==22.0\npip install torch==2.0.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118 # 以CUDA 11.8为例\npip install -r requirements.txt\n```\n\n### 🪁 推理\n\n我们提供了一个推理脚本，只需在[src\u002Fscripts\u002Finfer.sh](\u002Fsrc\u002Fscripts\u002Finfer.sh)中配置`MODEL_NAME_OR_PATH`和`DATA`，然后运行以下命令：\n\n```sh\nbash scritps\u002Finfer.sh\n```\n\n我们还在`src\u002Foutputs\u002F`文件夹中开源了来自最佳模型（ToRA-Code-34B和ToRA-70B）的[模型输出](\u002Fsrc\u002Foutputs\u002Fllm-agents\u002F)。\n\n### ⚖️ 评估\n\n[src\u002Feval\u002Fgrader.py](\u002Fsrc\u002Feval\u002F)文件包含了评分逻辑，用于通过将预测答案与真实答案进行比较来评估其准确性。该逻辑基于Hendrycks的MATH评分系统，并且我们在MATH数据集上进行了手动验证，以尽量减少假阳性和假阴性。\n\n要评估预测答案，请运行以下命令：\n\n```sh\npython -m eval.evaluate \\\n    --data_name \"math\" \\\n    --prompt_type \"tora\" \\\n    --file_path \"outputs\u002Fllm-agents\u002Ftora-code-34b-v1.0\u002Fmath\u002Ftest_tora_-1_seed0_t0.0_s0_e5000.jsonl\" \\\n    --execute\n```\n\n随后您将得到：\n\n```\n样本数量：5000\n得分数量：5000\n超时样本：0\n空样本：2\n平均得分：[51.0]\n各子类得分：{'代数': 67.3, '计数与概率': 42.2, '几何': 26.1, '中级代数': 40.0, '数论': 59.3, '初等代数': 63.8, '微积分预备知识': 34.2}\n```\n\n### ⚡️ 训练\n\n我们目前正在进行内部评审，以将 ToRA-Corpus-16k 开源，敬请期待！\n我们还向社区开源了完整的训练脚本，您可以构建自己的数据集进行训练。我们在 [data\u002Ftora\u002F](\u002Fdata\u002Ftora\u002F) 中提供了一些示例数据。\n\n要训练模型，请运行以下命令：\n\n```sh\nbash scripts\u002Ftrain.sh codellama 7b\n```\n\n\n## ☕️ 引用\n\n如果您觉得本仓库对您有帮助，请考虑引用我们的论文：\n\n```\n@inproceedings{\ngou2024tora,\ntitle={To{RA}: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving},\nauthor={Zhibin Gou and Zhihong Shao and Yeyun Gong and yelong shen and Yujiu Yang and Minlie Huang and Nan Duan and Weizhu Chen},\nbooktitle={The Twelfth International Conference on Learning Representations},\nyear={2024},\nurl={https:\u002F\u002Fopenreview.net\u002Fforum?id=Ep0TtjVoap}\n}\n```\n\n## 🍀 贡献\n\n本项目欢迎各种贡献和建议。大多数贡献都需要您同意贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。详情请访问 https:\u002F\u002Fcla.opensource.microsoft.com。\n\n本项目已采用 [微软开源行为准则](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002F)。更多信息请参阅 [行为准则常见问题解答](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct\u002Ffaq\u002F)，或如有任何其他疑问或意见，请联系 [opencode@microsoft.com](mailto:opencode@microsoft.com)。\n\n\n## 🌟 星标历史\n\n[![星标历史图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_readme_020cc77006ce.png)](https:\u002F\u002Fstar-history.com\u002F#microsoft\u002FToRA&Date)","# ToRA 快速上手指南\n\nToRA (Tool-Integrated Reasoning Agent) 是一个专为数学推理问题设计的工具集成智能体系列。它通过将自然语言推理与外部工具（如计算库和符号求解器）相结合，显著提升了大模型在复杂数学任务上的表现。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python 版本**: 3.10\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（用于加速推理）\n*   **依赖管理**: 推荐使用 [Conda](https:\u002F\u002Fdocs.conda.io\u002Fprojects\u002Fminiconda) 进行环境隔离\n*   **推理后端**: 项目默认使用 [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) (0.1.4) 加速推理\n\n> **提示**：国内用户若遇到 PyTorch 下载缓慢，可手动替换为清华或中科大镜像源。\n\n## 安装步骤\n\n请依次执行以下命令来克隆代码库并配置运行环境：\n\n```bash\n# 1. 克隆仓库并进入源码目录\ngit clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA.git && cd ToRA\u002Fsrc\n\n# 2. 创建并激活 Conda 环境\nconda create -n tora python=3.10\nconda activate tora\n\n# 3. 安装基础依赖\npip install packaging==22.0\n\n# 4. 安装 PyTorch (示例为 CUDA 11.8 版本)\n# 国内用户可使用清华源加速: pip install torch==2.0.1 --index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\npip install torch==2.0.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 5. 安装项目其他依赖\npip install -r requirements.txt\n```\n\n## 基本使用\n\n### 1. 模型推理 (Inference)\n\n项目提供了便捷的推理脚本。您只需修改配置文件中的模型路径和数据集路径即可运行。\n\n1.  编辑 `src\u002Fscripts\u002Finfer.sh` 文件，设置以下变量：\n    *   `MODEL_NAME_OR_PATH`: 本地模型路径或 HuggingFace 模型 ID（如 `llm-agents\u002Ftora-code-7b-v1.0`）。\n    *   `DATA`: 输入数据文件的路径。\n\n2.  运行推理脚本：\n\n```bash\nbash scripts\u002Finfer.sh\n```\n\n> **注意**：推理结果将保存在 `src\u002Foutputs\u002F` 目录下。\n\n### 2. 结果评估 (Evaluation)\n\n推理完成后，可以使用内置的评分脚本评估模型在数学数据集（如 MATH）上的准确率。该逻辑基于 Hendrycks' MATH 评分系统优化。\n\n运行以下命令进行评估：\n\n```bash\npython -m eval.evaluate \\\n    --data_name \"math\" \\\n    --prompt_type \"tora\" \\\n    --file_path \"outputs\u002Fllm-agents\u002Ftora-code-34b-v1.0\u002Fmath\u002Ftest_tora_-1_seed0_t0.0_s0_e5000.jsonl\" \\\n    --execute\n```\n\n执行成功后，终端将输出样本数量、超时\u002F空样本统计以及各数学领域的详细得分（如代数、几何等）。\n\n### 3. 模型训练 (Training)\n\n如果您希望使用自定义数据集训练 ToRA 模型，可以使用提供的训练脚本。目前官方训练语料库 (ToRA-Corpus-16k) 正在审核中，您可以先使用 `data\u002Ftora\u002F` 下的示例数据构建自己的数据集。\n\n运行训练命令示例（以 CodeLlama 7B 为例）：\n\n```bash\nbash scripts\u002Ftrain.sh codellama 7b\n```","某在线教育平台的技术团队正在开发一套自动批改系统，旨在为高中生提供复杂数学应用题（如微积分或立体几何）的即时解题步骤与答案反馈。\n\n### 没有 ToRA 时\n- **计算错误频发**：传统大模型仅靠“脑算”推理，在处理多步数值运算时容易产生幻觉，导致最终答案错误，误导学生。\n- **逻辑链条断裂**：面对需要结合代数推导与数值计算的混合题型，模型往往无法维持长程逻辑一致性，中途“迷路”。\n- **验证成本高昂**：为了保证准确率，团队不得不安排人工专家复核大量机器生成的解答，效率极低且难以规模化。\n- **缺乏可执行步骤**：模型只能输出文字描述，无法提供可运行的代码或公式推导过程，学生难以理解具体的计算路径。\n\n### 使用 ToRA 后\n- **精准工具调用**：ToRA 能自动识别何时需要计算，并即时调用 Python 代码解释器或符号求解库，确保数值结果绝对精确。\n- **无缝推理融合**：它将自然语言分析与外部工具执行完美结合，在复杂的混合题型中也能保持严密的逻辑闭环，不再中途出错。\n- **自动化高可信输出**：借助工具交互能力，ToRA 在 GSM8k 和 MATH 基准测试上表现卓越，大幅降低了对人工复核的依赖，实现真正的自动化批改。\n- **提供可验证代码**：生成的解答包含完整的中间代码步骤，学生不仅能看答案，还能运行代码复现过程，深度学习解题思路。\n\nToRA 通过将大模型的推理能力与外部计算工具深度整合，彻底解决了 AI 在复杂数学领域中“会想不会算”的核心痛点。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_ToRA_02beb0bf.png","microsoft","Microsoft","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmicrosoft_4900709c.png","Open source projects and samples from Microsoft",null,"opensource@microsoft.com","OpenAtMicrosoft","https:\u002F\u002Fopensource.microsoft.com","https:\u002F\u002Fgithub.com\u002Fmicrosoft",[83,87],{"name":84,"color":85,"percentage":86},"Python","#3572A5",95.9,{"name":88,"color":89,"percentage":90},"Shell","#89e051",4.1,1114,79,"2026-04-10T19:36:45","MIT","Linux","需要 NVIDIA GPU (用于加速推理)，需安装 CUDA 11.8 (示例中指定 cu118)，显存需求取决于模型大小 (7B-70B)","未说明",{"notes":99,"python":100,"dependencies":101},"推荐使用 Conda 管理环境。推理部分明确使用 vLLM (0.1.4) 进行加速。训练脚本基于 CodeLlama 架构。模型权重托管在 HuggingFace，需自行下载。","3.10",[102,103,104],"torch==2.0.1","packaging==22.0","vLLM==0.1.4",[14,13,35],[107,108,109,110,111],"autonomous-agents","language-model","llm","mathematical-reasoning","tool-learning","2026-03-27T02:49:30.150509","2026-04-17T09:47:55.645485",[115,120,125,130,135,140],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},36389,"为什么使用微调后的权重进行推理时输出为空或报错？","这通常是因为 vllm 库不支持由 accelerator 库保存的 safetensors 文件格式。此外，请检查您的运行环境是否与项目根目录下的 requirements.txt 文件中的依赖版本保持一致。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\u002Fissues\u002F12",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},36390,"ToRA-69k (SFT 数据集) 是否已开源？如果未开源有替代方案吗？","由于内部审查流程，ToRA-Corpus 尚未合规开源。作为替代方案，推荐使用 Nvidia 开源的 OpenMathInstruct-1 数据集（地址：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FOpenMathInstruct-1）。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\u002Fissues\u002F25",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},36391,"微调 ToRA-Code-34b 模型需要什么样的硬件配置和 DeepSpeed 设置？","官方使用了 8 张 H100 80G GPU 进行训练。DeepSpeed 配置采用 Zero Stage 3 并开启 optimizer offload。如果您的显存不足（例如只有 250GB），建议使用参数卸载（parameter offloading）来解决 OOM 问题，而不是使用 8bit-optimizer，以保持模型性能。该模型是基于 CodeLlama-Python 微调而来的。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\u002Fissues\u002F21",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},36392,"论文中提到的“模仿学习”在代码实现中是否有特殊的损失掩码处理？","这里的“模仿学习”强调的是“从教师的轨迹中学习”，其训练方式与传统的 seq2seq 训练相同。虽然输出中的执行结果部分（$o_i$）并非由模型生成，但由于这部分内容很短，官方在实现中并未对其损失进行掩码（masking），实验表明这对模型性能没有显著影响。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\u002Fissues\u002F18",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},36393,"安装 flash-attn==2.0.1 时卡住或报错，可以使用新版本吗？","可以。更新后的代码已经支持 flash-attn 2.3.6 版本。如果您在安装旧版本时遇到问题，可以尝试安装最新版本：`pip install 'flash-attn>=2.0.1' --no-build-isolation`。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\u002Fissues\u002F14",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},36394,"为什么复现评测结果时得分远低于论文报告的数值（如 29% vs 45%）？","这通常是由于 vLLM 与 Transformers 库的版本兼容性问题导致的。除了仓库提供的依赖版本外，经验证使用 `transformers==4.33.1` 配合 `vLLM==0.2.0` 进行训练和推理也能复现正确的结果。请确保严格按照要求同步环境依赖。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FToRA\u002Fissues\u002F10",[]]