[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-openai--evals":3,"tool-openai--evals":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,2,"2026-04-09T23:34:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":107,"forks":108,"last_commit_at":109,"license":110,"difficulty_score":32,"env_os":75,"env_gpu":111,"env_ram":111,"env_deps":112,"category_tags":118,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":153},6177,"openai\u002Fevals","evals","Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.","evals 是由 OpenAI 推出的开源框架，专为评估大语言模型（LLM）及其构建的系统而设计。它提供了一个丰富的基准测试注册表，帮助开发者量化模型在不同维度上的表现，同时也支持用户根据特定业务场景编写自定义评估脚本。\n\n在开发大模型应用时，缺乏系统的评估手段往往导致难以判断模型版本迭代带来的实际影响，调试过程既耗时又低效。evals 正是为了解决这一痛点，让团队能够建立标准化的质量反馈闭环，从而更科学地优化模型表现。此外，它还支持利用私有数据构建不对外公开的评估集，确保在贴合真实工作流的同时保护数据隐私。\n\n这款工具主要适合 AI 工程师、研究人员以及正在构建 LLM 应用的开发团队使用。其技术亮点在于灵活的架构设计：不仅内置了多种官方评估模板，还允许用户通过“完成函数协议”（Completion Function Protocol）轻松扩展逻辑，以支持复杂的提示链或智能体任务。配合 Git-LFS 管理的数据集和可选的 Snowflake 结果日志功能，evals 为模型评估提供了一套从本地运行到云端记录的全流程解决方案，是提升大模型落地质量的得力助手。","# OpenAI Evals\n\n> You can now configure and run Evals directly in the OpenAI Dashboard. [Get started →](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fevals)\n\nEvals provide a framework for evaluating large language models (LLMs) or systems built using LLMs. We offer an existing registry of evals to test different dimensions of OpenAI models and the ability to write your own custom evals for use cases you care about. You can also use your data to build private evals which represent the common LLMs patterns in your workflow without exposing any of that data publicly.\n\nIf you are building with LLMs, creating high quality evals is one of the most impactful things you can do. Without evals, it can be very difficult and time intensive to understand how different model versions might affect your use case. In the words of [OpenAI's President Greg Brockman](https:\u002F\u002Ftwitter.com\u002Fgdb\u002Fstatus\u002F1733553161884127435):\n\n\u003Cimg width=\"596\" alt=\"https:\u002F\u002Fx.com\u002Fgdb\u002Fstatus\u002F1733553161884127435?s=20\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopenai_evals_readme_2489941f664b.png\">\n\n## Setup\n\nTo run evals, you will need to set up and specify your [OpenAI API key](https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys). After you obtain an API key, specify it using the [`OPENAI_API_KEY` environment variable](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fquickstart\u002Fstep-2-setup-your-api-key). Please be aware of the [costs](https:\u002F\u002Fopenai.com\u002Fpricing) associated with using the API when running evals. You can also run and create evals using [Weights & Biases](https:\u002F\u002Fwandb.ai\u002Fwandb_fc\u002Fopenai-evals\u002Freports\u002FOpenAI-Evals-Demo-Using-W-B-Prompts-to-Run-Evaluations--Vmlldzo0MTI4ODA3).\n\n**Minimum Required Version: Python 3.9**\n\n### Downloading evals\n\nOur evals registry is stored using [Git-LFS](https:\u002F\u002Fgit-lfs.com\u002F). Once you have downloaded and installed LFS, you can fetch the evals (from within your local copy of the evals repo) with:\n```sh\ncd evals\ngit lfs fetch --all\ngit lfs pull\n```\n\nThis will populate all the pointer files under `evals\u002Fregistry\u002Fdata`.\n\nYou may just want to fetch data for a select eval. You can achieve this via:\n```sh\ngit lfs fetch --include=evals\u002Fregistry\u002Fdata\u002F${your eval}\ngit lfs pull\n```\n\n### Making evals\n\nIf you are going to be creating evals, we suggest cloning this repo directly from GitHub and installing the requirements using the following command:\n\n```sh\npip install -e .\n```\n\nUsing `-e`, changes you make to your eval will be reflected immediately without having to reinstall.\n\nOptionally, you can install the formatters for pre-committing with:\n\n```sh\npip install -e .[formatters]\n```\n\nThen run `pre-commit install` to install pre-commit into your git hooks. pre-commit will now run on every commit.\n\nIf you want to manually run all pre-commit hooks on a repository, run `pre-commit run --all-files`. To run individual hooks use `pre-commit run \u003Chook_id>`.\n\n## Running evals\n\nIf you don't want to contribute new evals, but simply want to run them locally, you can install the evals package via pip:\n\n```sh\npip install evals\n```\n\nYou can find the full instructions to run existing evals in [`run-evals.md`](docs\u002Frun-evals.md) and our existing eval templates in [`eval-templates.md`](docs\u002Feval-templates.md). For more advanced use cases like prompt chains or tool-using agents, you can use our [Completion Function Protocol](docs\u002Fcompletion-fns.md).\n\nWe provide the option for you to log your eval results to a Snowflake database, if you have one or wish to set one up. For this option, you will further have to specify the `SNOWFLAKE_ACCOUNT`, `SNOWFLAKE_DATABASE`, `SNOWFLAKE_USERNAME`, and `SNOWFLAKE_PASSWORD` environment variables.\n\n## Writing evals\n\nWe suggest getting starting by: \n\n- Walking through the process for building an eval: [`build-eval.md`](docs\u002Fbuild-eval.md)\n- Exploring an example of implementing custom eval logic: [`custom-eval.md`](docs\u002Fcustom-eval.md)\n- Writing your own completion functions: [`completion-fns.md`](docs\u002Fcompletion-fns.md)\n- Review our starter guide for writing evals: [Getting Started with OpenAI Evals](https:\u002F\u002Fcookbook.openai.com\u002Fexamples\u002Fevaluation\u002Fgetting_started_with_openai_evals)\n\nPlease note that we are currently not accepting evals with custom code! While we ask you to not submit such evals at the moment, you can still submit model-graded evals with custom model-graded YAML files.\n\nIf you think you have an interesting eval, please open a pull request with your contribution. OpenAI staff actively review these evals when considering improvements to upcoming models.\n\n## FAQ\n\nDo you have any examples of how to build an eval from start to finish?\n\n- Yes! These are in the `examples` folder. We recommend that you also read through [`build-eval.md`](docs\u002Fbuild-eval.md) in order to gain a deeper understanding of what is happening in these examples.\n\nDo you have any examples of evals implemented in multiple different ways?\n\n- Yes! In particular, see `evals\u002Fregistry\u002Fevals\u002Fcoqa.yaml`. We have implemented small subsets of the [CoQA](https:\u002F\u002Fstanfordnlp.github.io\u002Fcoqa\u002F) dataset for various eval templates to help illustrate the differences.\n\nWhen I run an eval, it sometimes hangs at the very end (after the final report). What's going on?\n\n- This is a known issue, but you should be able to interrupt it safely and the eval should finish immediately after.\n\nThere's a lot of code, and I just want to spin up a quick eval. Help? OR,\n\nI am a world-class prompt engineer. I choose not to code. How can I contribute my wisdom?\n\n- If you follow an existing [eval template](docs\u002Feval-templates.md) to build a basic or model-graded eval, you don't need to write any evaluation code at all! Just provide your data in JSON format and specify your eval parameters in YAML. [build-eval.md](docs\u002Fbuild-eval.md) walks you through these steps, and you can supplement these instructions with the Jupyter notebooks in the `examples` folder to help you get started quickly. Keep in mind, though, that a good eval will inevitably require careful thought and rigorous experimentation!\n\n## Disclaimer\n\nBy contributing to evals, you are agreeing to make your evaluation logic and data under the same MIT license as this repository. You must have adequate rights to upload any data used in an eval. OpenAI reserves the right to use this data in future service improvements to our product. Contributions to OpenAI evals will be subject to our usual Usage Policies: https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fusage-policies.\n","# OpenAI 评估\n\n> 您现在可以直接在 OpenAI 控制台中配置和运行评估。[开始使用 →](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fevals)\n\n评估提供了一个用于评估大型语言模型（LLM）或基于 LLM 构建的系统的框架。我们提供了一个现成的评估注册表，用于测试 OpenAI 模型的不同维度，并允许您为关心的用例编写自定义评估。您还可以使用自己的数据构建私有评估，这些评估能够反映工作流中常见的 LLM 模式，而无需将任何数据公开。\n\n如果您正在使用 LLM 进行开发，创建高质量的评估是您可以采取的最具影响力的措施之一。如果没有评估，要理解不同模型版本如何影响您的用例可能会非常困难且耗时。正如 OpenAI 总裁 Greg Brockman 所说：\n\n\u003Cimg width=\"596\" alt=\"https:\u002F\u002Fx.com\u002Fgdb\u002Fstatus\u002F1733553161884127435?s=20\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopenai_evals_readme_2489941f664b.png\">\n\n## 设置\n\n要运行评估，您需要设置并指定您的 [OpenAI API 密钥](https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys)。获取 API 密钥后，请使用 [`OPENAI_API_KEY` 环境变量](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fquickstart\u002Fstep-2-setup-your-api-key)进行指定。请注意，在运行评估时使用 API 会产生的 [费用](https:\u002F\u002Fopenai.com\u002Fpricing)。您也可以使用 [Weights & Biases](https:\u002F\u002Fwandb.ai\u002Fwandb_fc\u002Fopenai-evals\u002Freports\u002FOpenAI-Evals-Demo-Using-W-B-Prompts-to-Run-Evaluations--Vmlldzo0MTI4ODA3) 来运行和创建评估。\n\n**最低要求版本：Python 3.9**\n\n### 下载评估\n\n我们的评估注册表使用 [Git-LFS](https:\u002F\u002Fgit-lfs.com\u002F) 存储。下载并安装 LFS 后，您可以在本地评估仓库中通过以下命令获取评估内容：\n```sh\ncd evals\ngit lfs fetch --all\ngit lfs pull\n```\n\n这将填充 `evals\u002Fregistry\u002Fdata` 下的所有指针文件。\n\n如果您只想获取特定评估的数据，可以使用以下命令：\n```sh\ngit lfs fetch --include=evals\u002Fregistry\u002Fdata\u002F${your eval}\ngit lfs pull\n```\n\n### 创建评估\n\n如果您打算创建评估，建议直接从 GitHub 克隆此仓库，并使用以下命令安装依赖项：\n\n```sh\npip install -e .\n```\n\n使用 `-e` 参数，您对评估所做的更改将立即生效，无需重新安装。\n\n可选地，您还可以安装格式化工具以便在提交前进行代码检查：\n\n```sh\npip install -e .[formatters]\n```\n\n然后运行 `pre-commit install` 将 pre-commit 安装到您的 Git 钩子中。此后，每次提交时都会自动运行 pre-commit。\n\n如果您想手动运行仓库中的所有 pre-commit 钩子，可以运行 `pre-commit run --all-files`。要运行单个钩子，请使用 `pre-commit run \u003Chook_id>`。\n\n## 运行评估\n\n如果您不想贡献新的评估，而只是想在本地运行它们，可以通过 pip 安装评估包：\n\n```sh\npip install evals\n```\n\n您可以在 [`run-evals.md`](docs\u002Frun-evals.md) 中找到运行现有评估的完整说明，以及在 [`eval-templates.md`](docs\u002Feval-templates.md) 中找到我们现有的评估模板。对于更高级的用例，例如提示链或使用工具的智能体，您可以使用我们的 [完成函数协议](docs\u002Fcompletion-fns.md)。\n\n如果您拥有 Snowflake 数据库或希望搭建一个，我们还提供了将评估结果记录到 Snowflake 数据库的选项。为此，您还需要指定 `SNOWFLAKE_ACCOUNT`、`SNOWFLAKE_DATABASE`、`SNOWFLAKE_USERNAME` 和 `SNOWFLAKE_PASSWORD` 环境变量。\n\n## 编写评估\n\n我们建议您从以下内容开始：\n\n- 逐步了解评估的构建过程：[`build-eval.md`](docs\u002Fbuild-eval.md)\n- 探索自定义评估逻辑的实现示例：[`custom-eval.md`](docs\u002Fcustom-eval.md)\n- 编写您自己的完成函数：[`completion-fns.md`](docs\u002Fcompletion-fns.md)\n- 参阅我们的评估编写入门指南：[OpenAI 评估入门](https:\u002F\u002Fcookbook.openai.com\u002Fexamples\u002Fevaluation\u002Fgetting_started_with_openai_evals)\n\n请注意，我们目前不接受包含自定义代码的评估！虽然我们暂时不接受此类评估，但您仍然可以提交使用自定义模型评分 YAML 文件的模型评分评估。\n\n如果您认为自己有一个有趣的评估，请提交拉取请求以分享您的贡献。OpenAI 的工作人员会积极审查这些评估，以考虑对未来模型的改进。\n\n## 常见问题解答\n\n是否有从头到尾构建评估的示例？\n\n- 是的！这些示例位于 `examples` 文件夹中。我们还建议您阅读 [`build-eval.md`](docs\u002Fbuild-eval.md)，以便更深入地理解这些示例中发生的事情。\n\n是否有以多种不同方式实现的评估示例？\n\n- 是的！特别是请参阅 `evals\u002Fregistry\u002Fevals\u002Fcoqa.yaml`。我们为各种评估模板实现了 [CoQA](https:\u002F\u002Fstanfordnlp.github.io\u002Fcoqa\u002F) 数据集的小型子集，以帮助说明其中的差异。\n\n当我运行评估时，有时会在最后（最终报告之后）卡住。这是怎么回事？\n\n- 这是一个已知问题，但您可以安全地中断它，评估应该会立即完成。\n\n代码很多，我只想快速启动一个评估。能帮帮我吗？或者，\n\n我是一名世界级的提示工程师，我不喜欢写代码。我该如何贡献我的智慧？\n\n- 如果您遵循现有的 [评估模板](docs\u002Feval-templates.md) 来构建一个基础或模型评分评估，您完全不需要编写任何评估代码！只需以 JSON 格式提供您的数据，并在 YAML 中指定评估参数。[`build-eval.md`](docs\u002Fbuild-eval.md) 会引导您完成这些步骤，您还可以结合 `examples` 文件夹中的 Jupyter 笔记本快速上手。不过请记住，一个好的评估必然需要仔细思考和严谨的实验！\n\n## 免责声明\n\n通过参与评估的贡献，您同意将您的评估逻辑和数据置于与本仓库相同的 MIT 许可下。您必须拥有上传评估中所用数据的充分权利。OpenAI 保留将来在产品服务改进中使用这些数据的权利。对 OpenAI 评估的贡献将受我们常规使用政策的约束：https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fusage-policies。","# OpenAI Evals 快速上手指南\n\nOpenAI Evals 是一个用于评估大型语言模型（LLM）或其构建系统的框架。它提供了预置的评估注册表，也支持用户编写自定义评估或使用私有数据构建不公开的评估任务。\n\n## 环境准备\n\n在开始之前，请确保满足以下系统要求和前置条件：\n\n*   **操作系统**：支持 Linux、macOS 或 Windows。\n*   **Python 版本**：最低要求 **Python 3.9**。\n*   **Git LFS**：评估数据通过 Git-LFS 存储，必须安装并配置好 [Git LFS](https:\u002F\u002Fgit-lfs.com\u002F)。\n*   **API Key**：你需要拥有有效的 [OpenAI API Key](https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys)。\n*   **环境变量**：运行前需设置 `OPENAI_API_KEY`。\n    ```bash\n    export OPENAI_API_KEY=\"sk-...\"\n    ```\n    > **注意**：运行评估会产生 API 调用费用，请关注 [OpenAI 定价](https:\u002F\u002Fopenai.com\u002Fpricing)。\n\n## 安装步骤\n\n根据你的需求（是仅运行现有评估，还是开发自定义评估），选择以下一种安装方式。\n\n### 方式一：仅运行现有评估（推荐普通用户）\n\n如果你只想使用现有的评估模板进行测试，可以直接通过 pip 安装：\n\n```bash\npip install evals\n```\n\n### 方式二：开发自定义评估（推荐开发者）\n\n如果你计划创建新的评估逻辑或贡献代码，建议克隆仓库并以可编辑模式安装：\n\n1.  **克隆仓库**：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals.git\n    cd evals\n    ```\n\n2.  **拉取评估数据**（依赖 Git LFS）：\n    ```bash\n    git lfs fetch --all\n    git lfs pull\n    ```\n    *若只需特定评估的数据，可使用：`git lfs fetch --include=evals\u002Fregistry\u002Fdata\u002F${your_eval_name}`*\n\n3.  **安装依赖**：\n    ```bash\n    pip install -e .\n    ```\n\n4.  **（可选）安装代码格式化钩子**：\n    ```bash\n    pip install -e .[formatters]\n    pre-commit install\n    ```\n\n## 基本使用\n\n### 1. 运行现有评估\n\n安装完成后，你可以直接运行注册表中的评估任务。具体的运行命令和参数请参考官方文档 [`run-evals.md`](docs\u002Frun-evals.md)。\n\n基本命令结构通常如下（需在项目根目录或已安装包的环境中）：\n\n```bash\noeval run \u003Ceval_name> --completion-fn \u003Cmodel_name>\n```\n\n*   `\u003Ceval_name>`：评估任务名称（位于 `evals\u002Fregistry\u002Fevals\u002F` 目录下）。\n*   `\u003Cmodel_name>`：你要测试的模型名称（如 `gpt-4`）。\n\n### 2. 构建简单评估（无代码模式）\n\n即使不编写 Python 代码，你也可以通过提供数据文件和配置文件来创建评估：\n\n1.  **准备数据**：将测试数据整理为 **JSON** 格式。\n2.  **配置任务**：创建一个 **YAML** 文件，指定使用的评估模板（参考 [`eval-templates.md`](docs\u002Feval-templates.md)）和你的数据路径。\n3.  **运行**：使用上述 `oeval run` 命令加载你的 YAML 配置即可。\n\n详细构建流程可参考 [`build-eval.md`](docs\u002Fbuild-eval.md) 或查看 `examples` 文件夹中的示例。\n\n### 3. 高级功能：结果日志\n\n如果你拥有 Snowflake 数据库并希望记录评估结果，需额外设置以下环境变量：\n*   `SNOWFLAKE_ACCOUNT`\n*   `SNOWFLAKE_DATABASE`\n*   `SNOWFLAKE_USERNAME`\n*   `SNOWFLAKE_PASSWORD`","某电商团队正在开发基于大模型的智能客服系统，需要确保模型在升级版本后仍能准确处理退款、物流等复杂业务场景。\n\n### 没有 evals 时\n- 每次更新模型或调整提示词后，只能依靠人工随机抽查对话记录，耗时数天且覆盖率极低。\n- 缺乏统一的量化标准，不同开发人员对“回答质量”的主观判断不一致，导致优化方向模糊。\n- 无法系统性回归测试，新模型可能在修复旧问题的同时，意外破坏了原本正常的业务流程（如错误拒绝合法退款）。\n- 敏感的客户真实数据难以安全地用于大规模测试，担心隐私泄露风险。\n\n### 使用 evals 后\n- 利用 evals 内置的基准测试和自定义脚本，可在几分钟内自动运行数百个涵盖退款、物流等场景的测试用例，即时输出准确率报告。\n- 通过标准化的评估框架，团队建立了统一的“通过率”指标，清晰对比不同模型版本在特定业务维度上的表现差异。\n- 构建私有评估集，将脱敏后的真实客户问答转化为自动化测试用例，既保护了数据隐私，又确保了测试场景高度贴合实际业务。\n- 在模型迭代前自动触发回归测试，快速定位并拦截性能下降的版本，避免线上事故。\n\nevals 将原本依赖直觉和人力的模型优化过程，转变为数据驱动、可自动化执行的标准工程流程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopenai_evals_91f4ab2b.png","openai","OpenAI","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fopenai_1960bbf4.png","",null,"https:\u002F\u002Fopenai.com\u002F","https:\u002F\u002Fgithub.com\u002Fopenai",[80,84,88,92,96,100,104],{"name":81,"color":82,"percentage":83},"Python","#3572A5",89.3,{"name":85,"color":86,"percentage":87},"HTML","#e34c26",6,{"name":89,"color":90,"percentage":91},"Jupyter Notebook","#DA5B0B",2.4,{"name":93,"color":94,"percentage":95},"Shell","#89e051",1.8,{"name":97,"color":98,"percentage":99},"JavaScript","#f1e05a",0.4,{"name":101,"color":102,"percentage":103},"Dockerfile","#384d54",0,{"name":105,"color":106,"percentage":103},"Makefile","#427819",18160,2915,"2026-04-09T19:20:20","NOASSERTION","未说明",{"notes":113,"python":114,"dependencies":115},"必须配置 OPENAI_API_KEY 环境变量以调用 OpenAI API，运行会产生 API 调用费用。评估数据通过 Git-LFS 管理，需安装并拉取数据。可选配置 Snowflake 数据库环境变量以记录结果。目前不接受包含自定义代码的评估贡献，但支持自定义 YAML 配置的模型评估。","3.9+",[116,117],"Git-LFS","pre-commit (可选)",[35,14,119],"其他","2026-03-27T02:49:30.150509","2026-04-10T19:13:16.557243",[123,128,133,138,143,148],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},27975,"运行 oaieval 命令时出现 'json.decoder.JSONDecodeError: Expecting value' 错误怎么办？","该错误通常表示程序在尝试读取 JSONL 文件时遇到了格式问题或空文件。虽然原 Issue 因过时被关闭，但此类错误通常意味着评估数据文件（\u003Cmyevalname>.jsonl）不存在、路径错误或内容为空。请检查 README.md 和 run-evals.md 中的步骤，确保已正确创建或下载了评估所需的样本数据文件，并验证文件路径是否正确。如果问题依旧，建议重新提交包含最新日志的新 Issue。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals\u002Fissues\u002F832",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},27976,"为什么通过 API 调用 gpt-4 模型时，返回内容声称自己是 GPT-3？","这是模型产生的“幻觉”（hallucination）。OpenAI 官方回复指出，模型倾向于编造事实，这种情况下模型错误地判断了自己的版本号。API 返回的元数据中 \"model\": \"gpt-4-0314\" 才是真实的模型标识，而模型生成的文本内容中关于自身版本的描述不可靠。如果您怀疑是 UI 显示错误或其他系统性问题，请联系 OpenAI 支持团队。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals\u002Fissues\u002F381",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},27977,"如何在 evals 项目中添加 ARC (Abstraction and Reasoning Corpus) 挑战任务？","社区用户曾请求添加 ARC 挑战任务。维护者确认该功能已在 Pull Request #417 中完成并合并。您可以查看该 PR 或直接使用更新后的仓库版本来运行相关的 ARC 评估任务，无需手动添加 JSON 文件。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals\u002Fissues\u002F2",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},27978,"ChatGPT 提供的学术参考文献找不到原文，或者事实不准确，是怎么回事？","这是因为 ChatGPT 的训练数据截止于 2021 年 9 月，它无法访问最新的期刊和论文。因此，用它来撰写需要最新文献的学术论文并不是一个好主意，它可能会在事实性问题上犯错，甚至编造不存在的文章。在使用其生成学术内容时，务必人工核实所有引用的来源和事实。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals\u002Fissues\u002F349",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},27979,"如何批量下载 ChatGPT 的历史对话记录以用于构建评估集？","官方暂未提供直接批量导出历史记录的 API 功能。社区用户推荐使用 Chrome 扩展程序 \"Superpower ChatGPT\" 来解决此问题。该工具可以辅助导出和管理聊天记录。您可以在 Chrome 网上应用店搜索并安装该扩展：https:\u002F\u002Fchrome.google.com\u002Fwebstore\u002Fsuperpower-chatgpt\u002F","https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals\u002Fissues\u002F247",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},27980,"是否有针对神经元（Neuron）相关任务的评估集？","是的，社区成员已经创建了一个名为 \"neurons eval\" 的评估集，并通过 Pull Request #474 提交到了仓库中。您可以查看该 PR 以获取具体的实现细节和使用方法。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Fevals\u002Fissues\u002F425",[]]