[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--ReAgent":3,"tool-facebookresearch--ReAgent":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":104,"forks":105,"last_commit_at":106,"license":107,"difficulty_score":108,"env_os":109,"env_gpu":110,"env_ram":109,"env_deps":111,"category_tags":116,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":117,"updated_at":118,"faqs":119,"releases":140},7587,"facebookresearch\u002FReAgent","ReAgent","A platform for Reasoning systems (Reinforcement Learning, Contextual Bandits, etc.)","ReAgent 是由 Meta（原 Facebook）开发并开源的端到端强化学习平台，专为解决大规模现实场景中的决策与推理问题而设计。它主要应对在缺乏模拟器环境下，如何利用历史离线数据训练智能体、评估新策略安全性以及实现高效模型服务的挑战，特别适用于推荐系统优化、资源调度等复杂任务。\n\n该平台适合人工智能研究人员、算法工程师及开发者使用，尤其是那些需要在生产环境中部署强化学习解决方案的团队。ReAgent 基于 Python 构建，深度集成 PyTorch 进行建模训练，并利用 TorchScript 优化模型服务性能。其技术亮点在于提供了完整的工作流，涵盖数据预处理、特征转换、分布式训练及反事实策略评估（CPE），让用户能在不实际部署新策略的情况下，准确预估其效果。此外，ReAgent 支持丰富的主流算法，包括 DQN、SAC、PPO 等经典离线策略算法，以及专为推荐系统设计的 Seq2Slate 和 SlateQ，同时也涵盖了多臂老虎机等多种决策模型。\n\n需要注意的是，ReAgent 目前已正式归档停止维护，官方建议有生产级需求的用户转向其继任项目 Pearl 获取最新支持。尽管如","ReAgent 是由 Meta（原 Facebook）开发并开源的端到端强化学习平台，专为解决大规模现实场景中的决策与推理问题而设计。它主要应对在缺乏模拟器环境下，如何利用历史离线数据训练智能体、评估新策略安全性以及实现高效模型服务的挑战，特别适用于推荐系统优化、资源调度等复杂任务。\n\n该平台适合人工智能研究人员、算法工程师及开发者使用，尤其是那些需要在生产环境中部署强化学习解决方案的团队。ReAgent 基于 Python 构建，深度集成 PyTorch 进行建模训练，并利用 TorchScript 优化模型服务性能。其技术亮点在于提供了完整的工作流，涵盖数据预处理、特征转换、分布式训练及反事实策略评估（CPE），让用户能在不实际部署新策略的情况下，准确预估其效果。此外，ReAgent 支持丰富的主流算法，包括 DQN、SAC、PPO 等经典离线策略算法，以及专为推荐系统设计的 Seq2Slate 和 SlateQ，同时也涵盖了多臂老虎机等多种决策模型。\n\n需要注意的是，ReAgent 目前已正式归档停止维护，官方建议有生产级需求的用户转向其继任项目 Pearl 获取最新支持。尽管如此，ReAgent 的架构设计与算法实现仍具有重要的学习与参考价值。","![Banner](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_ReAgent_readme_2a085fbe94c4.png)\n\n### ReAgent is officially archived and no longer maintained. For latest support on production-ready reinforcement learning open-source library, please refer to [Pearl](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPearl\u002F) - Production-ready Reinforcement Learning AI Agent Library, by the Applied Reinforcement Learning team @ Meta.\n\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-BSD%203--Clause-brightgreen)](LICENSE)\n[![CircleCI](https:\u002F\u002Fcircleci.com\u002Fgh\u002Ffacebookresearch\u002FReAgent\u002Ftree\u002Fmain.svg?style=shield)](https:\u002F\u002Fcircleci.com\u002Fgh\u002Ffacebookresearch\u002FReAgent\u002Ftree\u002Fmain)\n[![codecov](https:\u002F\u002Fcodecov.io\u002Fgh\u002Ffacebookresearch\u002FReAgent\u002Fbranch\u002Fmain\u002Fgraph\u002Fbadge.svg)](https:\u002F\u002Fcodecov.io\u002Fgh\u002Ffacebookresearch\u002FReAgent)\n---\n\n### Overview\nReAgent is an open source end-to-end platform for applied reinforcement learning (RL) developed and used at Facebook. ReAgent is built in Python and uses PyTorch for modeling and training and TorchScript for model serving. The platform contains workflows to train popular deep RL algorithms and includes data preprocessing, feature transformation, distributed training, counterfactual policy evaluation, and optimized serving. For more detailed information about ReAgent see the release post [here](https:\u002F\u002Fresearch.fb.com\u002Fpublications\u002Fhorizon-facebooks-open-source-applied-reinforcement-learning-platform\u002F) and white paper [here](https:\u002F\u002Farxiv.org\u002Fabs\u002F1811.00260).\n\nThe platform was once named \"Horizon\" but we have adopted the name \"ReAgent\" recently to emphasize its broader scope in decision making and reasoning.\n\n### Algorithms Supported\n\nClassic Off-Policy algorithms:\n- Discrete-Action [DQN](https:\u002F\u002Fstorage.googleapis.com\u002Fdeepmind-media\u002Fdqn\u002FDQNNaturePaper.pdf)\n- Parametric-Action DQN\n- [Double DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461), [Dueling DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581), [Dueling Double DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1710.02298)\n- Distributional RL: [C51](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06887) and [QR-DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1710.10044)\n- [Twin Delayed DDPG](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477) (TD3)\n- [Soft Actor-Critic](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290) (SAC)\n- [Critic Regularized Regression](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.15134) (CRR)\n- [Proximal Policy Optimization Algorithms](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347) (PPO)\n\nRL for recommender systems:\n- [Seq2Slate](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.02019)\n- [SlateQ](https:\u002F\u002Farxiv.org\u002Fabs\u002F1905.12767)\n\nCounterfactual Evaluation:\n- [Doubly Robust](https:\u002F\u002Farxiv.org\u002Fabs\u002F1612.01205) (for bandits)\n- [Doubly Robust](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.03722) (for sequential decisions)\n- [MAGIC](https:\u002F\u002Farxiv.org\u002Fabs\u002F1604.00923)\n\nMulti-Arm and Contextual Bandits:\n- [UCB1](https:\u002F\u002Fwww.cs.bham.ac.uk\u002Finternal\u002Fcourses\u002Frobotics\u002Flectures\u002Fucb1.pdf)\n- [MetricUCB](https:\u002F\u002Farxiv.org\u002Fabs\u002F0809.4882)\n- [Thompson Sampling](https:\u002F\u002Fweb.stanford.edu\u002F~bvr\u002Fpubs\u002FTS_Tutorial.pdf)\n- [LinUCB](https:\u002F\u002Farxiv.org\u002Fabs\u002F1003.0146)\n\n\nOthers:\n- [Cross-Entropy Method](http:\u002F\u002Fweb.mit.edu\u002F6.454\u002Fwww\u002Fwww_fall_2003\u002Fgew\u002FCEtutorial.pdf)\n- [Synthetic Return for Credit Assignment](https:\u002F\u002Farxiv.org\u002Fabs\u002F2102.12425)\n\n\n### Installation\nReAgent can be installed via. Docker or manually. Detailed instructions on how to install ReAgent can be found [here](docs\u002Finstallation.rst).\n\n### Tutorial\nReAgent is designed for large-scale, distributed recommendation\u002Foptimization tasks where we don’t have access to a simulator.\nIn this environment, it is typically better to train offline on batches of data, and release new policies slowly over time.\nBecause the policy updates slowly and in batches, we use off-policy algorithms. To test a new policy without deploying it,\nwe rely on counter-factual policy evaluation (CPE), a set of techniques for estimating a policy based on the actions of another policy.\n\nWe also have a set of tools to facilitate applying RL in real-world applications:\n- Domain Analysis Tool, which analyzes state\u002Faction feature importance and identifies whether the problem is a suitable for applying batch RL\n- Behavior Cloning, which clones from the logging policy to bootstrap the learning policy safely\n\nDetailed instructions on how to use ReAgent can be found [here](docs\u002Fusage.rst).\n\n\n### License\nReAgent is released under a BSD 3-Clause license.  Find out more about it [here](LICENSE).\n\n[Terms of Use](https:\u002F\u002Fopensource.facebook.com\u002Flegal\u002Fterms) | [Privacy Policy](https:\u002F\u002Fopensource.facebook.com\u002Flegal\u002Fprivacy) | Copyright © 2022 Meta Platforms, Inc\n\n\n### Citing\n```\n@article{gauci2018horizon,\n  title={Horizon: Facebook's Open Source Applied Reinforcement Learning Platform},\n  author={Gauci, Jason and Conti, Edoardo and Liang, Yitao and Virochsiri, Kittipat and Chen, Zhengxing and He, Yuchen and Kaden, Zachary and Narayanan, Vivek and Ye, Xiaohui},\n  journal={arXiv preprint arXiv:1811.00260},\n  year={2018}\n}\n```\n","![Banner](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_ReAgent_readme_2a085fbe94c4.png)\n\n### ReAgent 已正式归档，不再维护。如需了解适用于生产环境的强化学习开源库的最新支持信息，请参阅 [Pearl](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPearl\u002F) —— 由 Meta 应用强化学习团队开发的生产就绪型强化学习智能体库。\n\n[![许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-BSD%203--Clause-brightgreen)](LICENSE)\n[![CircleCI](https:\u002F\u002Fcircleci.com\u002Fgh\u002Ffacebookresearch\u002FReAgent\u002Ftree\u002Fmain.svg?style=shield)](https:\u002F\u002Fcircleci.com\u002Fgh\u002Ffacebookresearch\u002FReAgent\u002Ftree\u002Fmain)\n[![Codecov](https:\u002F\u002Fcodecov.io\u002Fgh\u002Ffacebookresearch\u002FReAgent\u002Fbranch\u002Fmain\u002Fgraph\u002Fbadge.svg)](https:\u002F\u002Fcodecov.io\u002Fgh\u002Ffacebookresearch\u002FReAgent)\n---\n\n### 概述\nReAgent 是 Facebook 开发并用于实际应用的端到端强化学习（RL）开源平台。该平台基于 Python 构建，使用 PyTorch 进行模型构建与训练，并采用 TorchScript 实现模型推理服务。ReAgent 提供了训练主流深度强化学习算法的工作流，涵盖数据预处理、特征转换、分布式训练、反事实策略评估以及优化的推理部署等功能。有关 ReAgent 的更多详细信息，请参阅发布博文 [此处](https:\u002F\u002Fresearch.fb.com\u002Fpublications\u002Fhorizon-facebooks-open-source-applied-reinforcement-learning-platform\u002F) 和白皮书 [此处](https:\u002F\u002Farxiv.org\u002Fabs\u002F1811.00260)。\n\n该平台曾名为“Horizon”，但近期我们将其更名为“ReAgent”，以突出其在决策与推理领域的更广泛适用性。\n\n### 支持的算法\n\n经典离散动作 Off-Policy 算法：\n- 离散动作 [DQN](https:\u002F\u002Fstorage.googleapis.com\u002Fdeepmind-media\u002Fdqn\u002FDQNNaturePaper.pdf)\n- 参数化动作 DQN\n- [Double DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461)、[Dueling DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581)、[Dueling Double DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1710.02298)\n- 分布式强化学习：[C51](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06887) 和 [QR-DQN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1710.10044)\n- [Twin Delayed DDPG](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477)（TD3）\n- [Soft Actor-Critic](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290)（SAC）\n- [Critic Regularized Regression](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.15134)（CRR）\n- [Proximal Policy Optimization Algorithms](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)（PPO）\n\n推荐系统中的强化学习：\n- [Seq2Slate](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.02019)\n- [SlateQ](https:\u002F\u002Farxiv.org\u002Fabs\u002F1905.12767)\n\n反事实评估：\n- [Doubly Robust](https:\u002F\u002Farxiv.org\u002Fabs\u002F1612.01205)（用于多臂老虎机问题）\n- [Doubly Robust](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.03722)（用于序列决策问题）\n- [MAGIC](https:\u002F\u002Farxiv.org\u002Fabs\u002F1604.00923)\n\n多臂老虎机与上下文相关老虎机：\n- [UCB1](https:\u002F\u002Fwww.cs.bham.ac.uk\u002Finternal\u002Fcourses\u002Frobotics\u002Flectures\u002Fucb1.pdf)\n- [MetricUCB](https:\u002F\u002Farxiv.org\u002Fabs\u002F0809.4882)\n- [Thompson Sampling](https:\u002F\u002Fweb.stanford.edu\u002F~bvr\u002Fpubs\u002FTS_Tutorial.pdf)\n- [LinUCB](https:\u002F\u002Farxiv.org\u002Fabs\u002F1003.0146)\n\n\n其他：\n- [交叉熵方法](http:\u002F\u002Fweb.mit.edu\u002F6.454\u002Fwww\u002Fwww_fall_2003\u002Fgew\u002FCEtutorial.pdf)\n- [用于信用分配的合成回报](https:\u002F\u002Farxiv.org\u002Fabs\u002F2102.12425)\n\n\n### 安装\nReAgent 可通过 Docker 或手动方式安装。详细的安装说明请参阅 [此处](docs\u002Finstallation.rst)。\n\n### 教程\nReAgent 专为大规模、分布式的推荐或优化任务设计，在这些场景中我们通常无法访问模拟器。在这种环境下，通常更适合在离线模式下分批次训练模型，并逐步发布新策略。由于策略更新较为缓慢且以批次方式进行，我们主要采用 Off-Policy 算法。为了在不部署新策略的情况下对其进行测试，我们依赖反事实策略评估（CPE），这是一组基于其他策略行为来估计当前策略性能的技术。\n\n此外，ReAgent 还提供了一系列工具，以帮助在实际应用中更便捷地使用强化学习：\n- 领域分析工具，用于分析状态和动作特征的重要性，并判断问题是否适合采用批量强化学习；\n- 行为克隆功能，可以从日志策略中克隆出初始策略，从而安全地启动学习过程。\n\n关于如何使用 ReAgent 的详细说明请参阅 [此处](docs\u002Fusage.rst)。\n\n\n### 许可证\nReAgent 采用 BSD 3-Clause 许可证进行发布。更多信息请参阅 [LICENSE]。\n\n[使用条款](https:\u002F\u002Fopensource.facebook.com\u002Flegal\u002Fterms) | [隐私政策](https:\u002F\u002Fopensource.facebook.com\u002Flegal\u002Fprivacy) | 版权所有 © 2022 Meta Platforms, Inc\n\n\n### 引用\n```\n@article{gauci2018horizon,\n  title={Horizon: Facebook's Open Source Applied Reinforcement Learning Platform},\n  author={Gauci, Jason and Conti, Edoardo and Liang, Yitao and Virochsiri, Kittipat and Chen, Zhengxing and He, Yuchen and Kaden, Zachary and Narayanan, Vivek and Ye, Xiaohui},\n  journal={arXiv preprint arXiv:1811.00260},\n  year={2018}\n}\n```","# ReAgent 快速上手指南\n\n> **⚠️ 重要提示**：ReAgent 项目已正式归档，不再维护。Meta 应用强化学习团队推荐使用其继任者 **[Pearl](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPearl\u002F)** 作为生产环境的强化学习开源库。本文档仅供参考历史用法或维护旧项目。\n\n## 1. 环境准备\n\nReAgent 基于 Python 和 PyTorch 构建，主要用于大规模离线强化学习任务。\n\n*   **操作系统**：推荐 Linux (Ubuntu 18.04+) 或 macOS。Windows 支持有限，建议使用 WSL2 或 Docker。\n*   **Python 版本**：Python 3.7 - 3.9\n*   **核心依赖**：\n    *   PyTorch (与 ReAgent 版本兼容的特定版本)\n    *   TorchScript (用于模型服务)\n    *   Docker (推荐安装方式，可避免依赖冲突)\n*   **硬件要求**：建议配备 NVIDIA GPU 以加速训练（可选，CPU 亦可运行但较慢）。\n\n## 2. 安装步骤\n\n官方推荐使用 Docker 进行安装，以确保环境一致性。也可选择手动安装。\n\n### 方式一：Docker 安装（推荐）\n\n拉取官方镜像并启动容器：\n\n```bash\ndocker pull pytorch\u002Freagent\ndocker run --gpus all -it pytorch\u002Freagent:latest \u002Fbin\u002Fbash\n```\n\n*注：若无 NVIDIA GPU，请移除 `--gpus all` 参数。*\n\n### 方式二：手动安装\n\n若需在本地环境安装，请确保已安装 PyTorch，然后执行：\n\n```bash\npip install reagent\n```\n\n或者从源码安装（需克隆仓库）：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FReAgent.git\ncd ReAgent\npip install -e .\n```\n\n*注意：由于项目已归档，PyPI 上的包可能不是最新版本，建议参考原仓库 `docs\u002Finstallation.rst` 获取具体的依赖版本锁定信息。*\n\n## 3. 基本使用\n\nReAgent 专为**离线强化学习 (Offline RL)** 设计，适用于无法使用模拟器的场景（如推荐系统）。其核心工作流包括：数据预处理 -> 离线训练 -> 反事实策略评估 (CPE)。\n\n以下是一个典型的命令行工作流示例：\n\n### 步骤 1: 数据预处理与特征转换\n将原始日志数据转换为 ReAgent 所需的格式（Sparse\u002FDense 特征）。\n\n```bash\nreagent preprocess \\\n  --input-data-path .\u002Fdata\u002Fraw_logs.json \\\n  --output-data-path .\u002Fdata\u002Fpreprocessed \\\n  --config-file .\u002Fconfigs\u002Fpreprocess_config.yaml\n```\n\n### 步骤 2: 训练模型\n使用离线算法（如 DQN, SAC, CRR 等）训练策略。\n\n```bash\nreagent train \\\n  --input-data-path .\u002Fdata\u002Fpreprocessed \\\n  --output-model-path .\u002Fmodels\u002Ftrained_model \\\n  --algorithm DQN \\\n  --config-file .\u002Fconfigs\u002Ftrain_config.yaml\n```\n\n### 步骤 3: 反事实策略评估 (CPE)\n在不部署新策略的情况下，利用历史数据评估新策略的表现（使用双重稳健估计等方法）。\n\n```bash\nreagent eval \\\n  --input-data-path .\u002Fdata\u002Fpreprocessed \\\n  --model-path .\u002Fmodels\u002Ftrained_model \\\n  --eval-method DoublyRobust \\\n  --config-file .\u002Fconfigs\u002Feval_config.yaml\n```\n\n### 步骤 4: 模型导出 (TorchScript)\n将训练好的模型导出为 TorchScript 格式，以便在生产环境中高效服务。\n\n```bash\nreagent export \\\n  --model-path .\u002Fmodels\u002Ftrained_model \\\n  --output-path .\u002Fmodels\u002Fscripted_model.pt\n```\n\n---\n*更多详细配置参数及高级用法（如领域分析工具、行为克隆等），请参阅原仓库文档 `docs\u002Fusage.rst`。*","某大型电商平台的推荐团队正致力于优化首页商品流的排序策略，以提升用户的点击率和停留时长。\n\n### 没有 ReAgent 时\n- **离线评估风险高**：缺乏可靠的反事实策略评估（CPE）工具，团队不敢轻易上线新模型，只能依赖耗时且昂贵的 A\u002FB 测试来验证效果，迭代周期长达数周。\n- **算法落地门槛高**：从数据预处理、特征转换到分布式训练，每个环节都需要手动编写大量胶水代码，难以复现 DQN、SAC 等前沿深度强化学习算法。\n- **决策黑盒难解释**：无法量化分析状态与动作特征的重要性，当推荐结果出现偏差时，开发人员难以定位是数据问题还是模型逻辑缺陷。\n- **服务部署复杂**：训练好的 PyTorch 模型难以直接转化为高性能的生产环境服务，推理延迟高，难以支撑亿级流量的实时请求。\n\n### 使用 ReAgent 后\n- **安全快速验证**：利用内置的双重稳健（Doubly Robust）等 CPE 技术，团队可在不干扰线上用户的情况下，基于历史日志精准预估新策略效果，将验证周期缩短至几天。\n- **端到端流程自动化**：通过 ReAgent 标准化的工作流，一键完成从数据清洗、特征工程到分布式训练的全过程，轻松应用 TD3、PPO 等复杂算法解决排序问题。\n- **透明化领域分析**：借助领域分析工具，清晰识别出影响用户点击的关键特征，快速判断业务场景是否适合批量强化学习，让模型决策过程可解释、可调试。\n- **高效生产级服务**：利用 TorchScript 直接将训练好的模型导出为优化后的服务接口，显著降低推理延迟，确保高并发场景下的实时推荐响应速度。\n\nReAgent 将复杂的强化学习研发转化为标准化的工业级流水线，让团队能在零线上风险的前提下，实现推荐策略的敏捷迭代与性能飞跃。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_ReAgent_2a085fbe.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[81,85,89,93,96,100],{"name":82,"color":83,"percentage":84},"Python","#3572A5",81.2,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",12.5,{"name":90,"color":91,"percentage":92},"C++","#f34b7d",3.2,{"name":94,"color":95,"percentage":10},"Scala","#c22d40",{"name":97,"color":98,"percentage":99},"CMake","#DA3434",0.1,{"name":101,"color":102,"percentage":103},"Shell","#89e051",0,3696,528,"2026-04-13T21:38:54","BSD-3-Clause",4,"未说明","未说明 (基于 PyTorch 和 TorchScript，通常建议配备支持 CUDA 的 NVIDIA GPU 以进行训练和加速推理)",{"notes":112,"python":109,"dependencies":113},"该项目已正式归档并停止维护。官方建议用户迁移至其继任项目 'Pearl' (Production-ready Reinforcement Learning AI Agent Library) 以获取生产环境支持。安装方式支持 Docker 或手动安装，具体细节需参考原文档链接。该平台主要用于大规模离线强化学习任务和反事实策略评估。",[114,115],"PyTorch","TorchScript",[14,13],"2026-03-27T02:49:30.150509","2026-04-15T07:18:34.853564",[120,125,130,135],{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},34004,"运行训练工作流时遇到 'OOM Killed'（内存溢出）错误怎么办？","这通常是由 pandas 版本兼容性问题引起的。尝试将 pandas 版本从 0.23.* 降级到 0.21.0 可以解决此问题。命令参考：使用 pip 或 conda 安装特定版本，例如 `pip install pandas==0.21.0`。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FReAgent\u002Fissues\u002F128",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},34005,"在 Docker 容器中构建 RaspCli 时出现 'multiple definitions' 链接错误如何解决？","该错误通常是因为克隆仓库时未包含子模块。请确保使用 `--recurse-submodules` 参数克隆仓库：\n`git clone --recurse-submodules https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FReAgent.git`\n而不是仅使用 `git clone`。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FReAgent\u002Fissues\u002F177",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},34006,"运行 spark-submit 任务时报 'grouping expressions sequence is empty' 分析异常怎么办？","这是由于 Spark 版本不兼容导致的。需要将 Spark 升级到 2.3.3 版本。具体步骤如下：\n1. 下载 Spark 2.3.3: `wget https:\u002F\u002Farchive.apache.org\u002Fdist\u002Fspark\u002Fspark-2.3.3\u002Fspark-2.3.3-bin-hadoop2.7.tgz`\n2. 解压并替换现有 Spark: `tar -xzf spark-2.3.3-bin-hadoop2.7.tgz` 然后 `sudo mv spark-2.3.3-bin-hadoop2.7 \u002Fusr\u002Flocal\u002Fspark`\n3. 重新运行 spark-submit 任务。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FReAgent\u002Fissues\u002F101",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},34007,"运行 run_gym.py 脚本时出现 'AttributeError: thrift_spec' 错误如何修复？","这通常是由于 Python thrift 库版本与生成的代码不匹配造成的。请确保安装的 python thrift 库版本为 0.10（与项目要求一致）。如果问题依旧，尝试删除已生成的 python thrift 文件（不要删除 .thrift 源文件），然后重新生成或检查环境依赖。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FReAgent\u002Fissues\u002F123",[]]