[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-huggingface--deep-rl-class":3,"tool-huggingface--deep-rl-class":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",143909,2,"2026-04-07T11:33:18",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":72,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":32,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":97,"github_topics":98,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":103,"updated_at":104,"faqs":105,"releases":135},5188,"huggingface\u002Fdeep-rl-class","deep-rl-class","This repo contains the Hugging Face Deep Reinforcement Learning Course.","deep-rl-class 是 Hugging Face 推出的深度强化学习开源课程资源库，旨在帮助学习者系统掌握从理论基础到代码实战的全流程知识。它解决了深度强化学习领域入门门槛高、理论与实践脱节的痛点，通过结构化的单元教程和可交互的代码笔记本，让用户能够亲手训练智能体并观察其决策过程。\n\n这套资源非常适合希望深入理解 AI 决策机制的开发者、研究人员以及高校学生使用。无论你是否具备深厚的数学背景，都能跟随课程循序渐进地学习。其独特亮点在于结合了 Hugging Face 生态的优势，提供了基于 PyTorch 等主流框架的实战练习，涵盖从基础算法到复杂场景（如智能体对战）的完整路径。\n\n需要注意的是，目前该项目处于低维护状态，部分高级功能（如第 7 单元的 AI 对战功能和排行榜）暂时无法使用，但这并不影响核心理论学习和大部分动手实验的有效性。社区在议题区也积累了许多常见问题的解决方案。如果你渴望扎实地构建深度强化学习知识体系，deep-rl-class 依然是一个极佳且免费的起点。","# [The Hugging Face Deep Reinforcement Learning Course 🤗 (v2.0)](https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction)\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuggingface_deep-rl-class_readme_695adaf42f65.jpg\" alt=\"Thumbnail\"\u002F>\n\nIf you like the course, don't hesitate to **⭐ star this repository. This helps us 🤗**.\n\nThis repository contains the Deep Reinforcement Learning Course mdx files and notebooks. **The website is here**: https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction?fw=pt\n\n- The syllabus 📚: https:\u002F\u002Fsimoninithomas.github.io\u002Fdeep-rl-course\n\n- The course 📚: https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction?fw=pt\n\n- **Sign up here** ➡️➡️➡️ http:\u002F\u002Feepurl.com\u002Fic5ZUD\n\n## Course Maintenance Notice 🚧\n\nPlease note that this **Deep Reinforcement Learning course is now in a low-maintenance state**. However, it **remains an excellent resource to learn both the theory and practical aspects of Deep Reinforcement Learning**.\n\nKeep in mind the following points:\n\n- *Unit 7 (AI vs AI)* : This feature is currently non-functional. However, you can still train your agent to play soccer and observe its performance.\n\n- *Leaderboard* : The leaderboard is no longer operational.\n\nAside from these points, all theory content and practical exercises remain fully accessible and effective for learning.\n\nIf you have any problem with one of the hands-on **please check the issue sections where the community give some solutions to bugs**.\n\n## Citing the project\n\nTo cite this repository in publications:\n\n```bibtex\n@misc{deep-rl-course,\n  author = {Simonini, Thomas and Sanseviero, Omar},\n  title = {The Hugging Face Deep Reinforcement Learning Class},\n  year = {2023},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class}},\n}\n```\n","# 【Hugging Face 深度强化学习课程 🤗 (v2.0)】(https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction)\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuggingface_deep-rl-class_readme_695adaf42f65.jpg\" alt=\"缩略图\"\u002F>\n\n如果你喜欢这门课程，请不要犹豫，**⭐ 给这个仓库加星标吧。这对我们很有帮助 🤗**。\n\n本仓库包含了深度强化学习课程的 mdx 文件和笔记本。**课程官网在此**：https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction?fw=pt\n\n- 课程大纲 📚：https:\u002F\u002Fsimoninithomas.github.io\u002Fdeep-rl-course\n\n- 课程内容 📚：https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction?fw=pt\n\n- **立即报名** ➡️➡️➡️ http:\u002F\u002Feepurl.com\u002Fic5ZUD\n\n## 课程维护通知 🚧\n\n请注意，这门**深度强化学习课程目前已处于低维护状态**。不过，它仍然是**学习深度强化学习理论与实践的绝佳资源**。\n\n请留意以下几点：\n\n- *第7单元（AI 对 AI）*：该功能目前无法正常使用。不过，你仍然可以训练你的智能体进行足球比赛，并观察其表现。\n\n- *排行榜*：排行榜已不再运行。\n\n除上述两点外，所有理论内容和实践练习均可正常使用，对学习依然有效。\n\n如果你在动手实践过程中遇到任何问题，**请查看 Issues 栏目，社区成员已经提供了一些解决 bug 的方案**。\n\n## 引用本项目\n\n如需在出版物中引用本仓库，请使用以下 BibTeX 格式：\n\n```bibtex\n@misc{deep-rl-course,\n  author = {Simonini, Thomas 和 Sanseviero, Omar},\n  title = {Hugging Face 深度强化学习课程},\n  year = {2023},\n  publisher = {GitHub},\n  journal = {GitHub 仓库},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class}},\n}\n```","# Deep-RL-Class 快速上手指南\n\n本指南基于 Hugging Face 深度强化学习课程（v2.0）仓库，帮助开发者快速搭建环境并开始学习。\n\n> **注意**：该课程目前处于低维护状态，但理论内容与大部分实践练习依然有效。部分功能（如 Unit 7 的 AI 对战和排行榜）已不可用，但不影响核心学习流程。如遇代码问题，建议查阅仓库 Issue 区获取社区解决方案。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows (推荐 WSL2)\n*   **Python 版本**：Python 3.8 或更高版本\n*   **硬件建议**：虽然基础练习可在 CPU 上运行，但建议使用带有 CUDA 支持的 NVIDIA GPU 以加速训练。\n*   **前置知识**：具备基础的 Python 编程能力，了解 PyTorch 基础更佳。\n\n## 安装步骤\n\n推荐使用 `conda` 或 `venv` 创建独立的虚拟环境。以下以 `pip` 为例进行安装。\n\n1.  **克隆仓库**\n    获取课程代码和 Notebook 文件：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class.git\n    cd deep-rl-class\n    ```\n\n2.  **安装依赖**\n    进入项目目录后，安装课程所需的 Python 包。国内用户可使用清华源或阿里源加速下载：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n    *注：如果 `requirements.txt` 未包含所有特定单元所需的库，请参考具体单元 Notebook 顶部的安装指令。通常还需要安装 `gymnasium` 和相关环境渲染库（如 `swig` 用于 Box2D）。*\n\n3.  **验证安装**\n    尝试导入核心库以确保环境正常：\n    ```bash\n    python -c \"import torch; import gymnasium; print('Environment ready!')\"\n    ```\n\n## 基本使用\n\n本课程主要通过 Jupyter Notebook 进行交互式学习。\n\n1.  **启动 Jupyter Lab**\n    在项目根目录下运行：\n    ```bash\n    jupyter lab\n    ```\n    浏览器将自动打开并显示文件目录。\n\n2.  **开始第一个单元**\n    *   导航至 `unit0` 或 `unit1` 文件夹。\n    *   打开对应的 `.ipynb` 文件（例如 `unit1\u002Fintroduction.ipynb`）。\n    *   按照 Notebook 中的说明，逐个单元格（Cell）运行代码。\n\n3.  **运行简单示例**\n    大多数单元包含一个完整的训练循环示例。您通常只需按顺序执行以下步骤：\n    *   初始化环境 (`env = gymnasium.make(...)`)\n    *   定义代理\u002F模型 (Agent\u002FModel)\n    *   运行训练循环\n    *   观察结果或渲染画面\n\n    例如，在支持渲染的环境中，运行训练代码后您将看到智能体（Agent）的学习过程演示。\n\n**访问完整课程网站**：\n如需查看详细的理论讲解和更多资源，请访问：https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction?fw=pt","某初创公司的算法工程师团队正致力于开发一款能自主适应复杂地形的仓储物流机器人，急需构建高效的深度强化学习训练流程。\n\n### 没有 deep-rl-class 时\n- 团队成员需从零散的技术博客和过时的论文中拼凑理论，缺乏系统化的知识体系，导致对 PPO、DQN 等核心算法理解深浅不一。\n- 搭建实验环境耗时费力，需手动配置 Gym 接口、调试奖励函数编写错误，往往在代码运行前就耗费数周时间。\n- 缺乏统一的基准代码和最佳实践，不同成员实现的模型结构差异巨大，难以复现彼此的训练结果或进行公平对比。\n- 遇到训练不收敛或策略崩溃时，只能依靠个人经验盲目调整超参数，缺少专业的故障排查指南和社区解决方案支持。\n\n### 使用 deep-rl-class 后\n- 团队直接依托 Hugging Face 提供的结构化课程，快速统一了对深度强化学习理论与实战的认知，大幅缩短了新人的上手周期。\n- 利用现成的 Notebooks 和预置环境模板，工程师们跳过繁琐的基础设施搭建，首日即可开始针对仓储场景定制奖励函数与训练循环。\n- 基于课程提供的标准基线代码，团队建立了规范的实验流程，确保每次迭代都可复现、可对比，显著提升了研发协作效率。\n- 遇到训练瓶颈时，直接参考课程中的调试章节及社区 Issue 区积累的常见 Bug 修复方案，迅速定位并解决了策略震荡问题。\n\ndeep-rl-class 将原本需要数月摸索的深度学习强化学习落地路径，压缩为几周的高效实战，让团队能专注于解决具体的业务逻辑而非基础架构。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuggingface_deep-rl-class_695adaf4.jpg","huggingface","Hugging Face","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhuggingface_90da21a4.png","The AI community building the future.",null,"https:\u002F\u002Fhuggingface.co\u002F","https:\u002F\u002Fgithub.com\u002Fhuggingface",[80,84],{"name":81,"color":82,"percentage":83},"MDX","#fcb32c",58.7,{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",41.3,4834,781,"2026-04-07T13:02:00","Apache-2.0","","未说明",{"notes":95,"python":93,"dependencies":96},"README 中未包含具体的运行环境需求（如操作系统、GPU、内存、Python 版本及依赖库）。该项目为 Hugging Face 深度强化学习课程的代码和笔记仓库，部分功能（如 Unit 7 的 AI 对战和排行榜）已停止维护或不可用。如遇问题，建议查看仓库的 Issue 区获取社区解决方案。",[],[14],[99,100,101,102],"deep-reinforcement-learning","reinforcement-learning","reinforcement-learning-excercises","deep-learning","2026-03-27T02:49:30.150509","2026-04-08T01:49:12.528016",[106,111,116,121,126,131],{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},23514,"在 Unit 3 或 Unit 6 中安装 gym 0.21.0 时遇到构建失败（Failed building wheel）或依赖冲突错误怎么办？","这是一个常见的依赖版本问题。解决方法是降级 `setuptools` 和 `wheel` 到特定版本，然后再安装 requirements。请在 Notebook 中运行以下命令替换原有的安装步骤：\n\n!pip install setuptools==65.5.0 wheel==0.38.4\n!pip install -r requirements.txt\n\n或者针对 Unit 6：\n!pip install setuptools==65.5.0 wheel==0.38.4\n!pip install -r https:\u002F\u002Fraw.githubusercontent.com\u002Fhuggingface\u002Fdeep-rl-class\u002Fmain\u002Fnotebooks\u002Funit6\u002Frequirements-unit6.txt\n\n注意：不需要额外安装 jedi，关键是 wheel 版本需为 0.38.4 以兼容旧版 gym 的构建。","https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class\u002Fissues\u002F328",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},23515,"在 Google Colab 中运行课程 Notebook 需要付费账户（Pro\u002FPro+）吗？","不需要。免费的 Google Colab 账户即可运行课程代码。课程设计的 100 万（1M）训练步数足以获得良好的结果且能在免费版的超时限制内完成。如果尝试训练更多步数，可能会面临运行时超时的风险，此时才需要考虑升级，但对于标准练习，免费版完全足够。","https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class\u002Fissues\u002F330",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},23516,"在 Unit 3 中将模型推送到 Hugging Face 时报错或失败，如何解决？","如果遇到推送错误，请首先确保使用的是最新版本的 Notebook（维护者已更新修复）。其次，检查是否遗漏了关键步骤：\n1. 确认是否创建了 `dqn.yml` 配置文件。\n2. 仔细查看训练结束后的输出信息，确认模型是否已成功保存。\n如果问题依旧，建议从头开始运行一个新的 Notebook 实例，避免环境状态残留导致的问题。","https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class\u002Fissues\u002F539",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},23517,"Unit 7 中 `mlagents-push-to-hf` 命令无法工作，如何手动上传模型？","如果自动推送命令在不同操作系统（macOS\u002FWindows）下均失效，可以采用手动上传方式。你可以直接在 Hugging Face Hub 的网页界面上，通过拖拽文件的方式上传训练好的模型文件。这通常涉及找到本地训练生成的模型文件夹或权重文件，然后上传到对应的 Repository 中。","https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class\u002Fissues\u002F475",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},23518,"在本地运行 Unit 4 时，遇到 `env.reset()` 返回元组或 `env.step()` 返回值数量不对的错误怎么办？","这是因为 Gym 库更新到了 Gymnasium 接口，返回值结构发生了变化（例如 `reset` 现在返回 `(observation, info)`）。如果你不在 Colab 中运行，而是使用本地环境，需要修改代码以适配新接口：\n1. 将 `state = env.reset()` 改为 `state, _ = env.reset()`。\n2. 将 `state, reward, done, info = env.step(action)` 改为 `state, reward, terminated, truncated, info = env.step(action)`（并根据逻辑合并 terminated 和 truncated）。\n或者直接安装并导入 `gymnasium` 替代 `gym`，并相应调整代码逻辑。","https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdeep-rl-class\u002Fissues\u002F468",{"id":132,"question_zh":133,"answer_zh":134,"source_url":110},23519,"Colab 运行时提示需要重启才能使用新安装的包（如 setuptools），但重启后配置丢失怎么办？","当出现 \"You must restart the runtime\" 警告时，必须点击菜单栏的 \"Runtime\" -> \"Restart runtime\"。重启后，之前通过 `!pip install` 安装的包仍然保留，但导入的模块状态会重置。请确保在安装完所有依赖（特别是 setuptools 和 wheel 的版本调整）并重启运行时后，再开始运行后续的训练代码单元格。如果是在 Conda 环境中遇到 pip 损坏问题，建议重新创建环境：`conda create -n \"myenv\" python=3.9.7 ipython`。",[]]