[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-sfujim--TD3":3,"tool-sfujim--TD3":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,2,"2026-04-18T11:30:52",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":92,"env_deps":94,"category_tags":101,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":103,"updated_at":104,"faqs":105,"releases":146},9157,"sfujim\u002FTD3","TD3","Author's PyTorch implementation of TD3 for OpenAI gym tasks","TD3 是一个基于 PyTorch 开源实现的强化学习算法，全称为“双延迟深度确定性策略梯度”。它主要应用于解决连续控制任务，例如让虚拟机器人学会行走或抓取物体。在传统的演员 - 评论家（Actor-Critic）方法中，神经网络在估算价值时容易产生误差，导致训练不稳定甚至失败。TD3 通过引入“双评论家网络”来抑制高估偏差，并配合延迟更新策略和目标策略平滑技术，有效解决了函数近似误差问题，显著提升了算法在复杂环境中的稳定性和最终性能。\n\n这款工具特别适合人工智能研究人员、算法工程师以及强化学习开发者使用。如果你正在研究 OpenAI Gym 或 MuJoCo 环境下的智能体训练，或者需要复现经典的强化学习论文结果，TD3 提供了经过验证的代码基础和清晰的实验脚本。其独特的技术亮点在于巧妙地修正了深度强化学习中常见的过估计问题，使其成为对比其他主流算法（如 DDPG、PPO）的重要基准。无论是用于学术探索还是作为高性能控制策略的开发起点，TD3 都是一个可靠且高效的选择。","# Addressing Function Approximation Error in Actor-Critic Methods\n\nPyTorch implementation of Twin Delayed Deep Deterministic Policy Gradients (TD3). If you use our code or data please cite the [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477).\n\nMethod is tested on [MuJoCo](http:\u002F\u002Fwww.mujoco.org\u002F) continuous control tasks in [OpenAI gym](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fgym). \nNetworks are trained using [PyTorch 1.2](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch) and Python 3.7. \n\n### Usage\nThe paper results can be reproduced by running:\n```\n.\u002Frun_experiments.sh\n```\nExperiments on single environments can be run by calling:\n```\npython main.py --env HalfCheetah-v2\n```\n\nHyper-parameters can be modified with different arguments to main.py. We include an implementation of DDPG (DDPG.py), which is not used in the paper, for easy comparison of hyper-parameters with TD3. This is not the implementation of \"Our DDPG\" as used in the paper (see OurDDPG.py). \n\nAlgorithms which TD3 compares against (PPO, TRPO, ACKTR, DDPG) can be found at [OpenAI baselines repository](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines). \n\n### Results\nCode is no longer exactly representative of the code used in the paper. Minor adjustments to hyperparamters, etc, to improve performance. Learning curves are still the original results found in the paper.\n\nLearning curves found in the paper are found under \u002Flearning_curves. Each learning curve are formatted as NumPy arrays of 201 evaluations (201,), where each evaluation corresponds to the average total reward from running the policy for 10 episodes with no exploration. The first evaluation is the randomly initialized policy network (unused in the paper). Evaluations are peformed every 5000 time steps, over a total of 1 million time steps. \n\nNumerical results can be found in the paper, or from the learning curves. Video of the learned agent can be found [here](https:\u002F\u002Fyoutu.be\u002Fx33Vw-6vzso). \n\n### Bibtex\n\n```\n@inproceedings{fujimoto2018addressing,\n  title={Addressing Function Approximation Error in Actor-Critic Methods},\n  author={Fujimoto, Scott and Hoof, Herke and Meger, David},\n  booktitle={International Conference on Machine Learning},\n  pages={1582--1591},\n  year={2018}\n}\n```\n","# 解决演员-评论家方法中的函数逼近误差\n\n双延迟深度确定性策略梯度（TD3）的 PyTorch 实现。如果您使用我们的代码或数据，请引用[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477)。\n\n该方法在 [OpenAI gym](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fgym) 中的 [MuJoCo](http:\u002F\u002Fwww.mujoco.org\u002F) 连续控制任务上进行了测试。网络使用 [PyTorch 1.2](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch) 和 Python 3.7 进行训练。\n\n### 使用方法\n通过运行以下命令可以复现论文中的结果：\n```\n.\u002Frun_experiments.sh\n```\n针对单个环境的实验可以通过调用以下命令运行：\n```\npython main.py --env HalfCheetah-v2\n```\n\n超参数可以通过向 main.py 传递不同的参数来修改。我们还包含了一个 DDPG 的实现（DDPG.py），虽然未在论文中使用，但便于与 TD3 的超参数进行对比。请注意，这并非论文中所使用的“我们的 DDPG”实现（参见 OurDDPG.py）。\n\nTD3 对比的算法（PPO、TRPO、ACKTR、DDPG）可以在 [OpenAI 基线库仓库](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines) 中找到。\n\n### 结果\n目前的代码已不再完全等同于论文中使用的代码。为了提升性能，我们对超参数等进行了一些小幅调整。不过，学习曲线仍为论文中原始的结果。\n\n论文中的学习曲线位于 \u002Flearning_curves 目录下。每个学习曲线以 NumPy 数组的形式存储，包含 201 次评估结果（形状为 (201,)），每次评估对应于在不进行探索的情况下运行策略 10 个回合所得的平均总奖励。第一次评估是随机初始化的策略网络（论文中未使用）。评估每 5000 个时间步进行一次，总共持续 100 万个时间步。\n\n数值结果可在论文中或从学习曲线中获取。学习到的智能体的视频可在此处观看：[这里](https:\u002F\u002Fyoutu.be\u002Fx33Vw-6vzso)。\n\n### Bibtex\n\n```\n@inproceedings{fujimoto2018addressing,\n  title={Addressing Function Approximation Error in Actor-Critic Methods},\n  author={Fujimoto, Scott and Hoof, Herke and Meger, David},\n  booktitle={International Conference on Machine Learning},\n  pages={1582--1591},\n  year={2018}\n}\n```","# TD3 快速上手指南\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux 或 macOS（Windows 需配置相应兼容环境）\n*   **Python 版本**：推荐 Python 3.7\n*   **深度学习框架**：PyTorch 1.2 或更高版本\n*   **仿真环境**：\n    *   OpenAI Gym\n    *   MuJoCo (需安装 mujoco-py 并配置有效的 license)\n\n> **国内加速建议**：\n> 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>`\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3.git\n    cd TD3\n    ```\n\n2.  **安装依赖**\n    确保已安装 PyTorch 和 Gym\u002FMuJoCo 相关库。若未安装，可执行：\n    ```bash\n    pip install torch==1.2.0 gym mujoco-py\n    ```\n    *(注：具体 PyTorch 版本可根据您的 CUDA 环境调整，但原文基于 1.2 测试)*\n\n## 基本使用\n\n### 运行完整实验复现\n若要复现论文中的完整实验结果，直接运行脚本：\n```bash\n.\u002Frun_experiments.sh\n```\n\n### 运行单个环境训练\n若只需在特定环境中训练模型（例如 HalfCheetah），使用以下命令：\n```bash\npython main.py --env HalfCheetah-v2\n```\n\n### 调整超参数\n您可以通过向 `main.py` 传递不同参数来修改超参数设置。代码库中还包含了 `DDPG.py` 实现，方便与 TD3 进行超参数对比测试（注意：此文件并非论文中使用的 \"OurDDPG\" 版本，后者见 `OurDDPG.py`）。\n\n### 查看结果\n训练生成的学习曲线数据保存在 `\u002Flearning_curves` 目录下。数据格式为 NumPy 数组，包含 201 次评估结果，每次评估对应无探索状态下运行 10 个回合的平均总奖励。","某机器人研发团队正在利用强化学习训练机械臂在复杂环境中执行高精度的连续抓取任务，但在初期实验中遭遇了严重的性能瓶颈。\n\n### 没有 TD3 时\n- **策略震荡严重**：传统的 DDPG 算法因过度估计动作价值，导致机械臂在接近目标时出现剧烈抖动，无法稳定抓取。\n- **训练收敛缓慢**：由于函数近似误差累积，模型需要数千万步的时间步才能勉强学会基础动作，研发周期被大幅拉长。\n- **超参数敏感**：算法对学习率和噪声尺度极其敏感，工程师需花费大量时间反复试错调整，且难以复现最佳效果。\n- **最终性能受限**：即便经过长时间训练，智能体在 MuJoCo 仿真环境中的平均奖励仍远低于理论上限，无法满足实际部署需求。\n\n### 使用 TD3 后\n- **运行平稳精准**：TD3 的“双评论家网络”机制有效抑制了价值高估，机械臂动作平滑流畅，能精准完成细微操作。\n- **样本效率提升**：借助延迟策略更新和目标策略平滑技术，模型在百万级时间步内即可快速收敛，训练效率显著提高。\n- **鲁棒性增强**：算法对超参数变化的容忍度更高，团队能快速在不同任务（如 HalfCheetah 奔跑）间迁移配置，减少调参成本。\n- **突破性能天花板**：在标准测试基准中，TD3 训练出的智能体得分显著超越旧方案，达到了可交付的真实控制水平。\n\nTD3 通过解决演员 - 评论家方法中的函数近似误差，将不稳定的实验室原型转化为高效、可靠的工业级控制策略。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsfujim_TD3_93994f18.png","sfujim","Scott Fujimoto","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsfujim_355a8864.png",null,"McGill University","Montreal, Quebec, Canada","https:\u002F\u002Fgithub.com\u002Fsfujim",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",96.2,{"name":85,"color":86,"percentage":87},"Shell","#89e051",3.8,2057,479,"2026-04-17T03:47:58","MIT","未说明","未说明 (基于 PyTorch，通常支持 CPU 或 NVIDIA GPU，具体取决于任务规模)",{"notes":95,"python":96,"dependencies":97},"该工具主要用于在 MuJoCo 物理仿真环境中进行连续控制任务测试。运行前需单独安装并配置 MuJoCo 引擎及对应的 license。代码库中包含用于对比的 DDPG 实现，但请注意区分论文中使用的特定版本（OurDDPG.py）。学习曲线数据以 NumPy 数组格式存储。","3.7",[98,99,100],"torch==1.2","gym","mujoco-py",[14,102],"其他","2026-03-27T02:49:30.150509","2026-04-19T03:05:55.904921",[106,111,116,121,126,131,136,141],{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},41113,"TD3 算法中的估计价值（Estimated Value）和真实价值（Real Value）是如何计算的？","估计价值：从回放缓冲区中采样状态 - 动作对，分别输入两个评论家网络（critics），取两个输出值中的较小值（min），然后对所有采样对求平均。\n真实价值：将 MuJoCo 模拟器的状态重置为从回放缓冲区采样的状态，执行对应的动作并运行轨迹直到结束，计算实际回报。或者，也可以直接从初始状态开始运行轨迹来估算真实价值，并计算对应起始状态的评论家输出值。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F23",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},41111,"加载预训练模型进行继续训练时，为什么模型性能似乎重置了？","这是因为在加载模型时，虽然主演员（actor）和评论家（critic）网络的权重被加载了，但目标网络（target actor 和 target critic）仍然是从随机初始化的网络复制而来的。解决方法是在加载函数（load function）中添加以下代码，将主网络的权重复制到目标网络：\nself.actor_target = copy.deepcopy(self.actor)\nself.critic_target = copy.deepcopy(self.critic)\n此外，注意回放缓冲区（replay buffer）通常不会被保存，如果缓冲区为空，训练初期性能可能会受影响，直到缓冲区填满。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F20",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},41112,"如何设置随机种子以确保实验结果的可复现性？","仅设置全局随机种子是不够的，因为 Gym 环境的动作空间（action_space）拥有独立的随机数生成器。为了确保完全的可复现性，需要同时设置环境种子和动作空间种子。代码如下：\nenv.seed(seed)\nenv.action_space.seed(seed)\n此外，深度强化学习实验中通常建议运行多个不同种子（如 10 个）并取平均值，以减少随机性带来的偏差。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F36",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},41114,"新的 TD3 超参数（如网络大小 [256, 256]、批量大小 256、学习率 3e-4）是否真的能提升性能？","新的超参数对于让 TD3 在 Humanoid 环境中成功学习是必要的。对于其他环境（如 HalfCheetah, Hopper 等），新超参数不会带来巨大的性能变化，原始超参数也可以使用。原始超参数最初是为了与 DDPG 保持公平比较而未做深度优化。如果你只关注最大化性能，可以使用新参数；如果是为了与其他方法公平比较且对方未使用针对特定环境的超参数，则使用统一的一套超参数可能更公平。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F21",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},41115,"OurDDPG 算法的性能不如预期，可能是什么原因？","OurDDPG 主要作为一个基线算法，其性能通常不如 TD3。如果发现性能不一致，可能是超参数设置问题。维护者已更新代码中的 OurDDPG 超参数以改善性能。建议检查 Replay buffer size 和 start_timesteps 等参数是否与论文一致（例如 Ant 和 HalfCheetah 的 start_timesteps 通常为 10000，其他环境为 1000）。如果追求高性能，建议直接使用 TD3 算法。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F35",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},41116,"该项目是否提供 Dockerfile 以便快速配置依赖环境？","目前短期内没有计划提供 Dockerfile。主要原因是 MuJoCo 模拟器需要用户特定的许可证（license），这使得通用的 Docker 镜像难以分发。不过，PyTorch 和 Gym 的安装比较标准，用户可以手动安装这些依赖。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F38",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},41117,"代码是否支持非对称的动作空间（即 action_space.low != -action_space.high）？","当前代码主要作为论文基准环境的参考实现，假设动作空间是对称的（即 low = -high 且各维度 high 值相同）。对于具有非对称动作空间的特定用例，默认代码可能不直接支持。社区中有用户提交了 Pull Request (#29) 来修正这一问题以支持更通用的动作空间，如果需要支持此类环境，可以参考该 PR 的修改或自行调整代码逻辑。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F28",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},41118,"优势演员 - 评论家（Advantage Actor-Critic）算法中是否存在高估（overestimation）问题？","非正式地说，策略更新会推动策略避免那些被低估的动作。虽然理论上被低估动作的价值不应通过策略更新显式传播，但在实际中这种情况可能会发生。由于该论文未深入研究此点，且算法使用了 n-step 估计，因此无法确定高估现象是否显著或是否会对算法性能产生重大影响。","https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fissues\u002F7",[]]