GPS

这段代码是对引导策略搜索算法和基于LQG的轨迹优化的重新实现，旨在帮助他人理解、复用并在此基础上进行进一步开发。

完整的文档请参见 rll.berkeley.edu/gps。

该代码库目前仍在开发中。有关计划中的未来功能更新，请参阅常见问题解答。

GPS 快速上手指南

GPS 是引导策略搜索（Guided Policy Search）算法及基于 LQG 的轨迹优化算法的重实现版本，旨在帮助开发者理解、复用并在此基础上构建新的研究工作。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 14.04/16.04) 或 macOS
• Python 版本：Python 2.7 或 Python 3.5+（具体取决于依赖库兼容性，原项目主要基于 Python 2.7）
• 核心依赖：
  • NumPy
  • SciPy
  • Matplotlib
  • Theano 或 TensorFlow（用于神经网络策略部分）
  • MuJoCo（可选，用于物理仿真环境，需单独获取 license）

提示：国内用户建议使用清华源或阿里源加速 Python 包安装。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆代码仓库

   git clone https://github.com/rll/gps.git
   cd gps
   

2. 安装 Python 依赖 推荐使用虚拟环境以避免冲突：

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   
   pip install -r requirements.txt
   

   注：若 requirements.txt 不存在，请根据项目文档手动安装上述核心依赖。

3. 配置环境变量（如需使用 MuJoCo） 如果需要使用 MuJoCo 仿真器，请确保已购买 License 并设置环境变量：

   export MJKEY_FILE=/path/to/mjkey.txt
   export MUJOCO_PY_MUJOCO_PATH=/path/to/mujoco200
   export MUJOCO_PY_MJKEY_PATH=/path/to/mjkey.txt
   

基本使用

以下是一个最简单的运行示例，演示如何启动一个基础的训练任务（以内置的简单环境为例）：

1. 进入示例目录

   cd examples
   

2. 运行训练脚本 执行以下命令开始训练（具体脚本名称可能随版本更新变化，请以实际文件为准）：

   python train_policy.py --config config_example.py
   

3. 查看结果 训练过程中，日志和模型权重将保存在指定的输出目录中。您可以使用提供的可视化工具查看学习曲线：

   python plot_results.py --dir ./output/experiment_1
   

注意：该代码库仍在持续开发中（work in progress），部分功能可能尚不完善。建议参考官方文档 rll.berkeley.edu/gps 获取最新的配置说明和算法细节。