RLTrader — TensorTrade 的前身

目前此库的开发已放缓，我们正致力于 TensorTrade——一个基于强化学习的交易框架：https://github.com/notadamking/tensortrade。

若想深入了解我们如何构建该智能体，请阅读这篇 Medium 文章：https://towardsdatascience.com/creating-bitcoin-trading-bots-that-dont-lose-money-2e7165fb0b29

随后，我们通过特征工程、统计建模和贝叶斯优化对该项目进行了优化，详情请参阅： https://towardsdatascience.com/using-reinforcement-learning-to-trade-bitcoin-for-massive-profit-b69d0e8f583b

Discord 社区：https://discord.gg/ZZ7BGWh

数据集：https://www.cryptodatadownload.com/data/northamerican/

快速入门

如何检查是否拥有 NVIDIA 显卡？

Linux：

sudo lspci | grep -i --color 'vga\|3d\|2d' | grep -i nvidia

如果返回任何结果，则说明您拥有 NVIDIA 显卡。

基本使用方法

开始使用前，您需要先安装依赖项。如果您系统中配备了 NVIDIA 显卡，建议首先执行以下命令：

cd "您的克隆的 RLTrader 目录路径"
pip install -r requirements.txt

有关在使用 Docker 时如何充分利用 GPU 的更多信息：https://github.com/NVIDIA/nvidia-docker

如果您使用的是其他类型的显卡，或仅希望使用 CPU，请运行：

pip install -r requirements.no-gpu.txt

更新默认使用的静态文件：

python ./cli.py update-static-data

之后，您可以查看当前可用的选项：

python ./cli.py --help

或者直接以默认参数运行项目：

python ./cli.py optimize

如果您有一组标准配置文件，想要针对这些配置运行交易策略，可以指定配置文件来加载设置。将 config/config.ini.dist 重命名为 config/config.ini，然后运行：

python ./cli.py --from-config config/config.ini optimize

python ./cli.py optimize

使用 Vagrant 测试

使用以下命令启动 Vagrant 虚拟机：

vagrant up

代码位于 /vagrant 目录下。您可以随意玩耍或测试所需的软件包。

注意：使用 Vagrant 无法充分发挥 GPU 性能，因此主要用于测试目的。

使用 Docker 测试

如果您希望在 Docker 容器中运行所有内容，只需执行：

./run-with-docker (cpu|gpu) (yes|no) optimize

• cpu：使用 CPU 资源启动容器
• gpu：使用 GPU 资源启动容器
• yes/no：是否启动本地 PostgreSQL 容器 注意：如果第二个参数为 yes，请使用以下命令：

python ./ cli.py --params-db-path "postgres://rl_trader:rl_trader@localhost" optimize

数据库及其数据会持久化存储在本地的 data/postgres 目录下。

若要搭建 Docker 测试环境：

./run-with-docker (cpu|gpu) (yes|no)

若要运行现有测试：

./run-tests-with-docker

启动本地 Docker 开发环境

./dev-with-docker

Windows 10 安装，无需 CUDA

conda create --name rltrader python=3.6.8 pip git conda activate rltrader conda install tensorflow-gpu git clone https://github.com/notadamking/RLTrader pip install -r RLTrader/requirements.txt

优化、训练与测试

虽然您可以直接让智能体使用默认的 PPO2 超参数进行训练和运行，但其收益可能并不理想。stable-baselines 库提供了一套适用于大多数问题领域的优秀默认参数，但我们仍需进一步优化。

为此，您需要运行 optimize.py。

python ./optimize.py

这可能需要一段时间（根据您的硬件配置，耗时数小时到数天不等），但随着试验的完成，程序会不断在控制台输出信息。每次试验完成后，结果都会被保存到 ./data/params.db 这个 SQLite 数据库中，我们可以从中提取超参数来训练我们的智能体。

随后，我们将使用最佳超参数集对智能体进行训练，并在全新的数据上进行测试，以验证算法的泛化能力。

如有任何疑问，欢迎在 Discord 上提问！

Google Colab

在第一个单元格中输入并运行以下代码片段，即可将 RLTrader 加载到 Google Colab 环境中。别忘了将硬件加速设置为 GPU，以加快训练速度！

!git init && git remote add origin https://github.com/notadamking/RLTrader.git && git pull origin master
!pip install -r requirements.txt

常见问题排查

指定的模块未找到。

通常这是由于缺少 MPI 模块所致。您应根据自己的平台安装它。

• Windows：https://docs.microsoft.com/en-us/message-passing-interface/microsoft-mpi
• Linux/MacOS：https://www.mpich.org/downloads/

贡献

我们鼓励大家贡献代码，并将尽最大努力尽快将其合并到库中。本项目旨在随着社区的发展而不断壮大。如果您有任何想法或觉得缺少某些功能，请随时告知我们。

正在提交您的第一个 Pull Request？ 您可以从这个免费系列中学习：如何为 GitHub 上的开源项目做出贡献

支持

想支持本项目并帮助其发展吗？

请移步至其继任框架：https://github.com/notadamking/tensortrade

支持者：

• Ap9944
• KILLth
• Nex

RLTrader 快速上手指南

RLTrader 是一个基于强化学习（Reinforcement Learning）的加密货币交易机器人框架，也是 TensorTrade 的前身。本指南将帮助你快速在本地环境中部署并运行该工具。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows 10
• Python 版本：推荐 Python 3.6 (官方示例基于 3.6.8)
• 硬件加速（可选但推荐）：
  • NVIDIA GPU：用于加速训练过程。
  • 检测命令 (Linux): sudo lspci | grep -i --color 'vga\|3d\|2d' | grep -i nvidia
  • 若无返回结果，可使用 CPU 模式运行。
• 依赖模块：
  • 若使用 Linux/macOS 且遇到 module could not be found 错误，需安装 MPI 模块：
    • Linux/MacOS: 访问 https://www.mpich.org/downloads/ 安装
  • Windows 用户需安装 Microsoft MPI: https://docs.microsoft.com/en-us/message-passing-interface/microsoft-mpi

安装步骤

你可以根据自身硬件情况选择以下任一方式进行安装。

方式一：标准安装 (推荐)

1. 克隆项目代码：

   git clone https://github.com/notadamking/RLTrader
   cd RLTrader
   

2. 根据硬件安装依赖：

   • 拥有 NVIDIA GPU:

     pip install -r requirements.txt
     

   • 仅使用 CPU 或其他显卡:

     pip install -r requirements.no-gpu.txt
     

   (注：国内用户若下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华源)

3. 更新默认静态数据文件：

   python ./cli.py update-static-data
   

方式二：Windows 10 Conda 安装

如果你使用的是 Windows 10 且希望使用 Conda 管理环境：

conda create --name rltrader python=3.6.8 pip git
conda activate rltrader
conda install tensorflow-gpu
git clone https://github.com/notadamking/RLTrader
cd RLTrader
pip install -r requirements.txt

方式三：Docker 安装

如果你希望隔离环境运行，可以使用 Docker：

# 语法：./run-with-docker (cpu|gpu) (yes|no) optimize
# 示例：使用 GPU 运行，不启动本地 postgres 容器
./run-with-docker gpu no optimize

基本使用

安装完成后，你可以立即开始优化策略或运行默认配置。

1. 查看可用选项

查看命令行帮助信息：

python ./cli.py --help

2. 运行默认优化

使用默认参数启动优化流程（这将自动进行超参数搜索）：

python ./cli.py optimize

注意：此过程可能耗时较长（数小时至数天），取决于硬件性能。完成的试验结果将保存在 ./data/params.db SQLite 数据库中。

3. 使用自定义配置文件

如果你需要指定特定的配置：

1. 复制配置模板：

   cp config/config.ini.dist config/config.ini
   

2. 编辑 config/config.ini 填入你的参数。
3. 运行：

   python ./cli.py --from-config config/config.ini optimize
   

4. Google Colab 快速体验

如果你想在云端免费使用 GPU 进行尝试，可在 Colab 的第一个单元格中运行以下代码（记得在菜单中将运行时类型更改为 GPU）：

!git init && git remote add origin https://github.com/notadamking/RLTrader.git && git pull origin master
!pip install -r requirements.txt

完成上述步骤后，代理将利用找到的最佳超参数进行训练，并在新数据上进行测试以验证算法的泛化能力。