TensorForce 比特币交易机器人

更新 2018-08-14

标签 v0.1 包含与本 README 文件一致的代码。标签 v0.2 是在金融工作中吸取教训后进行的重大重构，因此本 README 的大部分内容将不再适用于新代码。无论哪种情况，我都无法让测试收敛，这表明该项目存在根本性的缺失——也就是说，请不要指望通过它赚钱（建议将其作为起点或学习工具）。我将暂时退出该项目，并且在此处不会太活跃，但我并未完全放弃。

---

一个基于 TensorForce 的比特币交易机器人（算法交易者）。利用深度强化学习，根据价格历史自动进行 BTC 的买入、卖出或持有操作。

该项目与 机器学习指南 第 26 集及后续内容配套使用。这些集数是针对该项目的教程，包括深度强化学习简介、超参数选择等内容。

1. 设置

• Python 3.6+（我大量使用了 f-string）
• 安装并配置 PostgreSQL
  • 创建两个数据库：btc_history 和 hyper_runs。你可以为它们命名任意名称，如果愿意也可以只使用一个数据库（参见“数据”部分）。
  • 执行 cp config.example.json config.json，并将上述信息填入 config.json 中。
• 手动安装 TA-Lib。
• 运行 pip install -r requirements.txt
  • 如果遇到问题，可以尝试手动安装这些依赖项。
• 从 Git 仓库安装 TensorForce（不断更新，我们跟踪最新版本）
  • git clone https://github.com/lefnire/tensorforce.git
  • cd tensorforce && pip install -e .

注意：建议在配备一定内存的 GPU 设备上运行此项目。我使用的是 1080ti 显卡和 16GB 内存；通常会占用 8GB 以上的内存。你也可以在没有 GPU 的普通 PC 上运行（仅 CPU），此时需要执行 pip install -I tensorflow==1.5.0rc1（而不是 tensorflow-gpu）。唯一的缺点是性能：对于卷积神经网络计算而言，CPU 的速度远低于 GPU。在决定是否升级硬件之前，不妨先在 CPU 上评估一下这个项目。

2. 填充数据

• 下载 mczielinski/bitcoin-historical-data
• 解压到 data/bitcoin-historical-data
• 运行 python -c 'from data.data import setup_runs_table;setup_runs_table()'
  • 如果出现 ModuleNotFoundError: No module named 'data.data' 错误，请在命令前添加 PYTHONPATH=. python ...。
  • 如果仍然有问题，可以直接复制该文件中的 SQL 语句，并在前面创建的 hyper_runs 数据库中执行。

3. 超参数搜索

实际强化学习的核心在于找到合适的超参数组合（例如神经网络的宽度和深度、L1/L2 正则化系数、Dropout 率等）。一些论文已经列出了最优的默认超参数。例如，近端策略优化（PPO）的论文 OpenAI Baselines PPO 提供了一组不错的默认值。但根据我的经验，这些默认值并不适合我们的场景（时间序列/交易）。我会在这个项目中持续更新我个人认为的最佳默认值，不过结果因人而异，你很可能需要自己尝试不同的超参数组合。文件 hypersearch.py 将会无限期地搜索超参数，不断优化出更好的组合（使用贝叶斯优化 BO，详见 gp.py）。更多细节请参阅下方的“超参数搜索”部分。

python hypersearch.py

可选参数：

• --guess <int>：有时你可能不希望一开始由随机性较强的贝叶斯优化来搜索超参数，而是想先尝试一两个自己的猜测。具体说明请参见 utils.py#guess_overrides。
• --net-type <lstm|conv2d>：请参阅下方关于 LSTM 与 CNN 的讨论。
• --boost：在寻找最佳超参数组合时，你可以选择梯度提升而非贝叶斯优化。贝叶斯优化更具探索性和全面性，而梯度提升则更倾向于“立即找到最佳方案”。我通常会在数据库中积累了约 100 次试验结果后使用 --boost，因为贝叶斯优化可能还需要 200 到 300 次试验才能达到理想效果，而时间却很紧迫。梯度提升可以快速捕捉到早期的优秀结果。
• --autoencode：许多用户可能会遇到 GPU 内存不足的问题（超参数搜索因内存耗尽而崩溃）。如果出现这种情况，请使用此标志。它会对价格历史的时间步长进行降维处理，以便更多数据能够容纳在内存中。这种降维是破坏性的——类似于有损图像压缩——但在某些情况下可能是必要的。有关导致内存耗尽的原因，请参阅 #6。
• --n-steps <int>、--n-tests <int>：调整训练时长以及报告频率。n-steps 表示训练的时间步长数量（以 1 万为单位；例如 --n-steps 100 表示 100 万步）。n-tests 表示将训练过程分成多少个阶段进行报告，并保存用于可视化的内容。

4. 运行

当你从上述步骤中找到了一组合适的超参数组合后（这可能需要几天甚至几周的时间），就可以开始运行你的模型了。

python run.py --name <str>

• --name <str>（必填）：保存训练结果或加载已保存结果的文件夹名称（用于 --live/--test-live 模式）。
• --id <int>：指定要运行的获胜超参数组合的 ID。如果不指定，则会使用硬编码的默认超参数。
• --early-stop <int>：有时模型可能会过拟合。特别是 PPO，在一段时间内表现优异，随后可能会突然崩盘。这种行为会在可视化图表中清晰地体现出来，因此你可以设置在连续出现 x 次正收益后停止运行（具体次数取决于智能体的表现——有些智能体在达到最佳状态后只会持续 3 次正收益，而有些则能持续 8 次，你可以根据图表自行判断）。
• --live：现在是时候将你的智能体部署到 GDAX 平台并进行真实交易了！如何接入平台的具体细节需要你自己解决，因为这属于高风险操作，我对此不承担任何责任。事实上，让我们明确这一点——请参阅 README 最后的免责声明。
• --test-live：与 --live 类似，但不会真正执行交易。它会监控来自 config.json 的实时更新数据库，就像 --live 一样，只是不会实际成交，而是模拟交易结果，并报告你原本可能获得或损失的金额。这是一种试运行的方式。在正式启用 --live 之前，强烈建议你至少运行一两次 --test-live。

首先，运行 python run.py [--id 10] --name test。这将使用 hypersearch.py 中的第 10 组超参数训练模型，并保存到 saves/test 目录下。如果没有指定 --id，则会使用硬编码的默认超参数。在训练过程中，你可以按 Ctrl-C 一次来终止训练（如果你发现某个超参数组合已经达到最佳效果，不想继续过拟合的话）。 其次，运行 python run.py [--id 10] --name test --[test-]live 来以实时/测试实时模式运行。如果你之前指定了 --id，这里也需要再次指定，以确保加载的模型与其对应的网络架构相匹配。

5. 可视化

TensorForce 内置了在 TensorBoard 上进行奖励可视化的功能。你可以去他们的 GitHub 仓库看看就知道了。不过我需要的可视化定制程度远超这个，所以我们没有使用 TensorBoard。我搭建了一个小型的 Flask 服务器（两个路由）和一个基于 D3 的 React 仪表板，你可以在其中自由组合超参数、查看训练进度等。点击某一次运行记录，就会显示该智能体在某个时间片（测试集）内发出的买入/卖出信号图，这样你就能直观地判断它是否做出了合理的决策。

• 服务器：cd visualize;FLASK_APP=server.py flask run
• 客户端：
  • cd visualize/client
  • npm install;npm install -g webpack-dev-server
  • npm start => localhost:8080

---

关于

本项目是一个基于 TensorForce 的比特币交易机器人（算法交易者）。它利用深度强化学习，根据对 BTC 价格历史的学习结果，自动执行买入、卖出或持有操作。市面上大多数关于 BTC 交易机器人的博客、教程或代码模板都采用监督学习，通常是 LSTM 模型。这种做法确实不错——监督学习能够捕捉时间序列的规律，从而预测下一步走势。然而，它仅止于此：它会告诉你“接下来价格会上涨”，却不会指导你该如何操作。听起来很简单——买进不就行了？但事实并非如此。“低买高卖”并不是一件容易的事。实际交易中往往涉及成千上万行的规则逻辑，比如“如果……那么……”。而强化学习则将监督学习提升到了一个新的层次：它不仅将监督学习嵌入到自身的架构中，还会进一步决定具体的操作策略。这真是非常精妙的设计！推荐参考以下资源：

• Sutton & Barto：强化学习领域的经典教材。
• CS 294：现代深度学习视角下的强化学习课程。
• Machine Learning for Trading：教授算法交易、股票相关知识以及强化学习的实际应用。

本项目与《机器学习指南》第 26 集及后续内容相配合。这些集数为本项目提供了详细的教程，包括深度强化学习的入门知识、超参数调优等内容。

数据

对于该项目，我推荐使用“设置”部分提到的 Kaggle 数据集。这是一个非常可靠的数据集，是我目前找到的最佳选择！我个人则使用一位朋友提供的实时行情数据库。不过很遗憾，你无法直接访问他的数据，因为这是他个人维护的资源，未来可能会以付费 API 的形式对外开放，我们拭目以待。此外，在 data/populate 目录下还有一些文件，它们使用 CryptoWat.ch 的 API 获取数据。这个 API 在未来很有用，但它缺乏足够的历史数据来支持模型训练。如果你发现了比 Kaggle 数据集更好的替代方案，请随时告诉我。

本项目的数据库划分如下（参见 config.json 文件）。首先是一个 history 数据库，存储了多个交易所的历史 BTC 价格数据。你需要导入这些数据并以此进行训练。其次是一个可选的 runs 数据库，用于保存每次运行 hypersearch.py 的结果。这部分数据会被我们的 BO 或 Boost 算法用来搜索更优的超参数组合。当然，你也可以将 runs 表直接放在 history 数据库中，两者合二为一。我之所以分开管理，是因为我希望将 history 数据库部署在本地以提升性能（实际效果非常明显），而将 runs 数据库托管在云端，这样我可以从不同的 AWS p3.8xlarge 实例中收集运行结果。

最后，当你准备进入实盘交易模式时，就需要一个实时更新的 live 数据库，持续采集交易所的行情数据。--live 参数会负责保持该数据库的同步更新。同样地，这三个数据库也可以合并为一个，我只是出于性能考虑选择了这样的架构。

LSTM vs CNN

你会注意到 hypersearch.py 和 run.py 中有一个 --net-type <lstm|conv2d> 的命令行参数。它用于选择使用 LSTM 循环神经网络还是卷积神经网络。我将这两种网络类型单独列出，是因为它们差异较大，各自适合不同的应用场景，甚至可以分别使用独立的 runs 数据库。不过，如果有谁能将它们整合到统一的超参数搜索框架中，请务必提出 Pull Request。你可能会疑惑：“BTC 价格是时间序列数据，时间序列通常用 LSTM 处理，为什么还要用 CNN 呢？”令人意外的是，LSTM 在这里的表现并不理想。无论是我的经验、同事的经验，还是我读过的两三篇论文（例如这篇 [arxiv.org/pdf/1706.10059.pdf]），大家得出的结论都是一致的。至于原因尚不明确，目前比较流行的说法是梯度消失或爆炸问题。LSTM 在 NLP 领域表现良好，因为那里的句子长度通常不超过 50 个词左右。LSTM 正是为了解决普通 RNN 在处理这类短序列时可能遇到的梯度消失或爆炸问题而设计的。然而，BTC 的价格历史却是无限延续的，也许 LSTM 对于如此长的时间序列已经力不从心了。另一种可能性是，深度强化学习的研究、发表和开源实现大多基于 CNN，因为强化学习最初主要应用于视频游戏、自动驾驶等视觉相关的场景。因此，CNN 的数学框架或许更适合强化学习模型。当然，这只是推测，具体情况还需要通过实验来验证。建议大家同时尝试这两种模型，并将自己的发现反馈到 GitHub 上。

那么，CNN 究竟如何适用于时间序列数据呢？其实我们可以将时间片段构造成一张“图像”：横轴代表时间，纵轴（高度）没有任何意义，直接设为 1；而 z 轴（通道）则表示各种特征，如开盘价、收盘价、最高价、最低价、成交量加权平均价、买卖盘等。这样一来，我们的智能体就仿佛在观察价格走势的图像，就像我们在日内交易时所做的那样，只不过这种方式更加符合机器的处理方式，相对人类而言则稍显复杂。

[更新：2018 年 3 月 4 日] 近期我在 LSTM 方面取得了更好的效果，因此已将其设为默认选项。这会不会是 TensorForce 更新带来的变化呢？

强化学习模型

TensorForce 提供了多种可供选择的强化学习模型。目前本项目仅支持近端策略优化（PPO），但我鼓励大家继续添加其他模型（尤其是 VPG、TRPO、DDPG、ACKTR 等），并提交 Pull Request。ACKTR 是当前最先进的策略梯度模型，但尚未在 TensorForce 中实现。PPO 则是第二先进的模型，所以我们暂时选用它。TRPO 排名第三，VPG 已经较为老旧，而 DDPG 我还没有深入研究过。

除了策略梯度类模型之外，还有 Q 学习类方法（如 DQN 等）。不过我们并未采用这些方法，因为它们只支持离散动作，而不支持连续动作。我们的智能体既有离散动作（买入、卖出、持有），也有连续动作（交易量大小）。如果没有“交易量大小”这一连续灵活性，构建一个真正的算法交易系统就显得不够完善。虽然理论上可以通过设定固定的交易金额（如买入 200 美元、卖出 200 美元等）来模拟离散动作，但显然不如连续动作来得灵活高效。

超参数搜索

在为机器学习模型寻找最优超参数时，你可能已经熟悉“网格搜索”和“随机搜索”。网格搜索会遍历所有可能的组合——虽然全面，但耗时极长（尤其是在我们这个项目中涉及的超参数数量较多的情况下）。而随机搜索则是随机尝试不同的超参数组合，最终选择表现最好的那组。这种方法非常简单粗暴，在其他机器学习场景下尚可接受，但在强化学习领域，超参数的选择往往决定成败，其重要性甚至超过模型本身的选择。说实话，我曾发现，L1 正则化、L2 正则化以及 Dropout 的设置，比选择 PPO 还是 DQN、LSTM 还是 CNN 等因素的影响还要大。

因此，我们采用了贝叶斯优化（BO）。有时你也可能会听到“高斯过程”（GP），因为贝叶斯优化正是基于高斯过程来进行优化的。相关实现请参见 gp.py 文件。贝叶斯优化起初类似于随机搜索，因为它一开始并没有任何先验信息；随着时间推移，它会利用贝叶斯推断逐步聚焦到最佳的超参数组合上。这种做法颇具元学习的意味——用机器学习来寻找最适合机器学习的超参数——但逻辑上也说得通。那么，为什么不直接用强化学习来寻找最优超参数呢？理论上是可以的（我也确实尝试过），然而深度强化学习通常需要数万次迭代才能开始收敛，而每次运行又需要大约 8 小时。相比之下，贝叶斯优化收敛得快得多。此外，我还通过梯度提升实现了自己的一套超参数搜索方法（训练时使用 --boost 参数），这主要是为了个人实验之用。

我们目前使用的 gp.py 源自 thuijskens/bayesian-optimization 项目，它直接调用了 scikit-learn 内置的高斯过程功能。我也曾考虑过专门的贝叶斯优化库，比如 GPyOpt。不过，我发现 gp.py 更易于使用，只是尚未对其性能与最优超参数进行过系统比较（没错，贝叶斯优化本身也有自己的超参数……真是层层嵌套啊！不过好在据说直接使用默认值通常也能取得不错的效果）。如果有朋友对这些方面感兴趣，欢迎进一步探索！

许可证：AGPLv3.0

采用 GPL 协议是为了促进研究成果的共享，毕竟这是社区共同的努力嘛。就像乘船顺流而下一样，顺势而为。加上 Affero 条款，则是为了让大家能够基于各自的配置或修改，独立运行属于自己的交易实例。事实上，我们任何人都可以将这套系统作为一项服务或对冲基金来运营。我对这种许可证非常认同，此前在我创办的一家互联网公司 Habitica 中也曾使用过类似的许可协议。当然，如果你更倾向于其他许可证，请随时提交议题并告知我们，我们非常乐意听取建议。详情请参阅 LICENSE 文件。

免责声明

使用本代码即表示你同意自行承担因该代码而导致的所有资金损失责任。

顺便一提，截至目前我本人并未从中获利。而且以当前的形式来看，这个项目短期内恐怕难以取得成功。如果能加入一些附加功能，比如基础的自然语言处理能力，或许会更有价值。不过，至少这是一个不错的起点！

tforce_btc_trader 快速上手指南

tforce_btc_trader 是一个基于 TensorForce 的比特币交易机器人，利用深度强化学习（Deep RL）根据历史价格自动执行买入、卖出或持有操作。本项目适合作为学习深度强化学习在金融时间序列中应用的起点。

注意：作者明确表示该项目的测试尚未收敛，切勿直接用于真实资金交易。请仅将其作为教育和技术探索工具。

环境准备

系统要求

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.6+ (项目大量使用模板字符串)
• 硬件建议：
  • 推荐：配备 GPU 的机器（如 NVIDIA 1080ti），内存 16GB+（训练过程常占用 8GB+ 显存/内存）。
  • 最低：普通 PC（仅 CPU），但 ConvNet 计算速度会显著慢于 GPU。若仅使用 CPU，需安装 tensorflow==1.5.0rc1 而非 tensorflow-gpu。

前置依赖

1. PostgreSQL 数据库
   • 安装并启动 PostgreSQL 服务。
   • 创建两个数据库（也可合并为一个）：

     CREATE DATABASE btc_history;
     CREATE DATABASE hyper_runs;
     

2. TA-Lib 技术指标库
   • 需手动安装底层 C 库及 Python 包装器。
   • Ubuntu/Debian:

     wget http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz
     tar -xzf ta-lib-0.4.0-src.tar.gz
     cd ta-lib/
     ./configure --prefix=/usr
     make
     sudo make install
     

   • 随后通过 pip 安装 Python 接口：pip install TA-Lib (或在后续步骤统一安装)。

安装步骤

1. 克隆项目并配置

   git clone https://github.com/lefnire/tforce_btc_trader.git
   cd tforce_btc_trader
   cp config.example.json config.json
   # 编辑 config.json，填入你的数据库连接信息
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   注：若安装失败，请尝试手动安装报错的依赖包。

3. 安装 TensorForce (开发版) 由于原版 TensorForce 更新频繁，本项目使用特定的 fork 版本：

   git clone https://github.com/lefnire/tensorforce.git
   cd tensorforce
   pip install -e .
   cd ..
   

4. 准备数据

   • 下载 Kaggle 数据集：mczielinski/bitcoin-historical-data。
   • 解压并将文件夹重命名为 data/bitcoin-historical-data。
   • 初始化数据库表结构：

     # 若遇到 ModuleNotFoundError，请添加 PYTHONPATH=. 前缀
     PYTHONPATH=. python -c 'from data.data import setup_runs_table;setup_runs_table()'
     

     如果上述命令失败，可直接复制 data/data.py 中的 SQL 语句并在你的 hyper_runs 数据库中执行。

基本使用

本项目的核心流程分为：超参数搜索 (Hypersearch) -> 模型训练与运行 (Run) -> 可视化 (Visualize)。

1. 超参数搜索 (寻找最佳模型配置)

强化学习的效果高度依赖超参数（如网络层数、Dropout 率等）。使用贝叶斯优化自动搜索最佳组合：

python hypersearch.py

常用可选参数：

• --net-type <lstm|conv2d>: 选择神经网络类型（LSTM 或 CNN）。实验表明 CNN 在此场景下表现往往优于 LSTM。
• --boost: 当数据库已有约 100 次运行记录后，使用梯度提升算法加速寻找最优解（比默认的贝叶斯优化更快收敛）。
• --autoencode: 若遇到显存/内存溢出，启用此标志进行降维处理（有损压缩）。
• --n-steps <int>: 设置训练步数（单位为 1 万，例如 100 代表 100 万步）。

此过程可能耗时数天至数周，旨在找到胜率最高的配置 ID。

2. 运行模型 (训练与回测)

找到理想的超参数组合后（假设 ID 为 10），进行正式训练和回测：

第一步：训练模型

python run.py --id 10 --name test_run

• --id: 指定从 hypersearch 中发现的最佳配置 ID。若不填则使用默认硬编码参数。
• --name: 指定保存模型的文件夹名称。
• 提示：训练中可按 Ctrl-C 一次以提前停止，防止过拟合。

第二步：模拟实盘回测 (Dry Run) 在真正实盘前，务必先进行“模拟实盘”测试：

python run.py --id 10 --name test_run --test-live

• 该模式会读取实时更新的数据库，模拟交易行为并报告盈亏，但不会实际下单。

第三步：实盘交易 (高风险，慎用)

python run.py --id 10 --name test_run --live

• 警告：此模式将连接交易所（如 GDAX/Coinbase Pro）进行真实资金交易。作者不对任何资金损失负责。请务必先充分测试 --test-live。

3. 可视化结果

项目提供基于 Flask + D3 + React 的自定义仪表盘，用于分析超参数效果和交易信号。

启动后端服务：

cd visualize
FLASK_APP=server.py flask run

启动前端界面：

cd visualize/client
npm install
npm install -g webpack-dev-server
npm start

访问 http://localhost:8080 即可查看图表。你可以点击具体的运行记录，查看代理在特定时间片段的买卖信号决策图。