加密货币深度强化学习工具包（Deep Reinforcement Learning Toolkit for Cryptocurrencies）

目录：

1. 目的
2. 范围
3. 依赖项
4. 项目结构
5. 设计模式
6. 快速入门
7. 引用本项目
8. 附录

1. 目的

本应用旨在提供一个工具包，用于：

• 记录（Record） 来自两个交易所（Coinbase Pro 和 Bitfinex）的完整限价订单簿（Limit Order Book）和逐笔交易（trade tick）数据，并将其存入 Arctic Tickstore 数据库（即 MongoDB）中；
• 回放（Replay） 已记录的历史数据，以生成用于训练的特征集；
• 训练（Train） 使用 DQN（Deep Q-Network，深度 Q 网络）算法进行加密货币交易的智能体（agent）（注意：此智能体实现仅作为用户参考的示例）。

2. 范围

• 仅限研究用途：本项目不具备在交易所进行实盘交易的能力。
• 复现强化学习论文结果：这篇 文章所使用的数据集已在 Kaggle Datasets 上公开。

3. 依赖项

详见 requirements.txt

注意：为了运行和训练 DQN 智能体（./agent/dqn.py），需手动安装 tensorflow 和 Keras-RL，它们未包含在 requirements.txt 中，以确保本项目与其他开源强化学习平台（例如 OpenAI Baselines）兼容。

请使用 pip 安装以下依赖：

git+https://github.com/manahl/arctic.git

Keras==2.2.4
Keras-Applications==1.0.7
Keras-Preprocessing==1.0.9
keras-rl==0.4.2

tensorboard==1.13.1
tensorflow-estimator==1.13.0
tensorflow-gpu==1.13.1

4. 项目结构

本项目的关键组成部分及其简要说明如下：

crypto-rl/
	agent/
				...强化学习算法实现
	data_recorder/
				...用于连接、下载和检索限价订单簿数据的工具
	gym_trading/
				...扩展的 openai.gym 环境，用于观察限价订单簿数据
	indicators/
				...以 O(1) 时间复杂度实现的技术指标
	design-patterns/
				...模块架构的可视化图表
	venv/
				...用于本地部署的虚拟环境
	experiment.py          # 运行强化学习实验的入口点
	recorder.py            # 开始记录限价订单簿数据的入口点
	configurations.py      # 项目中使用的常量
	requirements.txt       # 项目依赖列表
	setup.py               # 执行命令 `python3 setup.py install` 
	                       #    以安装扩展的 gym 环境（即 gym_trading.py）

5. 设计模式

各模块的设计模式规范请参阅以下文档：

• 限价订单簿、数据记录器与数据库
• 平稳订单簿特征（Stationary LOB Features）
• 部分可观测马尔可夫决策过程（POMDP）环境
• 学习算法与神经网络

限价订单簿层级的示例快照：

订单到达流指标的示例快照：

6. 快速入门

在本地机器上安装本项目：

# 从 GitHub 克隆项目
git clone https://github.com/sadighian/crypto-rl.git
cd crypto-rl

# 为项目依赖创建虚拟环境
python3 -m venv ./venv

# 激活虚拟环境
source venv/bin/activate

# 安装 keras-rl 依赖
pip3 install Keras==2.2.4 Keras-Applications==1.0.7 Keras-Preprocessing==1.0.9 keras-rl==0.4.2
 tensorboard==1.13.1 tensorflow-estimator==1.13.0 tensorflow-gpu==1.13.1
 
# 安装数据库依赖
pip3 install git+https://github.com/manahl/arctic.git

# 安装本项目
pip3 install -e .

6.1 从交易所记录限价订单簿数据

步骤 1：
打开 configurations.py 文件，定义你希望订阅并记录的加密货币。

注意：篮子（basket）列表格式如下：[(Coinbase_Instrument_Name, Bitfinex_Instrument_Name), ...]

SNAPSHOT_RATE = 5  # 即每 5 秒记录一次
BASKET = [('BTC-USD', 'tBTCUSD'),
         ('ETH-USD', 'tETHUSD'),
         ('LTC-USD', 'tLTCUSD'),
         ('BCH-USD', 'tBCHUSD'),
         ('ETC-USD', 'tETCUSD')]
RECORD_DATA = True

步骤 2：
打开命令行终端，执行以下命令开始记录完整的限价订单簿和交易数据：

python3 recorder.py

6.2 回放已记录数据以导出平稳特征集

步骤 1：
确保你的数据库中已有数据。

可通过 MongoDB shell 或 Compass 进行检查。若无数据，请参考上方 6.1 从交易所记录限价订单簿数据 部分。

步骤 2：
运行历史数据模拟，对限价订单簿进行快照，并将其平稳特征导出为压缩的 CSV 文件。

你可以利用 data_recorder/tests/ 中的测试用例，或自行编写逻辑。若使用测试用例方法，请确保修改查询参数，使其与你实际记录并存储在数据库中的数据相匹配。

导出特征至压缩 CSV 的示例命令：

python3 data_recorder/tests/test_extract_features.py

6.3 训练智能体

步骤 1：
确保 data_recorder/database/data_exports/ 文件夹中已有数据。
智能体将从此处加载数据。若该文件夹中无数据，请参考上方 6.2 回放已记录数据以导出平稳特征集 部分。

步骤 2：
打开命令行终端，开始学习/训练智能体：

python3 experiment.py --window_size=50 --weights=False --fitting_file=...

所有可用的关键字参数请参阅 experiment.py 文件。

7. 引用本项目

若在研究中使用本项目，请务必引用：

    @misc{Crypto-RL,
        author = {Jonathan Sadighian},
        title = {Deep Reinforcement Learning Toolkit for Cryptocurrencies},
        year = {2019},
        publisher = {GitHub},
        journal = {GitHub repository},
        howpublished = {\url{https://github.com/sadighian/crypto-rl}},
    }

8. 附录

8.1 分支（Branches）

本项目包含多个分支，每个分支采用不同的数据持久化实现模式：

• FULL 分支旨在作为全自动交易系统的基础（即，实现了适用于需要并行处理的交易系统的设计模式），并将流式 tick 数据持久化到 Arctic Tick Store（Arctic Tick 存储）中。

注意：以下分支（即 lightweight、order book snapshot、mongo integration）自 2018 年 10 月起已不再积极维护，仅作参考之用。

• LIGHT WEIGHT 分支旨在比 full 分支更高效地记录流式数据（即，所有 WebSocket 连接均由单个进程建立，且 不维护限价订单簿（limit order book）），并将流式 tick 数据持久化到 Arctic tick store 中。
• ORDER BOOK SNAPSHOT 分支与 full 分支采用相同的设计模式，但不记录流式 tick 数据，而是每隔 N 秒对限价订单簿进行一次快照，并将快照持久化到 Arctic tick store 中。
• MONGO INTEGRATION 分支的实现与 ORDER BOOK SNAPSHOT 相同，不同之处在于使用标准的 MongoDB 而非 Arctic。该分支最初用于对 Arctic 的性能进行基准测试，且未与 FULL 分支保持同步更新。

8.2 前提假设（Assumptions）

• 你已安装虚拟环境（virtual environment）并将项目安装到该虚拟环境中（例如：pip3 install -e .）
• 你已安装 MongoDB
• 你知道如何使用命令行界面（CLI）启动 Python 脚本
• 你正在运行 Ubuntu 18 或更高版本的操作系统

8.3 更新日志（Change Log）

• 2021-09-25：更新了 requirements.txt：今后数据库需通过 pip install git+https://github.com/manahl/arctic.git 手动安装
• 2019-12-12：添加了文档字符串（docstrings），并对多个类进行了重构以提升代码可读性
• 2019-09-18：对 env（环境）和 broker（经纪商）进行了简化重构，并增加了不同的 reward（奖励）方法
• 2019-09-13：创建并实现了“订单到达”流指标（'order arrival' flow metrics），灵感来源于 Xu, Ke; Gould, Martin D.; Howison, Sam D. 的论文 Multi-Level Order-Flow Imbalance in a Limit Order Book
• 2019-09-06：创建并实现了 Indicator.py 基类
• 2019-04-28：为简化结构而重新组织了项目架构

crypto-rl 快速上手指南

环境准备

• 操作系统：推荐 Ubuntu 18.04 或更高版本（其他 Linux 发行版或 macOS 可能兼容，但未官方测试）
• 前置依赖：
  • Python 3.6+
  • MongoDB（用于 Arctic 数据库存储）
  • 虚拟环境支持（python3-venv）

💡 建议使用国内 PyPI 镜像源（如清华源）加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

# 克隆项目
git clone https://github.com/sadighian/crypto-rl.git
cd crypto-rl

# 创建并激活虚拟环境
python3 -m venv ./venv
source venv/bin/activate

# 安装核心依赖（推荐使用国内镜像）
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple \
  Keras==2.2.4 Keras-Applications==1.0.7 Keras-Preprocessing==1.0.9 \
  keras-rl==0.4.2 tensorboard==1.13.1 tensorflow-estimator==1.13.0 tensorflow-gpu==1.13.1

# 安装 Arctic 数据库支持
pip3 install git+https://github.com/manahl/arctic.git

# 安装本项目（以可编辑模式）
pip3 install -e .

⚠️ 注意：TensorFlow 1.13 版本较旧，若使用较新 GPU 驱动可能需降级 CUDA/cuDNN，或改用 CPU 版本 tensorflow==1.13.1。

基本使用

1. 录制行情数据

编辑 configurations.py，设置要录制的交易对（示例已包含 BTC、ETH 等）：

BASKET = [('BTC-USD', 'tBTCUSD'),
         ('ETH-USD', 'tETHUSD')]
SNAPSHOT_RATE = 5  # 每5秒快照一次
RECORD_DATA = True

启动录制：

python3 recorder.py

📌 首次运行前请确保 MongoDB 服务已启动。

2. 导出特征数据

从数据库中提取限价订单簿（LOB）特征并保存为压缩 CSV：

python3 data_recorder/tests/test_extract_features.py

生成的文件将位于 data_recorder/database/data_exports/ 目录。

3. 训练 DQN 智能体

使用导出的特征数据训练强化学习智能体：

python3 experiment.py --window_size=50 --weights=False --fitting_file="your_exported_file.csv.gz"

更多参数请参考 experiment.py 中的命令行选项。