深度交易智能体

基于深度强化学习的比特币交易智能体，采用 DeepSense 网络进行 Q 函数近似。


有关数据集、预处理、网络架构及实现的完整细节，请参阅本仓库的 Wiki。

需求

• Python 2.7
• TensorFlow
• Pandas（用于比特币价格序列的预处理）
• tqdm（用于显示训练进度）
  

如需搭建包含所有依赖项的 Ubuntu 虚拟机以运行代码，请参考 assets/vm。

使用 Docker 运行

直接从 Docker Hub 拉取预构建的 Docker 镜像并运行：

docker pull samre12/deep-trading-agent:latest
docker run -p 6006:6006 -it samre12/deep-trading-agent:latest

或者

在本地构建 Docker 镜像并运行：

docker build -t deep-trading-agent .
docker run -p 6006:6006 -it deep-trading-agent

这将为训练智能体设置环境，并完成以下操作：

• 将当前目录挂载到容器内的 /deep-trading-agent
• 在镜像构建过程中，会从交易所拉取最新的交易历史并采样，生成每分钟尺度的比特币价格数据集，该数据集位于 /deep-trading-agent/data/btc.csv
• 要启动智能体的训练，需在配置文件中指定合适的参数（示例配置文件位于 /deep-trading-agent/code/config/config.cfg），然后使用 /deep-trading-agent/code/main.py 运行代码。
• 训练支持通过 TensorBoard 进行日志记录和监控。
• 容器内已安装 vim 和 screen，以便编辑配置文件和运行 tensorboard。
• 将容器的端口 6006 绑定到宿主机的 6006，以便使用 TensorBoard 监控训练过程。

支持

请为本仓库点赞 :star:，以支持该项目 :smile:。

待办事项

Docker 支持

• 添加 Docker 支持，以便快速简便地开始项目。

提升模型性能

• 从 Preprocessor 中提取给定时间区间内的最高价、最低价以及比特币成交量。
• 将收盘价、最高价、最低价及成交量作为模型的输入通道（移除仅基于收盘价计算的特征）。
• 使用前一时间步的价格对价格张量进行归一化。
• 为了更完整的状态表示，将剩余的交易次数输入模型。
• 使用独立的价格差分块来计算未实现盈亏。
• 使用 指数衰减加权的未实现盈亏 作为奖励函数，以纳入当前投资状态并稳定智能体的学习。

交易模型

灵感来源于 Deep Q-Trading，其中他们解决了一个针对单一资产的简化交易问题。
对于每个交易单位，只允许三种动作：中性（1）、做多（2）和做空（3），奖励取决于智能体的当前持仓。深度 Q 学习智能体被训练以最大化累计奖励。
当前的 Deep Q-Trading 模型通过使用 Deep Sense 架构来近似 Q 函数 进行了改进。

数据集

每分钟比特币价格序列是通过修改 this 仓库中提到的方法获得的。从 Coinbase 交易所抽取交易数据，生成比特币价格序列。
请参阅 assets/dataset 下载数据集。

预处理

基础预处理
完全忽略缺失值并将它们从数据集中移除，同时利用价格的时间戳将连续值分组。
所有时间戳数量少于智能体状态 历史长度 与 视野 之和的分组都将被过滤掉，因为这些分组无法用于训练智能体。
在当前实现中，过去 3 小时（180 分钟）的每分钟比特币价格被用来生成智能体的当前状态表示。
根据现有数据集（截至撰写时），预处理过程中生成的日志如下：

INFO:root:找到的连续价格分组数为 58863
INFO:root:从数据集中获取的可用分组数为 887
INFO:root:当前配置下的不同 episode 数为 558471

高级预处理
处理缺失值，并将较小的分组拼接起来，以增加连续价格分组的大小。
文献中常用的标准方法是在不显著影响模型性能的情况下，使用无衰减的指数填充来填补缺失值。
(待实现)

实现

采用 TensorFlow “1.1.0” 版本实现 Deep Sense 网络。

Deep Sense

实现改编自 this 的 GitHub 仓库，并对网络架构进行了一些简化，以便适应单一时序的比特币数据学习。

Deep Q Trading

实现和预处理受到这篇 Medium 文章 的启发。实际的 Deep Q Network 实现则改编自 DQN-tensorflow。

Deep Trading Agent 快速上手指南

Deep Trading Agent 是一个基于深度强化学习（Deep Reinforcement Learning）的比特币交易代理。该项目使用 DeepSense 网络架构来近似 Q 函数，旨在通过历史价格数据训练智能体执行买入（Long）、卖出（Short）或观望（Neutral）操作以最大化累积奖励。

环境准备

在开始之前，请确保您的系统满足以下要求。由于项目基于较早期的技术栈，请注意版本兼容性。

系统要求

• 操作系统: Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL 或 Docker。
• Python 版本: Python 2.7 (注意：该项目尚未迁移至 Python 3)。

前置依赖

如果您选择本地安装而非使用 Docker，需要手动安装以下库：

• TensorFlow (版本 1.1.0)
• Pandas (用于比特币价格序列预处理)
• tqdm (用于显示训练进度)

提示: 考虑到 Python 2.7 和环境配置的复杂性，强烈推荐使用 Docker 方式运行，这是最快捷且无依赖冲突的方案。

---

安装步骤

本项目提供两种安装方式：直接使用预构建的 Docker 镜像（推荐）或本地源码构建。

方案一：使用 Docker（推荐）

这是最简单的方式，无需手动配置 Python 环境和依赖库。

1. 拉取镜像并运行 直接从 Docker Hub 拉取最新镜像并启动容器：

   docker pull samre12/deep-trading-agent:latest
   docker run -p 6006:6006 -it samre12/deep-trading-agent:latest
   

2. 或者：本地构建镜像 如果您希望基于当前代码构建镜像：

   docker build -t deep-trading-agent .
   docker run -p 6006:6006 -it deep-trading-agent
   

容器内环境说明：

• 当前目录已挂载到容器内的 /deep-trading-agent。
• 镜像构建时会自动从交易所拉取最新的交易历史，并采样生成分钟级的比特币价格数据集 (/deep-trading-agent/data/btc.csv)。
• 容器内已预装 vim 和 screen，方便编辑配置文件和管理后台进程。
• 端口 6006 已映射，可用于通过宿主机的浏览器访问 TensorBoard 监控训练。

方案二：本地环境安装（仅限高级用户）

如果您必须在本地运行，请确保已安装 Python 2.7，然后安装依赖：

pip install tensorflow==1.1.0 pandas tqdm

注：由于 TensorFlow 1.x 在较新系统上安装困难，此方案可能遇到兼容性问题。

---

基本使用

安装完成后，按照以下步骤启动训练。

1. 配置训练参数

在容器内（或本地项目根目录），编辑配置文件以设定超参数。示例配置文件位于： /deep-trading-agent/code/config/config.cfg

您可以使用 vim 进行修改：

vim /deep-trading-agent/code/config/config.cfg

主要配置项包括历史长度（默认过去 3 小时/180 分钟）、学习率、批次大小等。

2. 启动训练

运行主程序开始训练代理：

python /deep-trading-agent/code/main.py

程序将执行以下流程：

• 读取预处理好的比特币分钟级数据。
• 构建状态表示（包含收盘价、最高价、最低价及交易量）。
• 利用 Deep Q-Learning 算法进行训练，最大化累积奖励。

3. 监控训练过程

训练支持通过 TensorBoard 进行可视化监控。

在容器内的另一个终端窗口（或使用 screen 新建会话）运行：

tensorboard --logdir=/path/to/logs --host=0.0.0.0

(注：具体 log 路径请在 config.cfg 中确认)

然后在宿主机的浏览器中访问： http://localhost:6006

您将看到损失函数变化、奖励趋势等实时图表。

---

数据来源说明： 默认数据集是通过采样 Coinbase 交易所的交易记录生成的分钟级比特币价格序列。如需更换数据集或了解详细的预处理逻辑（如缺失值处理），请参考项目 Wiki 或 assets/dataset 目录。