概述

X-DeepLearning（简称XDL）是一套面向高维稀疏数据场景（如广告、推荐、搜索等）深度优化的完整解决方案。XDL 1.2版本已于近期发布，主要特性包括：

• 针对大batch/低并发场景的性能优化：在此类场景下性能提升50-100%
• 存储及通信优化：参数无需人工干预自动全局分配，请求合并，彻底消除ps的计算/存储/通信热点
• 完整的流式训练特性：包括特征准入，特征淘汰，模型增量导出，特征counting统计等
• 修复了若干1.0中的小bugs

完整介绍请参考XDL 1.2 release note

1. XDL训练引擎

• 编译安装
• 快速开始
• 使用指南

2. XDL算法解决方案

• 快速开始

3. Blaze预估引擎

• 快速开始

4. 深度树匹配模型 TDM 匹配召回引擎

• 快速开始

联系我们

• 欢迎通过issue和邮件组(xdl-opensource@list.alibaba-inc.com )联系我们
• 我们正在寻求合作伙伴，有志于获得XDL企业级支持计划的公司或团队，可以联系xdl-partner@list.alibaba-inc.com，与我们进一步商谈。

FAQ

常见问题

License

XDL使用Apache-2.0许可

致谢

XDL项目由阿里妈妈事业部荣誉出品，核心贡献团队包括阿里妈妈工程平台、算法平台、定向广告技术团队、搜索广告技术团队等，同时XDL项目也得到了阿里巴巴计算平台事业部（特别是PAI团队）的帮助。

X-DeepLearning (XDL) 快速上手指南

X-DeepLearning（简称 XDL）是阿里巴巴开源的面向高维稀疏数据场景（如广告、推荐、搜索）的深度优化解决方案。本指南将帮助您快速完成环境搭建并运行第一个训练任务。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 16.04/18.04 或 CentOS 7+)
• 编译器：GCC 5.4+ 或更高版本
• 构建工具：CMake 3.10+
• 依赖库：
  • Python 2.7 或 3.6+
  • TensorFlow (如需使用 TF 接口)
  • Protobuf
  • Glog, Gflags
• 硬件建议：多核 CPU 环境，若需 GPU 加速请确保已安装对应的 CUDA 和 cuDNN。

提示：国内用户建议在配置 pip 或 apt/yum 源时切换至阿里云镜像，以加快依赖下载速度。

2. 安装步骤

XDL 支持源码编译安装。以下是基于 Linux 环境的标准编译流程：

2.1 克隆代码仓库

git clone https://github.com/alibaba/x-deeplearning.git
cd x-deeplearning

2.2 编译与安装

进入项目根目录，创建构建目录并执行编译：

mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
make install

注：若需特定功能（如 TensorFlow 插件支持），请在 cmake 阶段添加相应参数，具体可参考官方编译文档。

2.3 验证安装

编译完成后，确保相关动态库已加入 LD_LIBRARY_PATH，Python 模块已加入 PYTHONPATH：

export LD_LIBRARY_PATH=$PWD/install/lib:$LD_LIBRARY_PATH
export PYTHONPATH=$PWD/install/python:$PYTHONPATH

3. 基本使用

以下是一个最简单的 XDL 训练脚本示例，展示如何定义模型并启动训练。

3.1 编写训练脚本 (train.py)

import xdl

# 初始化训练环境
xdl.DistributedEnv()

# 定义输入数据
fs = xdl.FS()
reader = fs.Reader(file_pattern="hdfs://path/to/data/*", batch_size=1024)
features = reader.read(['feature_id'], ['float'])
labels = reader.read(['label'], ['float'])

# 构建简单模型
emb = xdl.Embedding('emb_table', 16, 128)
emb_vec = emb(features[0])
logits = xdl.FullyConnected(emb_vec, 1, name='fc')

# 定义损失与优化器
loss = xdl.loss.sigmoid_cross_entropy(logits, labels[0])
optimizer = xdl.optimizer.Adam(lr=0.01)
train_op = optimizer.minimize(loss)

# 启动训练会话
session = xdl.Session()
session.run(train_op, feed_dict={})
print("Training started...")

3.2 运行训练

在终端中执行脚本：

python train.py

若进行分布式训练，需配合 XDL 的调度系统或使用 mpirun 等工具启动多个 Worker 节点。

---

更多高级特性（如流式训练、特征淘汰、Blaze 预估引擎等）请参考官方 Wiki 文档。