LightCTR 概述

LightCTR 是一个轻量级且可扩展的框架，结合了主流的点击率预测算法，基于 计算有向无环图、参数服务器理念和 Ring-AllReduce 集体通信。该库适用于稀疏数据，并专为大规模分布式模型训练而设计。

同时，LightCTR 也是一项面向代码阅读者的 正在进行中的实验性研究 和开源项目。其清晰的执行逻辑对于机器学习相关领域的学习者具有重要意义。

功能特性

• 基于参数服务器和 Ring-AllReduce 集体通信的分布式训练
• 自动求导计算的有向无环图（DAG）
• 梯度裁剪、过时同步并行（SSP）以及带有延迟补偿的异步 SGD
• 使用半精度和量化技术（PQ 或 Int8）压缩神经网络
• 共享参数键值对通过 DHT 存储在共享内存中的物理节点上
• 无锁多线程训练和 SIMD 操作
• 支持小批量梯度下降、Adagrad、FTRL、Adam 等优化器

已实现算法列表

• Wide & Deep 模型
• 因子分解机、领域感知因子分解机、神经网络因子分解机
• 梯度提升树模型
• 高斯混合聚类模型
• 主题模型 PLSA、嵌入模型
• Ngram 卷积神经网络、自注意力循环神经网络
• 变分自编码器
• 近似最近邻检索

基准测试

高性能

可扩展性

介绍 (zh)

用于群体发现

点击率预估即是给合适的用户群体投放合适的内容，以达成促进广告收益或交易转化率的目的。具体操作来说，将收集到的用户点击与行为数据，用离散值与连续值结构化描述特征、归一化与De-bias等处理后，选择合适的模型拟合流量的数据分布，来对用户是否会对某一内容感兴趣并带来商业转化的概率进行评估；通常可将所有特征组合输入集成树模型LightCTR::GBM预先找群体，训练得到的每个叶子节点代表一个用户群，再使用LightCTR::LR或LightCTR::MLP对树模型建立的低维0/1群体特征做进一步分类。 当标识类别的离散特征过多使得输入变得高维稀疏，可能达到树模型与神经网络的处理瓶颈；一般可使用LightCTR::FM或LightCTR::FFM将离散特征做特征交叉训练，提升了特征利用率并降低了数据稀疏下的过拟合的风险，每维特征映射在低维空间中，也方便作为连续特征输入其他模型。 相比使用FM预训练特征低维映射后、再输入DNN中的两阶段训练，通过DNN在输入层按Field内部局部连接，在输入层直接端到端训练特征低维Embedding，可以更好的保证模型时效性；或采用将DNN嵌入FM模型中的LightCTR::NFM及其他相关变种，进行特征非线性高维组合，提升模型的表征能力，拥有更好的AUC表现。

用于行为序列

用户点击内容序列往往蕴含内容间的局部相关性信息，如前后点击同一类商品或查看同一类网页，这些行为序列的局部关系可被LightCTR::Embedding建模捕获，得到点击内容或行为的低维隐向量表示；或基于变分自编码器LightCTR::VAE实现特征组合衍生，增强低维特征的表达能力；低维隐向量可被用来判断相关性或直接作为其他模型输入。进一步，序列数据经过平滑处理后，将训练好的行为隐向量按时序输入循环神经网络LightCTR::LSTMUnit，最后将RNN输出的特征表达输入LightCTR::Softmax分类器，利用预设的监督标签，训练对用户的评估模型或判别模型； 当预设标签覆盖率不足时，可将高维特征表达输入LightCTR::GMM进行无监督聚类，聚类簇概括为意图簇，作为用户意图匹配的依据，补充到用户画像的人群类别中。

用于内容分析

用户评论、搜索广告页面上下文等文本也蕴含很多用户的兴趣信息可被挖掘，如搜索广告场景下用户关键词需要匹配语义相关度最高的拍卖词进而投放高转化率的广告，因此分析文本信息是点击率预估的重要依据。在提取整段文本语义信息方面，首先可使用LightCTR::Embedding预先训练词向量表，对文本中出现的词按词频做词向量加权并移除主成分；或参考Skip-thought方法结合负例采样，将文本中每个词向量按时序输入LightCTR::LSTMUnit，训练得到文本的语义特征表达，向量内积对应文本相关度。此外，参考DSSM将由文本词向量构成的矩阵，输入Ngram卷积神经网络LightCTR::CNN用于提取句子局部语义相关性特征，并结合正负样本训练对预设标签的Pairwise判别模型。 当文本缺乏分类标签时，可使用LightCTR::PLSA无监督的获取文章主题分布，应用于按主题分布区分不同内容类别、计算长语料与短查询间的语义相似度，也可通过后验计算得到上下文中各词汇的重要程度，作为长文本关键词摘要。

分层模型融合

更复杂的模型带来更好的表征能力，但同时也加大了计算时间消耗，而响应时间与点击率呈强负相关，因此为了兼顾线上点击率预估的性能与效果，可使用不同模型逐层预测，如第一层采用在线学习、并引入稀疏解的简单模型LightCTR::FTRL_LR，第二层采用上文提到的输入层局部连接的LightCTR::MLP、或LightCTR::NFM等复杂模型进行精细预测。在系统层面，抽取并缓存DNN模型中最后一组全连接层权值或输出，作为用户或商品的固定表达，使用LightCTR::ANN近邻向量检索的TopN结果作为推荐召回，在最大化CTR/ROI的同时，降低线上推理的平均响应时间。此外，LightCTR在探索通过模型参数分位点压缩、二值网络等方法，在不损失预测精度前提下大幅提升计算效率。

多机多线程并行计算

LightCTR使用SIMD向量化指令、流水线并行、多核心多线程计算、Cache-aware等多重优化手段实现单机高性能数值计算，但当模型参数量超过单机内存容量、或单机训练效率达不到时效性要求时，LightCTR进一步提供了基于参数服务器与Ring-AllReduce的可扩展模型集群训练方案。

• 参数服务器模式下，集群分为Master, ParamServer与Worker三种角色；一个集群有一个Master负责集群启动与运行状态的维护，大规模模型稀疏与稠密Tensor参数以DHT散布在多个ParamServer上，与多个负责模型数据并行梯度运算的Worker协同，每轮训练都先从ParamServer拉取(Pull)一个样本Batch的参数，运算得到的参数梯度推送(Push)到ParamServer进行梯度汇总。ParamServer通过梯度TopK截断、延迟梯度补偿等手段，异步无锁、半同步的更新参数。参数在ParamServer上紧凑存储，按特征命中率进行优选与淘汰；使用变长编码/半精度/Int8的方式压缩梯度传输量，并用Batch化参数请求与读写分离的方法提升网络同步效率。
• 环拓扑Ring-AllReduce模式下，LightCTR在不引入协调节点下实现集群训练进度的动态自平衡，结合梯度融合机制，实现了高效、高稳定性的去中心化梯度同步，适合稠密参数模型的可扩展训练；在这种模式下每个节点存储全量模型可单独提供推理预测能力，训练过程通过有限次迭代获取其他节点梯度结果，在一定集群规模与合适的Batch size、学习率设置下可实现训练任务的线性加速比。
• LightCTR分布式集群采取心跳监控、消息重传等Failover容错方式。此外，LightCTR也在探索RDMA、DPDK、多网卡等网络优化方式来降低网络通信延时。

快速入门

• LightCTR 仅依赖 C++11 和 ZeroMQ，设计轻量且模块化。
• 使用简单，只需在 main.cpp 中更改配置（例如学习率、数据源）。
• 运行 ./build.sh 以在参数服务器模式下启动训练任务，或运行 ./build_ring.sh 以在 Ring-AllReduce 模式下启动训练任务。
• 当前 CI 状态： 在 Ubuntu 和 MacOS 上。

欢迎贡献

• 欢迎所有对机器学习与可扩展系统交叉领域感兴趣的人士参与代码贡献、创建问题或提交拉取请求。
• LightCTR 根据 Apache 许可证第 2.0 版发布。

免责声明

• 请注意，LightCTR 仍在开发中，不提供任何关于其适用性或可用性的保证。

LightCTR 快速上手指南

LightCTR 是一个轻量级、可扩展的点击率（CTR）预估框架，专为大规模稀疏数据分布式训练设计。它结合了参数服务器（Parameter Server）和环状全归约（Ring-AllReduce）通信机制，支持多种主流深度学习与机器学习算法。

环境准备

系统要求

• 操作系统: Ubuntu 或 macOS (CI 测试通过)
• 编译器: 支持 C++11 标准的编译器 (如 GCC, Clang)

前置依赖

LightCTR 设计极简，仅依赖以下核心库：

• C++11: 标准库支持
• ZeroMQ: 用于分布式通信

国内加速建议： 在 Ubuntu 系统上，推荐使用国内镜像源安装依赖，以提升下载速度：

# 以 Ubuntu 为例，替换为阿里云或清华源后安装
sudo apt-get update
sudo apt-get install libzmq3-dev build-essential

安装步骤

LightCTR 采用模块化设计，无需复杂的安装过程，只需克隆代码并执行构建脚本即可。

1. 克隆项目代码

   git clone https://github.com/cnkuangshi/LightCTR.git
   cd LightCTR
   

2. 配置模型参数 在运行前，需根据需求修改 main.cpp 文件中的配置项（如学习率、数据源路径、模型类型等）。

   vim main.cpp
   # 修改对应的配置参数，例如：
   # config.learning_rate = 0.01;
   # config.data_source = "./data/sample.txt";
   

3. 编译构建 根据所需的分布式模式选择对应的构建脚本：

   • 参数服务器模式 (Parameter Server)：适合大规模稀疏参数模型。

     ./build.sh
     

   • 环状全归约模式 (Ring-AllReduce)：适合稠密参数模型及去中心化训练。

     ./build_ring.sh
     

基本使用

构建成功后，可直接运行生成的可执行文件启动训练任务。

1. 启动训练

默认情况下，编译后的程序将读取 main.cpp 中配置的参数并开始训练。

• PS 模式启动示例：

  ./light_ctr_ps
  

  (注：具体可执行文件名可能因编译输出而异，请查看当前目录下的生成文件)

• Ring 模式启动示例： 在多机环境下，需在各个节点分别运行编译后的程序，它们会自动通过 ZeroMQ 发现彼此并建立环形通信。

2. 典型应用场景

根据 main.cpp 中的配置，您可以轻松切换以下算法模型：

• 基础模型: LightCTR::LR (逻辑回归), LightCTR::FM (因子分解机), LightCTR::FFM (域感知因子分解机)
• 深度学习: LightCTR::MLP (多层感知机), LightCTR::NFM (神经因子分解机), LightCTR::LSTMUnit (序列建模)
• 其他算法: LightCTR::GBM (梯度提升树), LightCTR::VAE (变分自编码器), LightCTR::ANN (近似最近邻检索)

3. 分层融合示例

为了实现高性能在线预估，可在代码中配置分层策略：

1. 第一层使用 LightCTR::FTRL_LR 进行快速粗排。
2. 第二层使用 LightCTR::NFM 或 LightCTR::MLP 对粗排结果进行精排。
3. 利用 LightCTR::ANN 缓存向量表示，加速推荐召回。

注意：LightCTR 目前仍处于实验性研究阶段，适用于算法学习与大规模系统探索，生产环境使用前请充分验证其稳定性。