CTR模型

基于纯 Spark MLlib 的点击率预测模型，不依赖任何第三方库。

已实现的模型

• 朴素贝叶斯
• 逻辑回归
• 因子分解机
• 随机森林
• 梯度提升决策树
• GBDT + LR
• 神经网络
• 内积神经网络 (IPNN)
• 外积神经网络 (OPNN)

使用方法

这是一个 Maven 项目。Spark 版本为 2.3.0，Scala 版本为 2.11。
通过 Maven 自动导入依赖后，您可以直接运行示例函数 (com.ggstar.example.ModelSelection) 来训练所有 CTR 模型，并获取各模型之间的指标对比结果。

有关 CTR 预测的相关论文

• [LR] 预测点击——估计新广告的点击率（微软，2007）
  
• [FFM] 面向领域的因子分解机用于点击率预测（Criteo，2016）
  
• [GBDT+LR] 从 Facebook 广告点击预测中获得的实际经验（Facebook，2014）
  
• [PS-PLM] 从大规模数据中学习分段线性模型用于广告点击预测（阿里巴巴，2017）
  
• [FTRL] 广告点击预测：来自一线的视角（谷歌，2013）
  
• [FM] 基于因子分解机的快速上下文感知推荐（UKON，2011）
  
• [DCN] 用于广告点击预测的深度与交叉网络（斯坦福大学，2017）
  
• [Deep Crossing] Deep Crossing——无需人工设计组合特征的全网规模建模（微软，2016）
  
• [PNN] 基于产品的神经网络用于用户响应预测（上海交通大学，2016）
  
• [DIN] 用于点击率预测的深度兴趣网络（阿里巴巴，2018）
  
• [ESMM] 全空间多任务模型——一种有效估算点击后转化率的方法（阿里巴巴，2018）
  
• [Wide & Deep] 用于推荐系统的 Wide & Deep 学习（谷歌，2016）
  
• [xDeepFM] xDeepFM——结合显式和隐式特征交互用于推荐系统（中国科学技术大学，2018）
  
• [图像 CTR] 图像很重要——利用高级模型服务器对用户行为进行可视化建模（阿里巴巴，2018）
  
• [AFM] 注意力因子分解机——通过注意力网络学习特征交互的权重（浙江大学，2017）
  
• [DIEN] 用于点击率预测的深度兴趣演化网络（阿里巴巴，2019）
  
• [DSSM] 利用点击数据学习用于网页搜索的深度结构化语义模型（伊利诺伊大学厄巴纳-香槟分校，2013）
  
• [FNN] 针对多字段分类数据的深度学习（伦敦大学学院，2016）
  
• [DeepFM] 基于因子分解机的神经网络用于点击率预测（哈尔滨工业大学-华为，2017）
  
• [NFM] 用于稀疏预测分析的神经因子分解机（新加坡国立大学，2017）
  

其他资源

• 计算广告相关论文
  
• 推荐系统相关论文
  

SparkCTR 快速上手指南

SparkCTR 是一个基于纯 Spark MLlib 实现的点击率（CTR）预测模型库，无需任何第三方依赖。它支持从传统的逻辑回归到深度的神经网络等多种主流 CTR 算法。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• JDK: Java 8 (推荐)
• Build Tool: Maven 3.x+
• Spark 版本: 2.3.0
• Scala 版本: 2.11

注意：本项目严格依赖 Spark 2.3.0 和 Scala 2.11，使用其他版本可能导致兼容性问题。

安装步骤

本项目是一个标准的 Maven 工程，无需手动下载 jar 包，只需配置依赖即可自动构建。

1. 克隆项目或引入依赖 如果您是将此工具作为依赖集成到自己的项目中，请在 pom.xml 中添加以下依赖（假设项目已发布到仓库，若为本地源码则直接导入项目）：

   <dependencies>
       <!-- 请根据实际发布的 groupId 和 artifactId 填写，此处以源码结构为例 -->
       <dependency>
           <groupId>com.ggstar</groupId>
           <artifactId>ctrmodel</artifactId>
           <version>1.0.0</version> 
       </dependency>
       
       <!-- Spark 核心依赖 (版本需严格匹配 2.3.0) -->
       <dependency>
           <groupId>org.apache.spark</groupId>
           <artifactId>spark-core_2.11</artifactId>
           <version>2.3.0</version>
       </dependency>
       <dependency>
           <groupId>org.apache.spark</groupId>
           <artifactId>spark-mllib_2.11</artifactId>
           <version>2.3.0</version>
       </dependency>
   </dependencies>
   

   国内加速建议：建议在 Maven 的 settings.xml 中配置阿里云镜像源以加快依赖下载速度：

   <mirror>
     <id>aliyunmaven</id>
     <mirrorOf>*</mirrorOf>
     <name>Aliyun Maven</name>
     <url>https://maven.aliyun.com/repository/public</url>
   </mirror>
   

2. 构建项目 在项目根目录下执行以下命令进行编译：

   mvn clean compile
   

基本使用

SparkCTR 提供了一个示例类，可以一键运行并训练所有支持的模型，同时输出各模型的性能指标对比。这是验证环境和理解用法的最佳起点。

运行示例代码：

直接运行 com.ggstar.example.ModelSelection 类：

mvn exec:java -Dexec.mainClass="com.ggstar.example.ModelSelection"

或者在 IDE（如 IntelliJ IDEA）中直接运行该类的 main 方法。

执行流程说明：

1. 程序会自动加载示例数据（或您配置的数据路径）。
2. 依次训练以下模型：
   • Naive Bayes (朴素贝叶斯)
   • Logistic Regression (逻辑回归)
   • Factorization Machine (因子分解机)
   • Random Forest (随机森林)
   • Gradient Boosted Decision Tree (GBDT)
   • GBDT + LR
   • Neural Network (神经网络)
   • IPNN / OPNN (内积/外积神经网络)
3. 控制台将打印各模型的评估指标（如 AUC、LogLoss 等），方便进行模型选型。

自定义开发： 参考 ModelSelection 源码，您可以实例化具体的模型类（如 FactorizationMachine），传入特征向量和标签 RDD，调用 fit 方法进行训练，并使用 transform 进行预测。