(中文版)

Angel 是一个基于参数服务器理念的高性能分布式机器学习与图计算平台。它针对腾讯的大数据场景进行了性能优化，具有广泛的适用性和稳定性，在处理高维模型方面展现出越来越明显的优势。Angel 由腾讯和北京大学联合开发，兼顾了工业界的高可用性与学术界的创新性。

以“模型为中心”的核心设计理念，Angel 将复杂模型的参数划分到多个参数服务器节点上，并通过高效的模型更新接口和函数，以及灵活的一致性同步模型，实现了多种机器学习算法和图算法。

Angel 使用 Java 和 Scala 开发，支持在 Yarn 上运行。借助 PS Service 抽象层，它还支持 Spark on Angel。目前，对图计算和深度学习框架的支持正在开发中，未来将会陆续发布。

我们欢迎所有对机器学习或图计算感兴趣的人士参与贡献代码、创建问题或提交拉取请求。更多详情请参阅 Angel 贡献指南。

Angel 简介

• 架构
• 代码框架
• 设计哲学
• Spark on Angel
  • 机器学习
  • 图计算

设计

• 模型分区器
• 同步控制器
• psFunc
• 核心 API

快速入门

• 快速入门示例

部署

• 编译指南
• 本地运行
• 在 Yarn 上运行
• 配置详解
• 资源配置指南

编程指南

• Spark on Angel 编程指南

算法

• Angel 还是 Spark on Angel？
• 算法参数说明
• Angel
  • 传统机器学习方法
    • 逻辑回归（LR）
    • 支持向量机（SVM）
    • 因子分解机（FM）
    • 线性回归
    • 鲁棒回归
    • Softmax 回归
    • KMeans
    • GBDT
    • LDA* (WarpLDA)
  • Spark on Angel
    • Angel Mllib
      • FM
      • DeepFM
      • DeepAndWide
      • DCN
      • XDeepFM
      • AttentionFM
      • PNN
      • FTRL
      • 逻辑回归（LR）
      • FTRLFM
      • GBDT
    • Angel Graph
      • PageRank
      • KCORE
      • H指数
      • 紧密度
      • 共同好友
      • 连通分量
      • 无向图三角形计数
      • Louvain
      • LPA
      • LINE
      • Word2Vec
      • GraphSage
      • GCN
      • DGI

社区

• 邮件列表：angel-tsc@lists.deeplearningfoundation.org
• Angel 在 Linux FD 上的主页：https://angelml.ai/
• 提交者与贡献者
• 参与 Angel 贡献
• 路线图

常见问题解答

• Angel 常见问题解答

论文

1. PaSca：可扩展范式下的图神经网络架构搜索系统。WWW，2022年
2. 图注意力多层感知机。KDD，2022年
3. 面向可扩展图学习的节点依赖局部平滑。NeurlPS，2021年
4. PSGraph：腾讯如何利用Spark训练超大规模图？。ICDE，2020年
5. DimBoost：将梯度提升决策树扩展到更高维度。SIGMOD，2018年
6. LDA*：一种鲁棒且可扩展的主题建模系统。VLDB，2017年
7. 异构感知的分布式参数服务器。SIGMOD，2017年
8. Angel：一种新型大规模机器学习系统。国家科学评论（NSR），2017年
9. TencentBoost：基于参数服务器的梯度提升树系统。ICDE，2017年

Angel 快速上手指南

Angel 是一个基于参数服务器（Parameter Server）理念的高性能分布式机器学习和图计算平台，由腾讯与北京大学联合开发。它专为处理高维模型和大规模数据设计，支持运行在 Yarn 上，并提供 Spark on Angel 编程接口。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 CentOS 7+ 或 Ubuntu 16.04+)
• Java: JDK 1.8 (必须)
• Scala: Scala 2.11 或 2.12 (根据您选择的 Spark 版本而定)
• 构建工具: Maven 3.3+
• 集群资源管理器: Hadoop Yarn (用于分布式部署)
• 可选: Spark 2.x 或 3.x (如果使用 Spark on Angel 模式)

注意: 请确保 JAVA_HOME 和 HADOOP_HOME 环境变量已正确配置。

2. 安装步骤

2.1 下载源码

您可以从 GitHub 直接下载最新稳定版源码，或使用国内镜像加速（如果可用）。以下以官方 Release 版本为例：

# 克隆仓库 (建议使用特定分支，如 branch-3.2.0)
git clone -b branch-3.2.0 https://github.com/Angel-ML/angel.git
cd angel

或者下载 ZIP 包：

wget https://github.com/Angel-ML/angel/archive/refs/heads/branch-3.2.0.zip
unzip branch-3.2.0.zip
cd angel-branch-3.2.0

2.2 编译构建

使用 Maven 进行编译。为了加快下载依赖的速度，建议配置阿里云 Maven 镜像。

配置阿里云镜像 (可选但推荐): 在 ~/.m2/settings.xml 中添加：

<mirrors>
  <mirror>
    <id>aliyunmaven</id>
    <mirrorOf>*</mirrorOf>
    <name>Aliyun Public Maven</name>
    <url>https://maven.aliyun.com/repository/public</url>
  </mirror>
</mirrors>

执行编译命令:

# 跳过测试以加快编译速度
mvn clean package -DskipTests

编译成功后，所需的 Jar 包将生成在 dist 或 target 目录下。

3. 基本使用 (Spark on Angel)

Angel 最常用的方式是结合 Spark 提交任务。以下是一个最简单的逻辑回归（LR）示例。

3.1 准备数据

确保您有一份 LIBSVM 格式的训练数据文件（例如 train_data.libsvm），并已上传至 HDFS。

3.2 提交任务

使用 spark-submit 命令提交任务。您需要指定 Angel 相关的 Jar 包和配置参数。

spark-submit \
  --master yarn-cluster \
  --class com.tencent.angel.ml.core.AngelDriver \
  --jars dist/angel-core-3.2.0.jar,dist/angel-ml-3.2.0.jar \
  --conf spark.driver.memory=2g \
  --conf spark.executor.memory=4g \
  --conf spark.executor.cores=2 \
  --conf spark.yarn.queue=default \
  --ps.num.ps=2 \
  --ps.num.worker=2 \
  --ps.model.file=hdfs:///path/to/output/model \
  --ps.train.data=hdfs:///path/to/train_data.libsvm \
  --ps.algorithm=lr \
  --ps.feature.num=10000 \
  --ps.num.class=2 \
  --ps.iteration.num=10

关键参数说明：

• --ps.num.ps: 参数服务器（PS）节点数量。
• --ps.num.worker: Worker 节点数量。
• --ps.algorithm: 指定算法类型（如 lr, fm, gbdt 等）。
• --ps.train.data: HDFS 上的训练数据路径。
• --ps.model.file: 模型输出保存路径。

3.3 验证结果

任务完成后，检查 HDFS 上指定的输出目录，确认模型文件是否生成成功。您可以在后续的预测任务中加载该模型。

---

更多高级算法配置和图计算示例，请参考官方文档中的 Algorithm 和 Programming Guide 部分。