[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Angel-ML--angel":3,"tool-Angel-ML--angel":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":108,"forks":109,"last_commit_at":110,"license":111,"difficulty_score":112,"env_os":113,"env_gpu":114,"env_ram":115,"env_deps":116,"category_tags":121,"github_topics":122,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":131,"updated_at":132,"faqs":133,"releases":163},3519,"Angel-ML\u002Fangel","angel","A Flexible and Powerful Parameter Server for large-scale machine learning","Angel 是一款由腾讯与北京大学联合研发的高性能分布式机器学习与图计算平台。它基于参数服务器（Parameter Server）架构设计，专为处理海量数据和高维模型而打造，旨在解决传统框架在大规模场景下面临的训练效率低、资源调度难及模型扩展性不足等痛点。\n\nAngel 采用“以模型为中心”的设计理念，能够将复杂模型的参数智能切分并分布到多个节点上，通过高效的更新接口和灵活的同步机制，显著提升了大规模算法的训练速度与稳定性。其独特亮点在于深度集成了 Spark 生态，支持\"Spark on Angel\"模式，让用户能在熟悉的 Spark 环境中调用高性能的机器学习与图计算能力。此外，平台使用 Java 和 Scala 开发，原生支持 Yarn 资源调度，兼顾了工业级的高可用性与学术界的创新需求。\n\n这款工具非常适合需要处理亿级特征或超大规模图数据的算法工程师、数据科学家及研究人员使用。无论是构建推荐系统、进行大规模逻辑回归，还是执行复杂的图分析任务，Angel 都能提供坚实的技术支撑，帮助团队高效落地前沿人工智能应用。","![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngel-ML_angel_readme_fc46d1170398.png)\n\n[![license](http:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache2.0-brightgreen.svg?style=flat)](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.2.0\u002FLICENSE.TXT)\n[![Release Version](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Frelease-3.2.0-red.svg)](https:\u002F\u002Fgithub.com\u002Ftencent\u002Fangel\u002Freleases)\n[![PRs Welcome](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-welcome-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Ftencent\u002Fangel\u002Fpulls)\n[![Download Code](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdownload-zip-green.svg)](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Farchive\u002Frefs\u002Fheads\u002Fbranch-3.2.0.zip)\n\n[(ZH-CN Version)](.\u002FREADME_CN.md)\n\n**Angel** is a high-performance distributed machine learning and graph computing platform based on the philosophy of Parameter Server. It is tuned for performance with big data from Tencent and has a wide range of applicability and stability, demonstrating increasing advantage in handling higher dimension model. Angel is jointly developed by Tencent and Peking University, taking account of both high availability  in industry and innovation in academia.\n\nWith model-centered core design concept, **Angel** partitions parameters of complex models into multiple parameter-server nodes, and implements a variety of machine learning algorithms and graph algorithms using efficient model-updating interfaces and functions, as well as flexible consistency model for synchronization.\n\n**Angel** is developed with **Java** and **Scala**.  It supports running on **Yarn**. With **PS Service** abstraction, it supports **Spark on Angel**.  Graph computing and deep learning frameworks support is under development and will be released in the future.\n\nWe welcome everyone interested in machine learning or graph computing to contribute code, create issues or pull requests. Please refer to  [Angel Contribution Guide](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fblob\u002Fmaster\u002FCONTRIBUTING.md) for more detail.\n\n## Introduction to Angel\n\n* [Architecture](.\u002Fdocs\u002Foverview\u002Farchitecture_en.md)\n* [Code Framework](.\u002Fdocs\u002Foverview\u002Fcode_framework_en.md)\n* [Design](.\u002Fdocs\u002Foverview\u002Fdesign_philosophy_en.md)\n* [Spark on Angel](.\u002Fdocs\u002Foverview\u002Fspark_on_angel_en.md)\n  * [Machine Learning](.\u002Fdocs\u002Foverview\u002Fspark_on_angel_en.md)\n  * [Graph Computing](.\u002Fdocs\u002Foverview\u002Fangel_graph_sona_en.md)\n\n## Design\n\n- [Model Partitioner](.\u002Fdocs\u002Fdesign\u002Fmodel_partitioner_en.md)\n- [SyncController](.\u002Fdocs\u002Fdesign\u002Fsync_controller_en.md)\n- [psFunc](.\u002Fdocs\u002Fdesign\u002FpsfFunc_en.md)\n- [Core API](.\u002Fdocs\u002Fapis\u002Fcore_api_en.md)\n\n\n## Quick Start\n\n* [Quick Start Example](.\u002Fdocs\u002Ftutorials\u002Fspark_on_angel_quick_start_en.md)\n\n## Deployment\n\n* [Compilation Guide](.\u002Fdocs\u002Fdeploy\u002Fsource_compile_en.md)\n* [Running on Local](.\u002Fdocs\u002Fdeploy\u002Flocal_run_en.md)\n* [Running on Yarn](.\u002Fdocs\u002Fdeploy\u002Frun_on_yarn_en.md)\n* [Configuration Details](.\u002Fdocs\u002Fdeploy\u002Fconfig_details_en.md)\n* [Resource Configuration Guide](.\u002Fdocs\u002Fdeploy\u002Fresource_config_guide_en.md)\n\n## Programming Guide\n\n* [Spark on Angel Programming Guide](.\u002Fdocs\u002Fprogrammers_guide\u002Fspark_on_angel_programing_guide_en.md)\n\n## Algorithm\n\n- [**Angel or Spark On Angel？**](.\u002Fdocs\u002Falgo\u002Fangel_or_spark_on_angel.md)\n- [**Algorithm Parameter Description**](.\u002Fdocs\u002Falgo\u002Fmodel_config_details.md)\n- **Angel**\n  - **Traditional Machine Learning Methods**\n    - [Logistic Regression(LR)](.\u002Fdocs\u002Falgo\u002Flr_on_angel_en.md)\n    - [Support Vector Machine(SVM)](.\u002Fdocs\u002Falgo\u002Fsvm_on_angel_en.md)\n    - [Factorization Machine(FM)](.\u002Fdocs\u002Falgo\u002Ffm_on_angel.md)\n    - [Linear Regression](.\u002Fdocs\u002Falgo\u002Flinear_on_angel_en.md)\n    - [Robust Regression](.\u002Fdocs\u002Falgo\u002Frobust_on_angel_en.md)\n    - [Softmax Regression](.\u002Fdocs\u002Falgo\u002Fsoftmax_on_angel_en.md)\n    - [KMeans](.\u002Fdocs\u002Falgo\u002Fkmeans_on_angel_en.md)\n    - [GBDT](.\u002Fdocs\u002Falgo\u002Fgbdt_on_angel_en.md)\n    - [LDA\\*](.\u002Fdocs\u002Falgo\u002Flda_on_angel_en.md) ([WarpLDA](.\u002Fdocs\u002Falgo\u002Fwarp_lda_on_angel.md))\n- **Spark on Angel**\n  - **Angel Mllib**\n    - [FM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [DeepFM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [DeepAndWide](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [DCN](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [XDeepFM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [AttentionFM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [PNN](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n    - [FTRL](.\u002Fdocs\u002Falgo\u002Fftrl_lr_spark.md)\n    - [Logistic Regression(LR)](.\u002Fdocs\u002Falgo\u002Fsona\u002Flr_sona.md)\n    - [FTRLFM](.\u002Fdocs\u002Falgo\u002Fftrl_fm_spark_en.md)\n    - [GBDT](.\u002Fdocs\u002Falgo\u002Fsona\u002Ffeature_gbdt_sona.md)\n  - **Angel Graph**\n    - [PageRank](.\u002Fdocs\u002Falgo\u002Fsona\u002Fpagerank_on_sona_en.md)\n    - [KCORE](.\u002Fdocs\u002Falgo\u002Fsona\u002Fkcore_sona_en.md)\n    - [HIndex](.\u002Fdocs\u002Falgo\u002Fsona\u002Fhindex_sona_en.md)\n    - [Closeness](.\u002Fdocs\u002Falgo\u002Fsona\u002Fcloseness_sona_en.md)\n    - [CommonFriends](.\u002Fdocs\u002Falgo\u002Fsona\u002Fcommonfriends_sona_en.md)\n    - [ConnectedComponents](.\u002Fdocs\u002Falgo\u002Fsona\u002FCC_sona_en.md)\n    - [TriangleCountingUndirected](.\u002Fdocs\u002Falgo\u002Fsona\u002Ftriangle_count_undirected_en.md)\n    - [Louvain](.\u002Fdocs\u002Falgo\u002Fsona\u002Flouvain_sona_en.md)\n    - [LPA](.\u002Fdocs\u002Falgo\u002Fsona\u002FLPA_sona_en.md)\n    - [LINE](.\u002Fdocs\u002Falgo\u002Fsona\u002Fline_sona_en.md)\n    - [Word2Vec](.\u002Fdocs\u002Falgo\u002Fsona\u002Fword2vec_sona_en.md)\n    - [GraphSage](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Fgraph.md)\n    - [GCN](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Fgraph.md)\n    - [DGI](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Fgraph.md)\n\n## Community\n* Mailing list: angel-tsc@lists.deeplearningfoundation.org\n* Angel homepage in Linux FD: https:\u002F\u002Fangelml.ai\u002F\n* [Committers & Contributors](.\u002FCOMMITTERS.md)\n* [Contributing to Angel](.\u002FCONTRIBUTING.md)\n* [Roadmap](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fwiki\u002FRoadmap)\n\n## FAQ\n* [Angel FAQ](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fwiki\u002FAngel%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98)\n\n## Papers\n  1. [PaSca: A Graph Neural Architecture Search System under the Scalable Paradigm](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3485447.3511986). WWW, 2022\n  2. [Graph Attention Multi-Layer Perceptron](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3534678.3539121). KDD, 2022\n  3. [Node Dependent Local Smoothing for Scalable Graph Learning](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper\u002F2021\u002Ffile\u002Fa9eb812238f753132652ae09963a05e9-Paper.pdf). NeurlPS, 2021\n  4. [PSGraph: How Tencent trains extremely large-scale graphs with Spark?](https:\u002F\u002Fconferences.computer.org\u002Ficde\u002F2020\u002Fpdfs\u002FICDE2020-5acyuqhpJ6L9P042wmjY1p\u002F290300b549\u002F290300b549.pdf).ICDE, 2020.\n  5. [DimBoost: Boosting Gradient Boosting Decision Tree to Higher Dimensions](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=3196892). SIGMOD, 2018.\n  6. [LDA*: A Robust and Large-scale Topic Modeling System](http:\u002F\u002Fwww.vldb.org\u002Fpvldb\u002Fvol10\u002Fp1406-yu.pdf). VLDB, 2017\n  7. [Heterogeneity-aware Distributed Parameter Servers](http:\u002F\u002Fnet.pku.edu.cn\u002F~cuibin\u002FPapers\u002F2017%20sigmod.pdf). SIGMOD, 2017\n  8. [Angel: a new large-scale machine learning system](http:\u002F\u002Fnet.pku.edu.cn\u002F~cuibin\u002FPapers\u002F2017NSRangel.pdf). National Science Review (NSR), 2017\n  9. [TencentBoost: A Gradient Boosting Tree System with Parameter Server](http:\u002F\u002Fnet.pku.edu.cn\u002F~cuibin\u002FPapers\u002F2017%20ICDE%20boost.pdf).\tICDE, 2017\n","![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngel-ML_angel_readme_fc46d1170398.png)\n\n[![许可证](http:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache2.0-brightgreen.svg?style=flat)](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.2.0\u002FLICENSE.TXT)\n[![发布版本](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Frelease-3.2.0-red.svg)](https:\u002F\u002Fgithub.com\u002Ftencent\u002Fangel\u002Freleases)\n[![欢迎提交PR](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-welcome-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Ftencent\u002Fangel\u002Fpulls)\n[![下载代码](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdownload-zip-green.svg)](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Farchive\u002Frefs\u002Fheads\u002Fbranch-3.2.0.zip)\n\n[(中文版)](.\u002FREADME_CN.md)\n\n**Angel** 是一个基于参数服务器理念的高性能分布式机器学习与图计算平台。它针对腾讯的大数据场景进行了性能优化，具有广泛的适用性和稳定性，在处理高维模型方面展现出越来越明显的优势。Angel 由腾讯和北京大学联合开发，兼顾了工业界的高可用性与学术界的创新性。\n\n以“模型为中心”的核心设计理念，**Angel** 将复杂模型的参数划分到多个参数服务器节点上，并通过高效的模型更新接口和函数，以及灵活的一致性同步模型，实现了多种机器学习算法和图算法。\n\n**Angel** 使用 **Java** 和 **Scala** 开发，支持在 **Yarn** 上运行。借助 **PS Service** 抽象层，它还支持 **Spark on Angel**。目前，对图计算和深度学习框架的支持正在开发中，未来将会陆续发布。\n\n我们欢迎所有对机器学习或图计算感兴趣的人士参与贡献代码、创建问题或提交拉取请求。更多详情请参阅 [Angel 贡献指南](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fblob\u002Fmaster\u002FCONTRIBUTING.md)。\n\n## Angel 简介\n\n* [架构](.\u002Fdocs\u002Foverview\u002Farchitecture_en.md)\n* [代码框架](.\u002Fdocs\u002Foverview\u002Fcode_framework_en.md)\n* [设计哲学](.\u002Fdocs\u002Foverview\u002Fdesign_philosophy_en.md)\n* [Spark on Angel](.\u002Fdocs\u002Foverview\u002Fspark_on_angel_en.md)\n  * [机器学习](.\u002Fdocs\u002Foverview\u002Fspark_on_angel_en.md)\n  * [图计算](.\u002Fdocs\u002Foverview\u002Fangel_graph_sona_en.md)\n\n## 设计\n\n- [模型分区器](.\u002Fdocs\u002Fdesign\u002Fmodel_partitioner_en.md)\n- [同步控制器](.\u002Fdocs\u002Fdesign\u002Fsync_controller_en.md)\n- [psFunc](.\u002Fdocs\u002Fdesign\u002FpsfFunc_en.md)\n- [核心 API](.\u002Fdocs\u002Fapis\u002Fcore_api_en.md)\n\n\n## 快速入门\n\n* [快速入门示例](.\u002Fdocs\u002Ftutorials\u002Fspark_on_angel_quick_start_en.md)\n\n## 部署\n\n* [编译指南](.\u002Fdocs\u002Fdeploy\u002Fsource_compile_en.md)\n* [本地运行](.\u002Fdocs\u002Fdeploy\u002Flocal_run_en.md)\n* [在 Yarn 上运行](.\u002Fdocs\u002Fdeploy\u002Frun_on_yarn_en.md)\n* [配置详解](.\u002Fdocs\u002Fdeploy\u002Fconfig_details_en.md)\n* [资源配置指南](.\u002Fdocs\u002Fdeploy\u002Fresource_config_guide_en.md)\n\n## 编程指南\n\n* [Spark on Angel 编程指南](.\u002Fdocs\u002Fprogrammers_guide\u002Fspark_on_angel_programing_guide_en.md)\n\n## 算法\n\n- [**Angel 还是 Spark on Angel？**](.\u002Fdocs\u002Falgo\u002Fangel_or_spark_on_angel.md)\n- [**算法参数说明**](.\u002Fdocs\u002Falgo\u002Fmodel_config_details.md)\n- **Angel**\n  - **传统机器学习方法**\n    - [逻辑回归（LR）](.\u002Fdocs\u002Falgo\u002Flr_on_angel_en.md)\n    - [支持向量机（SVM）](.\u002Fdocs\u002Falgo\u002Fsvm_on_angel_en.md)\n    - [因子分解机（FM）](.\u002Fdocs\u002Falgo\u002Ffm_on_angel.md)\n    - [线性回归](.\u002Fdocs\u002Falgo\u002Flinear_on_angel_en.md)\n    - [鲁棒回归](.\u002Fdocs\u002Falgo\u002Frobust_on_angel_en.md)\n    - [Softmax 回归](.\u002Fdocs\u002Falgo\u002Fsoftmax_on_angel_en.md)\n    - [KMeans](.\u002Fdocs\u002Falgo\u002Fkmeans_on_angel_en.md)\n    - [GBDT](.\u002Fdocs\u002Falgo\u002Fgbdt_on_angel_en.md)\n    - [LDA\\*](.\u002Fdocs\u002Falgo\u002Flda_on_angel_en.md) ([WarpLDA](.\u002Fdocs\u002Falgo\u002Fwarp_lda_on_angel.md))\n  - **Spark on Angel**\n    - **Angel Mllib**\n      - [FM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [DeepFM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [DeepAndWide](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [DCN](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [XDeepFM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [AttentionFM](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [PNN](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Frecommendation.md)\n      - [FTRL](.\u002Fdocs\u002Falgo\u002Fftrl_lr_spark.md)\n      - [逻辑回归（LR）](.\u002Fdocs\u002Falgo\u002Fsona\u002Flr_sona.md)\n      - [FTRLFM](.\u002Fdocs\u002Falgo\u002Fftrl_fm_spark_en.md)\n      - [GBDT](.\u002Fdocs\u002Falgo\u002Fsona\u002Ffeature_gbdt_sona.md)\n    - **Angel Graph**\n      - [PageRank](.\u002Fdocs\u002Falgo\u002Fsona\u002Fpagerank_on_sona_en.md)\n      - [KCORE](.\u002Fdocs\u002Falgo\u002Fsona\u002Fkcore_sona_en.md)\n      - [H指数](.\u002Fdocs\u002Falgo\u002Fsona\u002Fhindex_sona_en.md)\n      - [紧密度](.\u002Fdocs\u002Falgo\u002Fsona\u002Fcloseness_sona_en.md)\n      - [共同好友](.\u002Fdocs\u002Falgo\u002Fsona\u002Fcommonfriends_sona_en.md)\n      - [连通分量](.\u002Fdocs\u002Falgo\u002Fsona\u002FCC_sona_en.md)\n      - [无向图三角形计数](.\u002Fdocs\u002Falgo\u002Fsona\u002Ftriangle_count_undirected_en.md)\n      - [Louvain](.\u002Fdocs\u002Falgo\u002Fsona\u002Flouvain_sona_en.md)\n      - [LPA](.\u002Fdocs\u002Falgo\u002Fsona\u002FLPA_sona_en.md)\n      - [LINE](.\u002Fdocs\u002Falgo\u002Fsona\u002Fline_sona_en.md)\n      - [Word2Vec](.\u002Fdocs\u002Falgo\u002Fsona\u002Fword2vec_sona_en.md)\n      - [GraphSage](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Fgraph.md)\n      - [GCN](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Fgraph.md)\n      - [DGI](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel\u002Fblob\u002Fbranch-0.2.0\u002Fdocs\u002Fgraph.md)\n\n## 社区\n* 邮件列表：angel-tsc@lists.deeplearningfoundation.org\n* Angel 在 Linux FD 上的主页：https:\u002F\u002Fangelml.ai\u002F\n* [提交者与贡献者](.\u002FCOMMITTERS.md)\n* [参与 Angel 贡献](.\u002FCONTRIBUTING.md)\n* [路线图](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fwiki\u002FRoadmap)\n\n## 常见问题解答\n* [Angel 常见问题解答](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fwiki\u002FAngel%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98)\n\n## 论文\n  1. [PaSca：可扩展范式下的图神经网络架构搜索系统](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3485447.3511986)。WWW，2022年\n  2. [图注意力多层感知机](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3534678.3539121)。KDD，2022年\n  3. [面向可扩展图学习的节点依赖局部平滑](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper\u002F2021\u002Ffile\u002Fa9eb812238f753132652ae09963a05e9-Paper.pdf)。NeurlPS，2021年\n  4. [PSGraph：腾讯如何利用Spark训练超大规模图？](https:\u002F\u002Fconferences.computer.org\u002Ficde\u002F2020\u002Fpdfs\u002FICDE2020-5acyuqhpJ6L9P042wmjY1p\u002F290300b549\u002F290300b549.pdf)。ICDE，2020年\n  5. [DimBoost：将梯度提升决策树扩展到更高维度](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=3196892)。SIGMOD，2018年\n  6. [LDA*：一种鲁棒且可扩展的主题建模系统](http:\u002F\u002Fwww.vldb.org\u002Fpvldb\u002Fvol10\u002Fp1406-yu.pdf)。VLDB，2017年\n  7. [异构感知的分布式参数服务器](http:\u002F\u002Fnet.pku.edu.cn\u002F~cuibin\u002FPapers\u002F2017%20sigmod.pdf)。SIGMOD，2017年\n  8. [Angel：一种新型大规模机器学习系统](http:\u002F\u002Fnet.pku.edu.cn\u002F~cuibin\u002FPapers\u002F2017NSRangel.pdf)。国家科学评论（NSR），2017年\n  9. [TencentBoost：基于参数服务器的梯度提升树系统](http:\u002F\u002Fnet.pku.edu.cn\u002F~cuibin\u002FPapers\u002F2017%20ICDE%20boost.pdf)。ICDE，2017年","# Angel 快速上手指南\n\nAngel 是一个基于参数服务器（Parameter Server）理念的高性能分布式机器学习和图计算平台，由腾讯与北京大学联合开发。它专为处理高维模型和大规模数据设计，支持运行在 Yarn 上，并提供 Spark on Angel 编程接口。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 CentOS 7+ 或 Ubuntu 16.04+)\n*   **Java**: JDK 1.8 (必须)\n*   **Scala**: Scala 2.11 或 2.12 (根据您选择的 Spark 版本而定)\n*   **构建工具**: Maven 3.3+\n*   **集群资源管理器**: Hadoop Yarn (用于分布式部署)\n*   **可选**: Spark 2.x 或 3.x (如果使用 Spark on Angel 模式)\n\n> **注意**: 请确保 `JAVA_HOME` 和 `HADOOP_HOME` 环境变量已正确配置。\n\n## 2. 安装步骤\n\n### 2.1 下载源码\n\n您可以从 GitHub 直接下载最新稳定版源码，或使用国内镜像加速（如果可用）。以下以官方 Release 版本为例：\n\n```bash\n# 克隆仓库 (建议使用特定分支，如 branch-3.2.0)\ngit clone -b branch-3.2.0 https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel.git\ncd angel\n```\n\n或者下载 ZIP 包：\n```bash\nwget https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Farchive\u002Frefs\u002Fheads\u002Fbranch-3.2.0.zip\nunzip branch-3.2.0.zip\ncd angel-branch-3.2.0\n```\n\n### 2.2 编译构建\n\n使用 Maven 进行编译。为了加快下载依赖的速度，建议配置阿里云 Maven 镜像。\n\n**配置阿里云镜像 (可选但推荐):**\n在 `~\u002F.m2\u002Fsettings.xml` 中添加：\n```xml\n\u003Cmirrors>\n  \u003Cmirror>\n    \u003Cid>aliyunmaven\u003C\u002Fid>\n    \u003CmirrorOf>*\u003C\u002FmirrorOf>\n    \u003Cname>Aliyun Public Maven\u003C\u002Fname>\n    \u003Curl>https:\u002F\u002Fmaven.aliyun.com\u002Frepository\u002Fpublic\u003C\u002Furl>\n  \u003C\u002Fmirror>\n\u003C\u002Fmirrors>\n```\n\n**执行编译命令:**\n```bash\n# 跳过测试以加快编译速度\nmvn clean package -DskipTests\n```\n\n编译成功后，所需的 Jar 包将生成在 `dist` 或 `target` 目录下。\n\n## 3. 基本使用 (Spark on Angel)\n\nAngel 最常用的方式是结合 Spark 提交任务。以下是一个最简单的逻辑回归（LR）示例。\n\n### 3.1 准备数据\n确保您有一份 LIBSVM 格式的训练数据文件（例如 `train_data.libsvm`），并已上传至 HDFS。\n\n### 3.2 提交任务\n使用 `spark-submit` 命令提交任务。您需要指定 Angel 相关的 Jar 包和配置参数。\n\n```bash\nspark-submit \\\n  --master yarn-cluster \\\n  --class com.tencent.angel.ml.core.AngelDriver \\\n  --jars dist\u002Fangel-core-3.2.0.jar,dist\u002Fangel-ml-3.2.0.jar \\\n  --conf spark.driver.memory=2g \\\n  --conf spark.executor.memory=4g \\\n  --conf spark.executor.cores=2 \\\n  --conf spark.yarn.queue=default \\\n  --ps.num.ps=2 \\\n  --ps.num.worker=2 \\\n  --ps.model.file=hdfs:\u002F\u002F\u002Fpath\u002Fto\u002Foutput\u002Fmodel \\\n  --ps.train.data=hdfs:\u002F\u002F\u002Fpath\u002Fto\u002Ftrain_data.libsvm \\\n  --ps.algorithm=lr \\\n  --ps.feature.num=10000 \\\n  --ps.num.class=2 \\\n  --ps.iteration.num=10\n```\n\n**关键参数说明：**\n*   `--ps.num.ps`: 参数服务器（PS）节点数量。\n*   `--ps.num.worker`: Worker 节点数量。\n*   `--ps.algorithm`: 指定算法类型（如 `lr`, `fm`, `gbdt` 等）。\n*   `--ps.train.data`: HDFS 上的训练数据路径。\n*   `--ps.model.file`: 模型输出保存路径。\n\n### 3.3 验证结果\n任务完成后，检查 HDFS 上指定的输出目录，确认模型文件是否生成成功。您可以在后续的预测任务中加载该模型。\n\n---\n*更多高级算法配置和图计算示例，请参考官方文档中的 Algorithm 和 Programming Guide 部分。*","某大型电商平台的推荐算法团队正面临亿级用户行为数据的挑战，需要每天训练高维稀疏特征的点击率（CTR）预估模型以优化广告推送。\n\n### 没有 angel 时\n- **内存瓶颈导致任务失败**：传统单机或普通分布式框架无法承载数十亿维度的稀疏特征参数，训练过程常因内存溢出（OOM）而中断。\n- **训练周期过长**：由于缺乏高效的参数同步机制，全量数据迭代一次需要数小时甚至更久，导致模型更新滞后，无法捕捉实时用户兴趣变化。\n- **资源利用率低下**：在 Yarn 集群上运行时，计算节点与参数存储耦合紧密，难以弹性伸缩，造成大量计算资源闲置或争抢。\n- **算法适配成本高**：团队若想尝试新的深度学习变体或图算法，需从头重构底层通信逻辑，开发效率极低。\n\n### 使用 angel 后\n- **突破超大规模模型限制**：借助 Parameter Server 架构，angel 将海量模型参数分片存储于多个节点，轻松支撑千亿级参数量的模型训练而不崩溃。\n- **训练速度显著提升**：通过灵活的同步一致性模型和高效的数据并行策略，将原本数小时的训练时间压缩至分钟级，实现模型准实时更新。\n- **集群资源弹性调度**：基于 Spark on Angel 的深度集成，团队可直接在现有 Yarn 集群上动态调整资源，大幅提升了硬件利用率和任务稳定性。\n- **算法迭代敏捷高效**：利用 angel 内置的丰富算子库（如 DeepFM、GBDT）及自定义 PSF 接口，算法工程师可专注于业务逻辑，新模型上线周期从周缩短至天。\n\nangel 通过其强大的参数服务器架构，让超大规模机器学习模型的训练从“不可能”变为“高效日常”，彻底释放了大数据的商业价值。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngel-ML_angel_727996f5.png","Angel-ML","Angel","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAngel-ML_6c35c23d.png","Angel is a high-performance and full-stack distributed ML platform. It is an LF AI Graduation project.",null,"https:\u002F\u002Fangelml.ai\u002F","https:\u002F\u002Fgithub.com\u002FAngel-ML",[83,87,91,95,99,102,105],{"name":84,"color":85,"percentage":86},"Java","#b07219",73.2,{"name":88,"color":89,"percentage":90},"Scala","#c22d40",24.5,{"name":92,"color":93,"percentage":94},"Turing","#cf142b",2.1,{"name":96,"color":97,"percentage":98},"Shell","#89e051",0,{"name":100,"color":101,"percentage":98},"Jupyter Notebook","#DA5B0B",{"name":103,"color":104,"percentage":98},"Dockerfile","#384d54",{"name":106,"color":107,"percentage":98},"CSS","#663399",6787,1591,"2026-04-02T08:35:19","NOASSERTION",5,"Linux","未说明","未说明（需依赖 Yarn 集群资源配置）",{"notes":117,"python":114,"dependencies":118},"Angel 是一个基于参数服务器架构的分布式机器学习平台，主要使用 Java 和 Scala 开发。它设计运行在 Apache Hadoop Yarn 集群上，并支持 Spark on Angel 模式。README 中未提及具体的单机操作系统、GPU、内存或 Python 版本要求，因为其运行依赖于底层大数据集群（Yarn\u002FSpark）的环境配置。图计算和深度学习框架的支持正在开发中。",[84,88,119,120],"Apache Hadoop Yarn","Apache Spark",[26,13],[123,124,125,126,127,128,129,130],"machine-learning","parameter-server","spark","scala","model","high-dimensional","online-learning","spark-streaming","2026-03-27T02:49:30.150509","2026-04-06T05:32:28.819928",[134,139,144,149,154,159],{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},16132,"在 YARN 环境中提交 Angel 应用失败，报错无法连接 PS Server 或出现 SLF4J 绑定冲突怎么办？","该问题通常是由于 HDP 环境中 `launch_container.sh` 使用了 `hdp.version` 环境变量导致的。解决方法是修改所有 slave 节点上的 `mapred-site.xml` 配置文件，显式设置 `mapreduce.application.classpath`。配置示例如下：\n\u003Cproperty>\n  \u003Cname>mapreduce.application.classpath\u003C\u002Fname>\n  \u003Cvalue>$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fmapreduce\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fmapreduce\u002Flib\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fcommon\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fcommon\u002Flib\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fyarn\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fyarn\u002Flib\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fhdfs\u002F*:$PWD\u002Fmr-framework\u002Fhadoop\u002Fshare\u002Fhadoop\u002Fhdfs\u002Flib\u002F*\u003C\u002Fvalue>\n\u003C\u002Fproperty>\n此配置适用于 HDP 2.6.3.0-235 等版本环境。","https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fissues\u002F17",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},16133,"运行 Angel 示例时卡在 'start to create rpc client to am' 阶段并报错 'Error connecting' 如何解决？","这通常是因为提交脚本中未正确设置 Java 环境路径。请在 `angel_submit` 脚本中添加 `JAVA_HOME` 环境变量配置。确保使用的 Java 版本为 1.8。如果配置后仍然卡住，请检查 Hadoop\u002FYARN 集群配置，确认是否为单机 Standalone 模式导致网络通信异常，建议在全分布式模式下测试。","https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fissues\u002F113",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},16134,"Spark on Angel 快速开始指南中的 ANGEL_HDFS_HOME 变量和 Jar 包位置如何配置？","1. `ANGEL_HDFS_HOME` 指的是将解压后的 `angel-\u003Cversion>-bin` 目录上传到的 HDFS 路径，用于集群共享 Angel 二进制文件。\n2. Jar 包位置需在 `spark-submit` 命令中通过 `--conf` 参数指定：\n   - 设置 Angel PS 的 Jar 包：`--conf spark.ps.jars=$SONA_ANGEL_JARS`\n   - 设置 Spark 任务的 Jar 包：`--jars $SONA_SPARK_JARS`\n   其中 `$SONA_ANGEL_JARS` 和 `$SONA_SPARK_JARS` 需在 `spark-on-angel-env.sh` 中预先定义好具体的 Jar 包路径列表。","https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fissues\u002F648",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},16135,"Angel GBDT 算法中引入参数服务器（PS）架构相比传统的 Collective Communication（如 Reduce-Scatter）有什么优势？","PS 架构在高维模型场景下具有通用性和灵活性优势。虽然 Reduce-Scatter 在特定条件下（如节点数为 2 的幂次）效率很高，但在实际环境中：\n1. 节点数往往不是 2 的倍数，此时 Reduce-Scatter 的数据传输量会增加一倍，而 PS 架构无此限制。\n2. Reduce-Scatter 每个步骤完成后需要等待全局同步（Barrier），开销在某些环境下不可忽视；而 PS 架构可以将数据分片连续发送，无需等待本地 Reduction 结果即可进行下一步，实现了更高效的流水线。\n因此，PS 是一种适合高维模型的通用架构，而 Collective Communication 更适合特定规模和数据特征的场景。","https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fissues\u002F7",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},16136,"在 macOS 上使用 Maven 编译 Angel 源码时报错 'Error accessing netlib-native_system-linux-armhf' 怎么办？","该错误是因为 Maven 试图下载与当前操作系统（macOS）不匹配的 Linux ARM 架构原生库依赖。解决方法是在项目的 `pom.xml` 中排除掉不需要的原生库依赖，或者在 Maven 命令中通过 `-D` 参数跳过特定平台的依赖解析。对于 macOS 用户，通常只需要确保引入了适用于 OSX 的 `netlib-native_system-osx-x86_64` 依赖，并排除其他平台（如 linux-armhf, windows 等）的依赖即可成功编译。","https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fissues\u002F205",{"id":160,"question_zh":161,"answer_zh":162,"source_url":148},16137,"如何在资源有限的小型 Spark 集群（如 1 Master + 3 Worker，共 32GB 内存）上合理配置 Spark on Angel 的运行参数？","在总内存 32GB、8 CPU 核的小型集群上，建议预留部分内存给操作系统和系统开销。参考配置如下：\n- Driver: 1GB 内存\n- Executor: 2 个实例，每个分配 2GB 内存\n- PS (Parameter Server): 2 个实例，每个分配 3GB 内存\n- 核心数分配需根据总核数（8 核）合理切分给 Driver、Executor 和 PS。\n关键是要避免内存溢出（OOM），确保 `spark.driver.maxResultSize` 和 `spark.kryoserializer.buffer.max` 等参数不要设置过大，留出足够余量。",[164,169,174,179,184,189,194,199,204,209,214,219,224,229,234,239,244,249,254,259],{"id":165,"version":166,"summary_zh":167,"released_at":168},90772,"v1.4.0","在Angel 1.4.0，我们对进行了一次内核大重构，为后续版本正式引入Distribute Serving打下了基础。此外，该版本支持64位的FeatureId，提升了PS的容灾速度以支持Spark Streaming on Angel，FTRL全面切换到Spark Streaming方式，并进行了优化，该版本为后续升级打下了良好的基础。\r\n\r\n### Core \r\n\r\n1. 优化PS容灾方式，新增基于模型分区副本的恢复模式，PS宕机后可以快速恢复\r\n2. 支持64位的FeatureId，新增64位Index的训练样本解析接口；\r\n3. 引入Distributed Serving，支持基于模型多副本Sharing提供分布式Inference服务（Alpha）\r\n\r\n### PySpark\r\n\r\n1. 从Python2迁移到Python3，后续Angel将只支持Python 3\r\n\r\n\r\n### MLLib \r\n\r\n1. GBDT开始支持离散特征，并加入回归类型，功能进一步对齐XGBoost\r\n2. 优化LR算法，提供基于特征索引的模型获取方式，增加对64位稀疏模型支持\r\n\r\n\r\n### Spark on Angel\r\n\r\n1. 修复Spark On Angel任务异常后，Angel-PS退出问题\r\n2. 增加Local Vector，并优化PSVector的接口\r\n3. 优化GBDT，并修复预测结果未转换等bug ","2018-01-31T11:56:29",{"id":170,"version":171,"summary_zh":172,"released_at":173},90773,"v1.3.0","# Release-1.3.0\r\n\r\n**Angel 1.3.0** 如约带来了Python接口的PyAngel，并提前加入了Spark Streaming on Angel的FTRL算法，同时，内核和已有算法也做了大量的优化和补充，Spark on Angel开始支持稀疏特性。这是一个拥有诸多新特性，充满活力的版本。\r\n\r\n## Core\r\n1. 支持拉取局部模型：PSModel增加getRowWithIndex方法，支持拉取特征的部分维度（Experimental）\r\n2. Bug 修复\r\n\t* 维度超过配置导致的任务卡住\r\n\t*  worker log url端口与Yarn web端口不一致问题\r\n\t* 一些流和socket在某些情况下没有及时关闭\r\n\r\n## MLLib\r\n1. 增加FTRL优化方法和FTRL LR（验证离线数据集用，生产版本见Online Learning）\r\n2. 完善了MLR算法\r\n\r\n## PyAngel\r\n\r\n1. 基于`MLRunner`API，封装和提供了各个Angel算法\r\n2. 支持`脚本`和`交互式`两种提交模式\r\n3. 支持Local和Yarn两种运行模式\r\n\r\n## Spark on Angel\r\n\r\n1. PS Function支持Sparse特性\r\n2. PSVector\u002FPSMatrix支持Sparse特性\r\n3. Bug修复\r\n\t* PullMan\u002FPushMan导致VectorPool无法回收vector、\r\n\t* 修复LogisticRegression的小Bug\r\n\r\n## MLLib （Spark on Angel）\r\n\r\n1. 引入RDD sliceAggregate算子，解决目前Spark高维数据聚合效率低的问题\r\n2. **Online Learning（FTRL）**\r\n\t* 基于Spark Streaming on Angel，实现了生产可用的FTRL算法（`SparseLRWithFTRL`）和相应的Optimizer\r\n\r\n## 文档\r\n\r\n* **～Spark on Angel文档全面更新**～\r\n* MLR，ADMM文档更新\r\n* LDA文档更新\r\n* FTRL文档更新\r\n\r\n## ～～～华丽的致谢分割线～～～\r\n\r\n感谢如下的开发者为这次发布做出的贡献：\r\n\r\n* shunanzhang：启动第二轮文档翻译和同步（#245）\r\n* ericzhang-cn：修复诸多Bug，加入FTRL的Predict\r\n\r\n同时 ，对公司内外用户的热心反馈和意见，深表谢意。BTW：伴随着上个版本LongKey的升级，Angel已经开始支持公司内百亿级别维度的算法和业务。 \r\n\r\n\r\n\r\n","2017-11-21T15:40:00",{"id":175,"version":176,"summary_zh":177,"released_at":178},90774,"v1.2.1","# Release-1.2.1\r\nAngel 1.2.1 实现了全新的模型输出格式和加载\u002F转换工具，并对算法库做了较多的优化，提供了可配置模型格式的LR算法。此外，Spark On Angel的接口也被进一步的重构和优化，并带来了Spark on Angel版本的GBDT算法\r\n\r\n## Angel Core\r\n   * 模型格式重构，优化模型输出文件多的问题\r\n   * 采用并发方式加载和导出模型\r\n   * 全新的模型加载和格式转换工具\r\n   * 稀疏矩阵计算性能优化\r\n  \r\n## Angel Mllib\r\n   * LR：可通过配置参数选择稠密和稀疏模型格式\r\n   * GBDT：优化树数量多时的性能问题；增加两阶段分裂和低精度压缩的psFunc；修复特征下采样的索引问题和参数初始化问题\r\n   * LDA：使用PSF更新模型，优化内存使用，加入WarpLDA的变种算法\r\n   * GradientDescent\u002FLoss接口泛型化，支持dense double, sparse double和sparse double with longkey三种模型格式\r\n\r\n## Spark On Angel\r\n   * 接口优化和改进\r\n           * PSClient分离成Initializer，VectorOps，MatrixOps\r\n           * BreezePSVector和CachePSVector优化\r\n   * 新增GBDT算法\r\n\r\n## 不兼容升级\r\n   * 【重要】PSModel类移除声明时泛型，通过setRowType类设置类型\r\n\r\n###  文档\r\n   * 新增辅助工具类说明文档：指标使用说明，模型加载\u002F转换使用说明\r\n   * 持续的文档国际化\r\n   * 更新Spark On Angel和部分算法文档\r\n\r\n### ～～～华丽的致谢分割线～～～\r\n\r\nAngel 1.2.1的发布，继续得到各地的Contributors的协助。感谢如下的开发者为这次发布做出的贡献：\r\n\r\n1. **shunanzhang**：[持续的高质量文档翻译](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F95)\r\n2. **chris**：[warplda实现](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fcommit\u002Fe018947e3b3658a8d1519b61dcc52f2dfe93ee7f)\r\n3. **cstur4**：[模型加载优化](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fcommit\u002F0b1768ddc3d17353e467fac5968df70e1b3fb878)\r\n\r\n\r\n同时 ，并对QQ群里诸多公司用户的热心反馈和意见，深表谢意\r\n\r\n# Release-1.2.1\r\n\r\nAngel 1.2.1 added new model output format and loading\u002Fconversion tools, improved the algorithm library, and provided Logistic Regression with configurable model format. Spark on Angel interface has been further refactored and improved, with GBDT algorithm introduced.\r\n\r\n\r\n## **Angel Core**\r\n\r\n* Refactor model format to solve problem of too many output files\r\n* Introduce concurrent mode in model load\u002Fexport\r\n* Provided new tools for model load\u002Fconvert\r\n* Improved performance of sparse matrix computation\r\n\r\n\r\n## **Angel MLlib**\r\n\r\n\r\n* LR: model format made configurable: dense\u002Fsparse\r\n* GBDT: improved performance when there is large number of trees; added psFunc for the two-stage splitting algorithm and low-precision compression; fixed indexing problem and parameter initialization problem in feature sampling\r\n* LDA: enabled using PSF to update model; improved memory usage; added WarpLDA variant\r\n* GradientDescent\u002FLoss interface is made generic to support three model formats: dense double, sparse double and sparse double with longkey \r\n\r\n\r\n## **Spark on Angel**\r\n\r\n* Improved interfaces\r\n\t* Separated PSClient into Initializer, VectorOps and MatrixOps\r\n\t* Improved BreezePSVector and CachePSVector\r\n* Added GBDT \r\n\r\n\r\n## **Compatibility**\r\n\r\n* **IMPORTANT**: removed generic declaration for PSModel; parameter type will be configured by setRowType\r\n\r\n\r\n## **Documentation**\r\n\r\n* Added documentation for assistant classes: metrics, model loading\u002Fconversion\r\n* Continuous translation of documentation\r\n* Updated documentation for Spark on Angel and a few algorithms\r\n\r\n\r\n## ～～～ **Acknowledgement** ～～～\r\n\r\nWe continue to receive help from developers from all over the world for Angel 1.2.1. We thank developers who contributed to the new release:\r\n\r\n* shunanzhang: [continued translation for documentation](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F95)\r\n* chris: [warplda implementation](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fcommit\u002Fe018947e3b3658a8d1519b61dcc52f2dfe93ee7f)\r\n* cstur4: [improvement of model loading](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fcommit\u002F0b1768ddc3d17353e467fac5968df70e1b3fb878)\r\n\r\nMeanwhile, we received many helpful feedback and suggestions from the Angel QQ group, and we are greatly thankful.\r\n","2017-10-26T12:17:52",{"id":180,"version":181,"summary_zh":182,"released_at":183},90775,"v1.2.0","## Release-1.2.0\r\n\r\nAngel 1.2.0，加入了较多的优化和改进，新增了2个算法，修复了多个Bug，建议所有的用户都升级到这个版本，为1.3.0版本的进一步升级做好准备。\r\n\r\n###  Angel Core\r\n   * Long类型Key的稀疏Double Vector\u002FMatrix支持\r\n   * 稀疏向量性能优化：添加可支持并行运算的稀疏型Vector\u002FMatrix\r\n   * PS RPC性能优化：优化网络模型，分离IO操作和RPC请求处理\r\n   * 完善MatrixOpLog类型：增加Sparse Double\u002FDense Int\u002FSparse Float几种类型\r\n\r\n### Angel MLLib\r\n   * 新增MLR算法\r\n   * FM提升：使用PSF进行模型的初始化；计算性能优化；增加分类方法\r\n   * GBDT优化：使用PSF实现最佳分裂点查找过程\r\n   * LDA升级为LDA* ，保持和VLDB 2017的论文实现一致，并优化性能\r\n    \r\n\r\n### **Spark on Angel**\r\n   * 新增KMeans算法 \r\n   * 对接口进行了一轮重构，隐藏了PSVectorPool的概念\r\n   * 模型开始支持Matrix\r\n\r\n###  文档\r\n   * 优化psFunc和Core-API文档\r\n   * 新增PSModel格式转换工具、全局指标使用说明\r\n   * 文档的国际化进度90%\r\n\r\n### 接口优化\r\n\r\n   * PSModel：增加syncClock接口，建议替代clock().get()简单调用\r\n   * DataBlock：加入loopingRead接口，可以重复读取数据以供训练\r\n\r\n\r\n    \r\n### ～～～华丽的致谢分割线～～～\r\n\r\nAngel 1.2.0的发布，继续得到各地的Contributors的协助。感谢如下的开发者为这次发布做出的贡献：\r\n\r\n1. **hbghhy** ：[基于Spark on Angel实现的KMeans算法](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F168)\r\n1. **hbghhy**：[加入阿里巴巴用于CTR预估的MLR算法](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F176)\r\n3. **shunanzhang**：[持续的高质量文档翻译](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F95)\r\n4. **[SkyData] Augusto Yao**：修复了诸多Bug   [[112](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F112), [188](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F188)]\r\n5. **[小米] luosmart**: 修复了诸多Bug   [[198](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F198) ... ]\r\n\r\n同时 ，并对QQ群里诸多热心用户的反馈和意见，深表谢意\r\n\r\n---\r\n\r\n# Release-1.2.0\r\n\r\nAngel 1.2.0 is a version with improvement and enhancement. Two new algorithms became available and recognized bugs are fixed. We recommend all users to upgrade to this version, preparing for further upgrade in the near future (version 1.3.0).\r\n\r\n#### **Angel Core**\r\n\r\n1. Added support for Sparse Double Vector\u002FMatrix for long type key\r\n2. Optimized performance of Sparse Vector: added sparse Vector\u002FMatrix that supports parallel operations\r\n3. Optimized performance of PS RPC: optimized network model, separated IO operations and RPC request handling\r\n4. Improved MatrixOpLog type: added Sparse Double, Dense Int and Sparse Float types\r\n\r\n#### **Angel MLlib**\r\n\r\n1. Added the MLR algorithm\r\n2. Enhanced FM: using PSF for initializing models, optimizing performance of operations, adding classification methods\r\n3. Optimized GBDT: using PSF for implementing searching for the best split point\r\n4. Upgraded LDA to LDA * (up-to-date with the 2017 VLDB publication in the README file) and optimized for performance\r\n\r\n#### **Spark on Angel**\r\n\r\n1. Added KMeans algorithm\r\n2. Interface Refactored: PSVectorPool concept is hidden\r\n3. Model starts to support `Matrix`\r\n\r\n#### **Documentation**\r\n\r\n1. Improved psFunc and Core-API documentation\r\n2. Added explanations of usage for PSModel format converter and global algorithm metrics\r\n3. 90% of documentation available in English\r\n\r\n#### **Interface Optimization**\r\n\r\n1. PSModel: added syncClock interface; a simple call of syncClock is recommended to replace the usage of clock().get()\r\n2. DataBlock: added to loopingRead interface; data can be read repetitively for training\r\n\r\n#### ～～～ **Acknowledgement** ～～～\r\n\r\nHelp from developers from all over the world is continuing. We appreciate developers who contributed to the new release:\r\n\r\n1. hbghhy: [Implementation of KMeans on Spark on Angel](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F168)\r\n2. hbghhy: [Adding the MLR algorithm used for CTR estimation by Alibaba](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F176)\r\n3. shunanzhang: [Continued translation for documentation](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F95)\r\n4. [SkyData] Augusto Yao: Fixed a number of bugs [[112](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F112), [188](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F188)]\r\n5. [Xiaomi] luosmart: Fixed a number of bugs [[198](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F198), ...]\r\n\r\nMeanwhile, many helpful feedback and suggestions are received from  Angel QQ group , and we are also greatly thankful for that.\r\n","2017-09-13T12:18:06",{"id":185,"version":186,"summary_zh":187,"released_at":188},90776,"v1.1.0","# Release 1.1.0\r\n\r\nAngel 1.1.0版本，是一个小步优化版本，修复诸多首发版本的Bug，并加入了如下细节功能和小改进：\r\n\r\n### Angel Core\r\n1. psFunc的update引入并发控制\r\n2. 模型优化：加入明文格式转换支持\r\n3. Netty升级到4.x版本\r\n\r\n### Angel MLlib\r\n1. 改进PSModel的接口\r\n2. Logistic Regression算法加入了y截距\r\n3. ADMM LR增加Predict功能\r\n4. 实现了朴素的FM算法\r\n2. **全局算法指标的计算和日志输出优化**\r\n\r\n### Spark On Angel\r\n1. 多Task下Pull \u002F Push操作性能提升\r\n\r\n### 完善文档\r\n1. 模型分区\r\n2. 同步协议\r\n3. 资源预估\r\n4. 全局指标\r\n\r\n### 不兼容升级\r\n1. AngelConfiguration ---> AngelConf\r\n2. 移除TConstants\r\n\r\n### ～～～致谢～～～\r\n\r\nAngel 1.1.0的发布，有来自各地的Contributors的协助。感谢如下的开发者为这次发布做出的贡献：\r\n\r\n1. **华为**的Guoqiang Li ：[升级了Netty版本到4.x](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F94)\r\n2. **微博**的Yan Facai (颜发才)：[为logistic regression算法加入了y截距](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F143)\r\n3. shunanzhang：[提供了高质量的英文文档翻译](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F95)\r\n4. **小米**的Qingdi Meng & Liu Shaohui：[修复了诸多Bug](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F112)\r\n\r\n# Release 1.1.0\r\n\r\nAngel 1.1.0 is a agile improvement version. It fixes quite some bugs of the first release version, with following enhancement and improvements:\r\n\r\n\r\n#### **Angel Core**\r\n\r\n1. Introduced concurrency control in psFunc update\r\n2. Model optimization: added support for plaintext transformation\r\n3. Upgraded Netty to version 4.x\r\n\r\n#### **Angel MLlib**\r\n\r\n1. Improved PSModel interface\r\n2. Added y-intercept to Logistic Regression\r\n3. Added Predict function to ADMM LR\r\n4. Implemented the basic FM algorithm\r\n5. **Added overall algorithm measures and log analytics optimization**\r\n\r\n#### **Spark on Angel**\r\n\r\n1. Improved the operational performance of pull\u002Fpush in multi-task situation\r\n\r\n#### **Documentation**\r\n\r\n1. Model partitioner\r\n2. Synchronization controller\r\n3. Resource estimation\r\n4. Overall performance measures\r\n\r\n#### **Compatibility Upgrade**\r\n\r\n1. AngelConfiguration ---> AngelConf\r\n2. Removed TConstants\r\n\r\n#### ～～～ **Acknowledgement** ～～～\r\n\r\nWe thank all developers who contributed to this release:\r\n\r\n1. Guoqiang Li from **Huawei**: [upgraded Netty to version 4.x](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F94)\r\n2. Yan Facai from **Weibo**: [added y-intercept for logistic regression](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F143)\r\n3. shunanzhang: [added English translations for documentation](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F95)\r\n4. Qingdi Meng & Liu Shaohui from **Xiaomi**: [fixed bugs](https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fpull\u002F112)\r\n\r\n","2017-07-26T12:13:27",{"id":190,"version":191,"summary_zh":192,"released_at":193},90777,"v1.0.0","# Release v1.0.0\r\n\r\n1. **ParameterServer功能**\r\n\r\n\t* 基于Matrix\u002FVector的**模型**自动切分和管理，兼顾**稀疏**和**稠密**两种格式\r\n\t* 支持对Model进行Push和Pull操作，可以自定义复杂的psFunc\r\n\t* 提供多种同步控制机制（BSP\u002FSSP\u002FASP）\r\n\r\n2. **开发运行**\r\n\t* 语言支持：系统基于Scala和Java开发，用户可以自由选择其中一种\r\n\t* 部署方便：可以直接在Yarn社区版本中运行，也支持本地调试模式\r\n\t* 数据切分: 自动切分读取训练数据，默认兼容了Hadoop FS接口\r\n\t* 增量训练：训练过程中会自动Checkpoint，而且支持加载模型后，增量训练\r\n\r\n3. **PS Service**\r\n\t* 只启动PSServer和PSAngent，为其他分布式计算平台提供PS服务\r\n\t* 基于PS-Service，不需要修改Spark核心代码，直接开发Spark-on-Angel算法，该模式无缝支持Breeze数值运算库\r\n\r\n4. **算法库**\r\n\t* 集成Logistic Regression，SVM，KMeans，LDA，MF，GBDT等机器学习算法\r\n\t* 多种优化方法，包括ADMM，OWLQN， LBFGS和GD\r\n\t* 支持多种损失函数、评估指标，包含L1、L2正则项\r\n\r\n5. **算法优化**\r\n\r\n\t* LDA采用了F+LDA算法用于加速采样的速度，同时利用流式参数获取的方法减少网络参数获取的延迟\r\n\t* GBDT使用两阶段树分裂算法，将部分计算转移到PS，减少网络传输，提升速度\r\n\r\n# Release v1.0.0\r\n\r\n1. **ParameterServer Functionalities**\r\n    * Automatically partitions and manages models whose parameters can be represented as matrix\u002Fvector, supporting sparse and dense types\r\n    * Supports push\u002Fpull operations and customized psFunc\r\n    * Provides multiple concurrency control mechanisms（BSP\u002FSSP\u002FASP）\r\n\r\n2. **Development & Execution**\r\n    * Language support: the system is developed with Scala and Java; users can use either one of them as  choice\r\n    * Deployment: can be deployed to Yarn or run on local  \r\n    * Data partitioning: automatically partitions and reads training data, compatible with Hadoop FS interface by default\r\n    * Incremental training: automatically generates checkpoint during training, supporting incremental training with reloaded model \r\n\r\n3. **PS Service**\r\n    * Only starts up PSServer and PSAgent, providing PS service for other distributed computing platforms\r\n    * Spark-on-Angel algorithms can be developed based on PS-Service without changing Spark source code, supporting Breeze NumericOps seamlessly\r\n\r\n4. **Algorithms Library**\r\n    * Contains algorithms such as Logistic Regression, SVM, KMeans, LDA, MF, GBDT, etc. \r\n    * Supports various optimization methods, including ADMM, OWLQN, LBFGS and GD\r\n    * Supports various loss functions and metrics, L1\u002FL2 regularization\r\n\r\n5. **Algorithm Optimization**\r\n    * LDA: F+LDA accelerates sampling, while retrieving parameters in a streaming fashion to reduce network latency\r\n    * GBDT: utilize two-stage tree-splitting to transfer parts of computing load to PS, reducing network communications and improve for speed\r\n","2017-06-15T16:09:11",{"id":195,"version":196,"summary_zh":197,"released_at":198},90758,"Release-3.3.0","在 3.3.0 版本中，Angel 继续强化图计算能力。相较于上一版本，我们进行了大量优化并新增了多项功能，具体包括：\n\n1. 将 Spark 版本升级至 3.3.1  \n2. 将 Scala 版本升级至 2.12.15  \n3. 新增一种模式匹配算法：BruteForce  \n4. 新增基于图的近似最近邻搜索算法：HNSW  \n5. 新增一种社区发现算法：KClique  \n6. 新增改进的 PageRank 算法：PageRankPro，支持为节点设置排名值，可用于传播任务  \n7. 支持 EGES 的增量训练  \n8. 新增 ExtraInitEmbedding psf，优化 Louvain 算法以支持 rangePartition  \n9. 为字节型邻居新增 init 和 get psf，新增 sort psf，为 CommonFriends 新增 vertexCut  \n10. 使 KClique 的 NeighborTable 中的 sorted 函数兼容 tags 和 attrs  \n11. 支持 aliasTable、typeNeighbor MultiGraphNode 用于 GNN  \n\n缺陷修复：\n\n1. 修复 DeepWalk 示例  \n2. 修复：调整哈希分区的路由规则，使分区 ID 和数量与哈希分区 meta 中的 partId 保持一致  \n","2025-09-29T02:46:54",{"id":200,"version":201,"summary_zh":202,"released_at":203},90759,"Release-3.2.0","### 摘要\n\n在 3.2.0 版本中，Angel 继续强化图计算能力。相较于上一版本，我们进行了大量优化并新增了多项功能，包括：\n* 图计算分层抽象与灵活扩展\n* 参数服务器与 MPI 混合运行模式\n* 自适应模型分区\n* 支持复杂异构图嵌入\n* 面向千亿边大规模图的高性能优化\n* 丰富机器学习算法库内容\n\n### 新特性\n\n* 图计算分层抽象与灵活扩展\n  * 提供三层抽象：图计算引擎层、图操作算子层和图算法层\n  • 提供十余种常用算子抽象，如 init、get、walker、sample 等，并支持自定义算子接口\n\n* 参数服务器与 MPI 混合运行模式\n  * 提供在 Worker（或 Executor）中以嵌入方式启动 Angel PS 的运行模式。在同一模型中，可同时使用 PS 模式和 MPI 常用的环形通信拓扑\n\n* 自适应模型分区\n  * 优化了数据服务器模型的分区路由方法，支持范围分区与哈希分区并存。在实际图算法训练过程中，可根据不同算法的计算特性自适应地选择合适的模型分区方式\n\n* 复杂异构图嵌入\n  * 丰富并扩展了图的存储结构与计算模式，提供了灵活的自定义 ps func 接口，以支持复杂的异构图网络存储与计算，并能处理高维稀疏图节点特征，轻松实现异构图的表示学习\n  * 实现了 5 种开箱即用的异构图神经网络算法：HAN、异构 GAT、异构 GraphSage、IGMC 边预测以及异构二部图 GraphSage\n\n* 面向千亿边大规模图的高性能优化\n  * 针对千亿边规模的训练进行了专项性能优化，并提供了 k-core 和共同好友算法的测试结果\n\n* 丰富机器学习算法库内容\n  * 新增了十余种特征工程方法，如 Correlation、Discrete、MutualInformationRandomizedSVD 等，以及多任务学习算法 esmm","2021-08-18T13:41:15",{"id":205,"version":206,"summary_zh":207,"released_at":208},90760,"v3.1.0","### 摘要\n\n在 3.1.0 版本中，Angel 增强了图学习能力，并新增了多项改进，包括：\n* 针对图数据结构的应用趋势，提供了图学习相关功能，适用于社交网络分析、推荐系统等场景。\n* 发布了一系列实现完善的图算法，涵盖传统图学习、图嵌入和图深度学习等领域。这些算法只需通过简单的配置即可直接应用于生产环境。\n* 提供了用于图操作的算子 API，支持构建图以及对节点和边进行操作。\n* 在 PyTorch-on-Angel 运行模式下新增了对 GPU 设备的支持，从而能够充分利用硬件加速计算密集型算法。\n\n### 新特性\n\n* 传统图学习算法\n  * [TriangleCountUndirected](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Ftriangle_count_undirected_en.md) 用于统计无向图中经过每个节点的三角形数量。\n  * [CC](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002FCC_sona_en.md) 可以计算图中的连通分量。\n  * [LPA](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002FLPA_sona_en.md) 通过标签传播过程检测网络中的社区结构。\n  * [PageRank](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Fpagerank_on_sona_en.md) 通常用于评估节点的重要性。\n  * [K-core](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Fkcore_sona_en.md) 算法用于分离并提取图中紧密连接的子图。\n  * [H-index](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Fhindex_sona_en.md) 算法计算无向图中每个节点的 h 指数，常用于衡量顶点的重要程度。\n  * [Closeness](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Fcloseness_sona_en.md) 节点的接近中心性度量其与所有其他节点的平均远近程度（即距离的倒数）。该算法旨在识别那些能够在图中高效传播信息的节点。\n  * [CommonFriends](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Fcommonfriends_sona_en.md) 用于计算两个用户的共同好友数量，可用于衡量关系紧密度，并应用于推荐系统和安全系统中。\n  * [Louvain](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Flouvain_sona_en.md) 算法是一种经典的社区发现算法，通过优化模块度指标来实现社区划分。\n\n* 图嵌入\n   * [LINE](https:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel\u002Fblob\u002Fbranch-3.1.0\u002Fdocs\u002Falgo\u002Fsona\u002Fline_sona_en.md) 是一种网络表示学习算法，也可被视为一种…","2020-05-06T09:31:04",{"id":210,"version":211,"summary_zh":212,"released_at":213},90761,"Release-2.4.0","Angel 2.4.0 版本发布\r\n\r\nAngel 2.4.0 调整了大量系统参数的默认值，大幅降低了用户的性能调优门槛。使用该版本后，无需进行过多的系统级调优即可获得更好的性能。此外，本次发布还修复了一些稳定性问题。\n\n在算法方面，我们重构了 LINE V2，使其支持加权边。\r\n\r\n\r\n* **新特性**\r\n  * [\\[ISSUE-898\\]][1] 重构 LINE V2，支持加权边。\r\n  * [\\[ISSUE-897\\]][2] 增加 Kubernetes 支持\r\n  * [\\[ISSUE-899\\]][3] 调整部分系统参数的默认值\r\n  * [\\[ISSUE-900\\]][4] 在 2.X 版本中支持 Spark 2.3 和 2.4\r\n  * [\\[ISSUE-901\\]][5] 为用户自定义 PS 分区\u002F存储添加检查点\r\n\r\n\r\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F898\r\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F897\r\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F899\r\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F900\r\n  [5]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F901","2019-12-06T06:55:04",{"id":215,"version":216,"summary_zh":217,"released_at":218},90762,"Release-3.0.0","自 3.0 版本起，Angel 将维护两个独立的版本系列：**2.X** 和 **3.X**。  \n我们为 2.X 系列版本新增了 hotfix-2、master-2 和 develop-2 分支。\n\nAngel 已经从单一的模型训练系统演进为一个**综合性计算平台**，涵盖了机器学习的各个阶段：数据预处理、模型训练、模型服务、自动超参调优以及自动特征工程。基于 Angel PS 服务，我们构建了 Angel 的生态体系：**sona（Spark On Angel）** 和 **PyTorch On Angel**。我们的算法覆盖了**基础机器学习算法**、**深度学习算法**、**图算法**和**GNN 算法**。为了使项目结构更加清晰，我们将原始项目拆分为 8 个子项目：\n\n[**angel**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fangel>)：Angel 的核心层，提供强大的参数服务器功能。当然，您也可以单独使用它来训练模型。\n\n[**PyTorch-On-Angel**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002FPyTorch-On-Angel>)：一个基于 Angel PS 的**轻量级、高性能**分布式 PyTorch 计算平台。它利用 Angel 的 PS 来支持高维模型，并以 Spark 作为 PyTorch 的调度平台。使用起来非常便捷，您可以在一个作业中同时完成数据预处理（使用 Spark）和模型训练（使用 PyTorch）。与在 PyTorch 上开发算法类似，用户只需使用 Python 即可在 PyTorch On Angel 平台上设计新算法。我们在 PyTorch On Angel 中实现了多种算法，包括 LR、FM、DeepFM、Wide & Deep、xDeepFM、**GCN**、**GraphSage** 等，其性能比 Angel 和 sona 高出 5 到 10 倍。**如果您更关注性能，强烈推荐使用 PyTorch On Angel 平台**。\n\n[**sona**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fsona>)：一个基于 Angel PS 和 Spark 的通用计算平台，通过 Angel PS 打破了 Spark 在训练高维模型时的瓶颈。在 sona 的新版本中，我们对特征工程与模型训练的结合进行了大量优化。**本次版本重构了 LINE（LINE V2）和 K-Core，性能和稳定性都得到了显著提升**。\n\n[**serving**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fserving>)：Angel 的模型推理服务平台，不仅能够为 Angel、Spark On Angel 和 PyTorch On Angel 生成的模型提供服务，还能支持来自其他平台的模型，例如 Spark、XGBoost 等。\n\n[**automl**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fautoml>)：一个通用的自动化机器学习组件，包含自动调参和自动特征工程功能。\n\n[**mlcore**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fmlcore>)：Angel 自主研发的轻量级计算图框架。用户可以在此基础上轻松实现新的算法。\n\n[**math2**](\u003Chttps:\u002F\u002Fgithub.com\u002FAngel-ML\u002Fmath2>)：Angel 自主研发的高性能数学库，whi","2019-08-20T13:11:39",{"id":220,"version":221,"summary_zh":222,"released_at":223},90763,"Release-2.3.0","Angel 2.3.0 版本发布\r\n\r\n自 2.3 版本起，Angel 将维护两条独立的版本线：**2.X** 和 **3.X**。我们为 2.X 系列版本的发布和开发新增了 hotfix-2、master-2 和 develop-2 分支。\n\n在本版本中，我们增强了 PS 功能，并新增了 **存储复杂数据对象** 的能力。基于此功能，我们升级了原有的图算法能力，添加了图数据结构及操作接口。\n\n我们再次对 **K-Core** 算法进行了重构，重构后的版本在性能和稳定性上均有显著提升。此外，在节点编码维度不高（\u003C 512）的情况下，我们新增了 LINE 算法的实现版本 **LINE V2**。与原版相比，LINE V2 的性能大幅提升，且更加稳定。\n\n本次发布新增了一个模块：**angel-ps-graph**，其中包含了图数据结构的定义及操作接口。基于该模块，我们在 PyTorch On Angel 平台上实现了 GCN 和 GraphSage。\n\n* **新特性**\n  * [\\[ISSUE-703\\]][1] 在 PS 中存储复杂对象\n  * [\\[ISSUE-835\\]][2] 新增 LINE 实现：LINE V2\n  * [\\[ISSUE-836\\]][3] 重构 K-Core 算法\n  * [\\[ISSUE-837\\]][4] 添加基础图数据结构及算子\n  * [\\[ISSUE-838\\]][5] 重构检查点管理器并支持恢复\n\n\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F703\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F835\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F836\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F837\n  [5]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F838","2019-08-16T08:47:28",{"id":225,"version":226,"summary_zh":227,"released_at":228},90764,"Release-2.2.0","Angel 2.2.0 版本发布\n\n在本次版本中，我们对图算法进行了增强：(1) 对现有的 K-Core 算法进行了重构，性能和稳定性得到了显著提升；(2) 新增了基于 Spark On Angel 的 Louvain 算法。测试结果表明，基于 Spark On Angel 的 K-Core 和 Louvain 算法比原生 Spark 实现快 1 到 2 个数量级。此外，我们正式发布了 Vero，这是一个基于 Spark On Angel 的新型 GBDT 实现，在支持高维模型和多分类问题方面具有明显优势。同时，本次版本还增加了 Kerberos 支持。\n\n* **新特性**\n  * [\\[ISSUE-677\\]][1] 在 Spark On Angel 中添加 Fast Unfolding 算法\n  * [\\[ISSUE-696\\]][2] 在 Spark On Angel 中支持 FTRL 的预测功能\n  * [\\[ISSUE-714\\]][3] 在 Spark On Angel 中支持 Ftrl-FM 的预测功能\n  * [\\[ISSUE-709\\]][4] 为 Spark On Angel GBDT 增加多分类的多棵树支持\n  * [\\[ISSUE-712\\]][5] 支持使用 Spark On Angel GBDT 进行回归任务\n  * [\\[ISSUE-695\\]][6] 新增数据切分格式：BalanceInputFormatV2\n  * [\\[ISSUE-704\\]][7] 增加 Kerberos 支持\n\n* **Bug 修复**\n  * [\\[ISSUE-747\\]][8] 如果移动模型，本地加载模型会失败：关闭 CRC 校验\n  * [\\[ISSUE-746\\]][9] Spark On Angel 中的 PS 有时会退出\n  * [\\[ISSUE-721\\]][10] 如果某些参数无效，获取索引的 RPC 可能会被阻塞\n  * [\\[ISSUE-720\\]][11] 如果父路径不存在，将结果重命名为最终输出路径会失败\n  * [\\[ISSUE-691\\]][12] BalanceInputFormat 的 getSplits 方法有时会返回空切片\n  * [\\[ISSUE-755\\]][13] 为基于计算图的算法保存算法配置 JSON 文件\n  * [\\[ISSUE-760\\]][14] 为 Angel 添加 Worker 资源请求超时机制\n\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F677\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F696\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F714\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F709\n  [5]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F712\n  [6]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F695\n  [7]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F704\n  [8]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F747\n  [9]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F746\n  [10]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F721\n  [11]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F720\n  [12]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F691\n  [13]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F755\n  [14]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F760","2019-05-06T11:57:13",{"id":230,"version":231,"summary_zh":232,"released_at":233},90765,"Release-2.1.0","发布-2.1.0\n\n本版本在 Spark On Angel 中新增了一种更智能的模型分区方法“LoadBalancePartitioner”。通过预先分析训练数据中特征的分布情况，可以精确控制每个分区的特征数量，从而使 PS 的负载更加均衡。实际测试表明，在许多场景下，模型训练的效率能够得到显著提升。此外，本版本还在 Spark On Angel 中新增了三种算法：基于 FTRL 优化器的 FM 算法、K-Core 算法以及支持更大规模模型的特征并行 GBDT 算法。\n\n* [\\[ISSUE-639\\]][1] Spark On Angel 中的负载均衡型模型分区器 “LoadBalancePartitioner”\n* [\\[ISSUE-690\\]][2] Spark On Angel 中的 Ftrl-FM\n* [\\[ISSUE-663\\]][3] Spark On Angel 中的 K-Core\n* [\\[ISSUE-680\\]][4] Spark On Angel 中的特征并行 GBDT\n\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F639\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F690\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F663\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F680\n","2019-03-08T09:34:31",{"id":235,"version":236,"summary_zh":237,"released_at":238},90766,"Release-2.0.2","该版本对Spark On Angel FTRL算法做了进一步的优化，添加了对float模型格式的支持，同时优化了模型划分分区数设置，一个合理的模型分区数对提升计算性能是非常有益的；在系统层，添加了PR RPC最大重试次数限制， 避免任务在某些不可恢复异常下一直卡住。这个版本也加入了一些数学库的优化。\r\n\r\n* [\\[ISSUE-655\\]][1] 优化Spark On Angel FTRL 模型分区数配置，避免在高维度模型场景下模型分区数太多导致的pull\u002Fpush性能低下的问题\r\n* [\\[ISSUE-656\\]][2] 在Spark On Angel FTRL中添加float模型数据格式\r\n* [\\[ISSUE-658\\]][3] 优化数学库：当用户配置了sparse vector的最大元素个数时，关闭掉预 rehash\r\n* [\\[ISSUE-632\\]][4] 给PS RPC添加最大重试次数限制\r\n\r\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F655\r\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F656\r\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F658\r\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F632","2019-01-30T12:18:53",{"id":240,"version":241,"summary_zh":242,"released_at":243},90767,"Release-2.0.1","# Release-2.0.1\r\n本版本针对Spark On Angel FTRL算法进行了进一步优化，提升了在高维度模型条件下的训练和模型保存性能，并增加了增量训练的功能。与Angel版本的FTRL相比，Spark On Angel的FTRL具有一些针对性的优化，性能更优且调参门槛更低，推荐使用。\r\n\r\n除了优化FTRL之外，本版本还引入了一系列新的优化器和Decay策略，并调整了一些参数的默认值，在大部分情况下算法会收敛得更好。\r\n\r\n在文档方面，本版本也进行了完善：新增了优化器选择、Decay策略调整等指南文档，以及使用OpenBlas加速深度学习的指南。如果要使用Angel的深度学习算法，务必参考该文档；根据我们的评测，使用OpenBlas后性能通常可提升10倍以上。\r\n\r\n* [\\[ISSUE-585\\]][1] 新增如何使用OpenBlas进行矩阵运算加速的文档\r\n* [\\[ISSUE-569\\]][2] 优化Spark On Angel FTRL的计算和模型保存性能\r\n* [\\[ISSUE-613\\]][3] 增加Spark On Angel FTRL的增量训练功能\r\n* [\\[ISSUE-611\\]][4] 新增支持L1正则化的优化器：AdaGrad\u002FAdaDelta\r\n* [\\[ISSUE-612\\]][5] 新增目前主流的几种Decay算法，优化默认参数以避免Decay过快\r\n* [\\[ISSUE-615\\]][6] 修复network embedding中subsample导致的节点数量不一致问题\r\n* [\\[ISSUE-616\\]][7] 修复量化压缩PSF中的向量类型转换问题\r\n\r\n\r\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F585\r\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F569\r\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F613\r\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F611\r\n  [5]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F612\r\n  [6]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F615\r\n  [7]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F616","2019-01-11T09:21:53",{"id":245,"version":246,"summary_zh":247,"released_at":248},90768,"Release-2.0.0","# Release-2.0.0\r\n这个版本在2.0.0-alpha版本上修复了大量bug并对稳定性做了较多的优化；同时对部分算法进行了重构。\r\n* Angel Core\r\n    * [ISSUE-418]对PS端Matrix存储方式进行了优化，当模型格式配置为稀疏时，可根据稀疏度选择稠密和稀疏存储方式\r\n    * [ISSUE-534] ColumnRangePartitioner支持负的index下标\r\n    * [ISSUE-490] MatrixClient添加initAndGet接口，优化稀疏格式模型的初始化过程\r\n    * [ISSUE-515] 修复多task调用MatrixClient接口会卡住的问题\r\n    * [ISSUE-475] 修复Nrm2函数计算错误问题\r\n\r\n* MLlib\r\n    * [ISSUE-524] 重构FTRL，大幅提升计算性能\r\n    * [ISSUE-489] 重构word2vec","2018-12-03T03:18:46",{"id":250,"version":251,"summary_zh":252,"released_at":253},90769,"2.0.0-alpha","# Release-2.0.0-alpha\r\n这个版本新增了大量新算法，如LINE\u002FWord2Vec\u002FDNN等，同时重构了数学库，PS接口和算法编程框架等。\r\n* Angel Core\r\n    * [\\[ISSUE-378\\]][1]重构数学库，全面支持double\u002Ffloat\u002Fint\u002Flong数据类型和dense\u002Fdouble\u002Fdummy\u002Fsorted存储格式\r\n    * [\\[ISSUE-380\\]][2]重构PS接口，新增无缓存的increment和update方法\r\n\r\n* MLlib\r\n\t* [\\[ISSUE-377\\]][3] 新增计算图编程接口，大大简化算法开发；基于计算图框架重构LR\u002FFM\u002FSVM等算法\r\n\t* [\\[ISSUE-379\\]][4] 重构优化算法库，新增Adam，Momentum和FTRL\r\n\t* [\\[ISSUE-364\\]][5] 新增常见DNN算法：例如DeepFM，Wide & Deep，PNN等；支持JSON构建DNN网络的方法\r\n\t* [\\[ISSUE-363\\]][6] 新增Network embedding算法：LINE\r\n\t* [\\[ISSUE-381\\]][7] 新增Word2Vec算法\r\n\r\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F378\r\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F380\r\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F377\r\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F379\r\n  [5]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F364\r\n  [6]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F363\r\n  [7]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F381","2018-08-25T06:59:15",{"id":255,"version":256,"summary_zh":257,"released_at":258},90770,"v1.5.1","# Release-1.5.1\r\n这个版本主要修复了1.5.0版本的一些BUG并针对高维度稀疏模型场景做了进一步的优化。\r\n* Angel Core\r\n    * [\\[ISSUE-330\\]][1]优化Snapshot写流程，避免写Snapshot时将模型锁住\r\n    * [\\[ISSUE-333\\]][2]优化默认的模型分区算法和高维度稀疏模型下RPC性能\r\n    * [\\[ISSUE-327\\]][3] common-pool内部计数器错乱导致的netty channel被关闭\r\n    * [\\[ISSUE-328\\]][4] yarn.application.classpath或mapreduce.application.classpath被置为空字符串时出现NPE\r\n    * [\\[ISSUE-331\\]][5]在Angel-PS启动模式下心跳检测可能出现NPE\r\n    * [\\[ISSUE-334\\]][6]偶发container分配失败\r\n    * [\\[ISSUE-338\\]][7] 修复算法指标展示时NaN\u002FINF等字符无法转换成Double类型的问题\r\n\r\n* MLlib\r\n\t* [\\[ISSUE-324\\]][8]修复LR预测时没有加入Bias的问题\r\n    \r\n* Spark on Angel\r\n\t* [\\[ISSUE-336\\]][9] SparseLRWithFTRL新增支持读取Libsvm格式数据功能\r\n\t* [\\[ISSUE-337\\]][10] 重构在线学习FTRL算法\r\n\t* [\\[ISSUE-340\\]][11] SparseLRWithOWLQN 移除 murmurhash计算过程\r\n\r\n* 文档\r\n    * [\\[ISSUE-339\\]][12]添加FM算法说明文档\r\n    * 更新部分算法文档参数说明\r\n\r\n\r\n  [1]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F330\r\n  [2]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F333\r\n  [3]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F327\r\n  [4]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F328\r\n  [5]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F331\r\n  [6]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F334\r\n  [7]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F338\r\n  [8]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F324\r\n  [9]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F336\r\n  [10]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F337\r\n  [11]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F340\r\n  [12]: https:\u002F\u002Fgithub.com\u002FTencent\u002Fangel\u002Fissues\u002F339","2018-05-02T08:22:23",{"id":260,"version":261,"summary_zh":262,"released_at":263},90771,"v1.5.0","# Release-1.5.0\r\n在Angel 1.5.0，我们针对高维度稀疏模型场景做了大量的优化。在系统层，我们重构了流量控制和异常处理，加强稳定性，提升PS的支撑能力；在算法层，我们重构了优化算法库和LR\u002FFM等算法， 同时在Spark On Angel上实现了支持稀疏模型的基于OWLQN\u002FFTRL的LR算法，计算效率明显提升。\r\n\r\n## Core \r\n1. 重构PS流量控制机制\r\n2. 重构数据RPC异常处理机制\r\n3. 重构模型分区算法，优化高维度稀疏模型的切分方式\r\n4. 优化在Worker只包含一个Task场景下内存使用效率\r\n5. distribute serving功能优化，支持分布式运行模式和批量的大模型预测\r\n6. 在PSF函数中添加对稀疏long类型向量的支持\r\n7. BugFix：修复客户端在高并发发送请求时可能卡住的问题\r\n8. BugFix：修复模型元数据文本副本数为1的问题\r\n\r\n## MLLib \r\n1. 重构LR算法，优化收敛速度慢，L1正则化下稀疏度不够的问题，优化偏置项处理\r\n2. 重构FM算法，在高维度模型场景下计算效率大幅度提升\r\n3. 重构优化算法库，添加Momentum\u002FAdaGrad\u002FAdaDelta\u002FAdam等优化算法，目前新的优化算法库还是一个试用特性，后续会逐步取代老的优化算法库\r\n4. BugFix：修复稀疏型模型稀疏度计算错误的问题\r\n\r\n## Spark on Angel\r\n1. 新增SparseLR With FTRL，采用mini-batch Async FTRL的梯度更新方式\r\n2. 新增SparseLR With OWLQN\r\n3. 优化SparsePSVector merge和计算性能\r\n\r\n## 文档\r\n1. 全面更新算法文档，优化公式显示，调整部分算法参数的名称和含义","2018-04-13T11:55:39"]