[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-alibaba--x-deeplearning":3,"tool-alibaba--x-deeplearning":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":123,"forks":124,"last_commit_at":125,"license":126,"difficulty_score":127,"env_os":128,"env_gpu":128,"env_ram":128,"env_deps":129,"category_tags":132,"github_topics":79,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":133,"updated_at":134,"faqs":135,"releases":164},2899,"alibaba\u002Fx-deeplearning","x-deeplearning","An industrial deep learning framework for high-dimension sparse data","x-deeplearning（简称 XDL）是阿里巴巴开源的一套工业级深度学习框架，专为处理广告、推荐和搜索场景中常见的高维稀疏数据而设计。在传统深度学习框架难以高效应对海量稀疏特征时，XDL 通过深度优化的训练引擎，解决了大规模参数分布不均、通信瓶颈以及存储热点等核心难题。\n\n该框架特别适合从事推荐系统、计算广告及搜索引擎研发的算法工程师与开发者使用。其技术亮点显著：针对大批次、低并发场景进行了专项优化，性能提升可达 50% 至 100%；具备智能的参数全局自动分配与请求合并机制，无需人工干预即可消除计算与存储热点；同时支持完整的流式训练能力，涵盖特征动态准入与淘汰、模型增量导出及实时统计等功能。此外，XDL 还集成了 Blaze 预估引擎和深度树匹配（TDM）召回引擎，提供从训练到服务的全链路解决方案。作为一款成熟稳定的开源工具，XDL 旨在帮助团队以更低的成本构建高效的个性化推荐系统。","# 概述 \n#### X-DeepLearning(简称XDL)是面向高维稀疏数据场景（如广告\u002F推荐\u002F搜索等）深度优化的一整套解决方案。XDL1.2版本已于近期发布，主要特性包括：\n* 针对大batch\u002F低并发场景的性能优化：在此类场景下性能提升50-100%\n* 存储及通信优化：参数无需人工干预自动全局分配，请求合并，彻底消除ps的计算\u002F存储\u002F通信热点\n* 完整的流式训练特性：包括特征准入，特征淘汰，模型增量导出，特征counting统计等  \n* Fix了若干1.0中的小bugs  \n\n\n完整介绍请参考[XDL1.2 release note](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Freleases\u002Ftag\u002Fv1.2)\n\n### 1. XDL训练引擎\n\n* [编译安装](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E7%BC%96%E8%AF%91%E5%AE%89%E8%A3%85)\n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B)\n* [使用指南](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E7%94%A8%E6%88%B7%E6%96%87%E6%A1%A3)\n\n### 2. XDL算法解决方案\n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FXDL%E7%AE%97%E6%B3%95%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88)\n\n### 3. Blaze预估引擎\n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fblob\u002Fmaster\u002Fblaze\u002FREADME.md)\n\n### 4. 深度树匹配模型 TDM 匹配召回引擎 \n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FTDMServing)\n\n# 联系我们\n* 欢迎通过[issue](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fissues)和邮件组(xdl-opensource@list.alibaba-inc.com\n)联系我们\n* 我们正在寻求合作伙伴，有志于获得XDL企业级支持计划的公司或团队，可以联系xdl-partner@list.alibaba-inc.com，与我们进一步商谈。\n\n# FAQ\n[常见问题](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FFAQ)\n\n# License\nXDL使用[Apache-2.0](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fblob\u002Fmaster\u002Fxdl\u002FLICENSE)许可\n\n# 致谢\nXDL项目由阿里妈妈事业部荣誉出品，核心贡献团队包括阿里妈妈工程平台、算法平台、定向广告技术团队、搜索广告技术团队等，同时XDL项目也得到了阿里巴巴计算平台事业部（特别是PAI团队）的帮助。\n\n","# 概述 \n#### X-DeepLearning（简称XDL）是一套面向高维稀疏数据场景（如广告、推荐、搜索等）深度优化的完整解决方案。XDL 1.2版本已于近期发布，主要特性包括：\n* 针对大batch\u002F低并发场景的性能优化：在此类场景下性能提升50-100%\n* 存储及通信优化：参数无需人工干预自动全局分配，请求合并，彻底消除ps的计算\u002F存储\u002F通信热点\n* 完整的流式训练特性：包括特征准入，特征淘汰，模型增量导出，特征counting统计等  \n* 修复了若干1.0中的小bugs  \n\n\n完整介绍请参考[XDL 1.2 release note](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Freleases\u002Ftag\u002Fv1.2)\n\n### 1. XDL训练引擎\n\n* [编译安装](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E7%BC%96%E8%AF%91%E5%AE%89%E8%A3%85)\n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B)\n* [使用指南](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E7%94%A8%E6%88%B7%E6%96%87%E6%A1%A3)\n\n### 2. XDL算法解决方案\n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FXDL%E7%AE%97%E6%B3%95%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88)\n\n### 3. Blaze预估引擎\n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fblob\u002Fmaster\u002Fblaze\u002FREADME.md)\n\n### 4. 深度树匹配模型 TDM 匹配召回引擎 \n* [快速开始](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FTDMServing)\n\n# 联系我们\n* 欢迎通过[issue](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fissues)和邮件组(xdl-opensource@list.alibaba-inc.com\n)联系我们\n* 我们正在寻求合作伙伴，有志于获得XDL企业级支持计划的公司或团队，可以联系xdl-partner@list.alibaba-inc.com，与我们进一步商谈。\n\n# FAQ\n[常见问题](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FFAQ)\n\n# License\nXDL使用[Apache-2.0](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fblob\u002Fmaster\u002Fxdl\u002FLICENSE)许可\n\n# 致谢\nXDL项目由阿里妈妈事业部荣誉出品，核心贡献团队包括阿里妈妈工程平台、算法平台、定向广告技术团队、搜索广告技术团队等，同时XDL项目也得到了阿里巴巴计算平台事业部（特别是PAI团队）的帮助。","# X-DeepLearning (XDL) 快速上手指南\n\nX-DeepLearning（简称 XDL）是阿里巴巴开源的面向高维稀疏数据场景（如广告、推荐、搜索）的深度优化解决方案。本指南将帮助您快速完成环境搭建并运行第一个训练任务。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：推荐 Linux (Ubuntu 16.04\u002F18.04 或 CentOS 7+)\n*   **编译器**：GCC 5.4+ 或更高版本\n*   **构建工具**：CMake 3.10+\n*   **依赖库**：\n    *   Python 2.7 或 3.6+\n    *   TensorFlow (如需使用 TF 接口)\n    *   Protobuf\n    *   Glog, Gflags\n*   **硬件建议**：多核 CPU 环境，若需 GPU 加速请确保已安装对应的 CUDA 和 cuDNN。\n\n> **提示**：国内用户建议在配置 `pip` 或 `apt\u002Fyum` 源时切换至阿里云镜像，以加快依赖下载速度。\n\n## 2. 安装步骤\n\nXDL 支持源码编译安装。以下是基于 Linux 环境的标准编译流程：\n\n### 2.1 克隆代码仓库\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning.git\ncd x-deeplearning\n```\n\n### 2.2 编译与安装\n\n进入项目根目录，创建构建目录并执行编译：\n\n```bash\nmkdir build\ncd build\ncmake .. -DCMAKE_BUILD_TYPE=Release\nmake -j$(nproc)\nmake install\n```\n\n*注：若需特定功能（如 TensorFlow 插件支持），请在 `cmake` 阶段添加相应参数，具体可参考官方编译文档。*\n\n### 2.3 验证安装\n\n编译完成后，确保相关动态库已加入 `LD_LIBRARY_PATH`，Python 模块已加入 `PYTHONPATH`：\n\n```bash\nexport LD_LIBRARY_PATH=$PWD\u002Finstall\u002Flib:$LD_LIBRARY_PATH\nexport PYTHONPATH=$PWD\u002Finstall\u002Fpython:$PYTHONPATH\n```\n\n## 3. 基本使用\n\n以下是一个最简单的 XDL 训练脚本示例，展示如何定义模型并启动训练。\n\n### 3.1 编写训练脚本 (train.py)\n\n```python\nimport xdl\n\n# 初始化训练环境\nxdl.DistributedEnv()\n\n# 定义输入数据\nfs = xdl.FS()\nreader = fs.Reader(file_pattern=\"hdfs:\u002F\u002Fpath\u002Fto\u002Fdata\u002F*\", batch_size=1024)\nfeatures = reader.read(['feature_id'], ['float'])\nlabels = reader.read(['label'], ['float'])\n\n# 构建简单模型\nemb = xdl.Embedding('emb_table', 16, 128)\nemb_vec = emb(features[0])\nlogits = xdl.FullyConnected(emb_vec, 1, name='fc')\n\n# 定义损失与优化器\nloss = xdl.loss.sigmoid_cross_entropy(logits, labels[0])\noptimizer = xdl.optimizer.Adam(lr=0.01)\ntrain_op = optimizer.minimize(loss)\n\n# 启动训练会话\nsession = xdl.Session()\nsession.run(train_op, feed_dict={})\nprint(\"Training started...\")\n```\n\n### 3.2 运行训练\n\n在终端中执行脚本：\n\n```bash\npython train.py\n```\n\n若进行分布式训练，需配合 XDL 的调度系统或使用 `mpirun` 等工具启动多个 Worker 节点。\n\n---\n*更多高级特性（如流式训练、特征淘汰、Blaze 预估引擎等）请参考官方 Wiki 文档。*","某大型电商平台的广告算法团队正在处理亿级用户行为数据，试图训练一个高精度的点击率（CTR）预估模型以优化实时竞价策略。\n\n### 没有 x-deeplearning 时\n- **训练效率低下**：面对高维稀疏特征和大 Batch 数据，传统框架并发能力不足，单次模型迭代耗时过长，导致新策略上线周期以周计算。\n- **资源热点瓶颈**：参数服务器（PS）需人工分片，常因分配不均出现存储或通信热点，引发集群负载失衡甚至训练中断。\n- **流式支持缺失**：无法原生支持特征自动准入与淘汰，难以实现模型增量更新，导致模型无法及时捕捉用户兴趣的实时变化。\n- **运维成本高昂**：工程师需花费大量精力手动调优通信逻辑和解决底层 Bug，而非专注于算法创新。\n\n### 使用 x-deeplearning 后\n- **性能显著提升**：利用针对大 Batch 场景的深度优化，训练速度提升 50%-100%，将模型迭代周期从数天缩短至小时级。\n- **自动消除热点**：参数全局自动分配与请求合并机制彻底消除了 PS 热点，集群资源利用率趋于平稳，训练稳定性大幅增强。\n- **完整流式闭环**：内置特征计数、动态准入淘汰及模型增量导出功能，轻松实现分钟级的模型在线热更新，精准响应流量波动。\n- **聚焦核心业务**：开箱即用的工业级特性让团队摆脱底层运维困扰，能快速验证 TDM 等复杂召回算法，加速业务变现。\n\nx-deeplearning 通过专为高维稀疏数据打造的工业级架构，将广告推荐系统的训练效率与实时响应能力提升到了全新量级。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Falibaba_x-deeplearning_37e2268c.png","alibaba","Alibaba","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Falibaba_f65f7221.png","Alibaba Open Source",null,"https:\u002F\u002Fopensource.alibaba.com\u002F","https:\u002F\u002Fgithub.com\u002Falibaba",[83,87,91,95,99,103,107,111,115,119],{"name":84,"color":85,"percentage":86},"PureBasic","#5a6986",53.1,{"name":88,"color":89,"percentage":90},"C++","#f34b7d",31.5,{"name":92,"color":93,"percentage":94},"Python","#3572A5",9.8,{"name":96,"color":97,"percentage":98},"Cuda","#3A4E3A",1.2,{"name":100,"color":101,"percentage":102},"Shell","#89e051",1,{"name":104,"color":105,"percentage":106},"Java","#b07219",0.9,{"name":108,"color":109,"percentage":110},"CMake","#DA3434",0.8,{"name":112,"color":113,"percentage":114},"Batchfile","#C1F12E",0.5,{"name":116,"color":117,"percentage":118},"JavaScript","#f1e05a",0.4,{"name":120,"color":121,"percentage":122},"C","#555555",0.3,4305,1027,"2026-04-03T08:08:46","Apache-2.0",4,"未说明",{"notes":130,"python":128,"dependencies":131},"README 中未直接列出具体运行环境需求（如 OS、GPU、内存、Python 版本等），仅提供了编译安装、快速开始及使用指南的链接。该工具主要面向高维稀疏数据场景（广告\u002F推荐\u002F搜索），支持流式训练及参数自动全局分配。详细环境配置需参考其 Wiki 中的“编译安装”文档。",[128],[13],"2026-03-27T02:49:30.150509","2026-04-06T09:43:31.716666",[136,141,146,151,156,160],{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},13407,"运行 train.py 时遇到段错误（Segmentation fault）或 HDFS 配置加载失败怎么办？","这通常是因为 Java 和 Hadoop 的库未正确添加到环境变量中，导致 libhdfs 无法使用。请按照以下步骤配置环境变量：\n1. 设置 HADOOP_HOME（注意路径不要与原设置重复）：\n   export HADOOP_HOME=\u002Fyour\u002Fhadoop\u002Fhadoop-2.7.0\u002Fshare\n2. 构建 HADOOP_CLASSPATH：\n   export HADOOP_CLASSPATH=.\n   for f in $HADOOP_HOME\u002Fhadoop\u002Fcommon\u002Fhadoop-*.jar; do HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f; done\n   for f in $HADOOP_HOME\u002Fhadoop\u002Fcommon\u002Flib\u002F*.jar; do HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f; done\n   for f in $HADOOP_HOME\u002Fhadoop\u002Fmapreduce\u002Fhadoop-*.jar; do HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f; done\n   for f in $HADOOP_HOME\u002Fhadoop\u002Fhdfs\u002Fhadoop-*.jar; do HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f; done\n3. 导出 CLASSPATH：\n   export CLASSPATH=.:$HADOOP_CLASSPATH:$CLASSPATH\n4. 确保 Java 相关的 lib 路径已加入 LD_LIBRARY_PATH。","https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fissues\u002F36",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},13408,"为什么模型训练时参数不迭代，且出现大量 'no gradient found' 警告？","如果出现类似 '[WARNING]: no gradient found for var:bn1\u002Fmoving_mean' 的警告，且模型参数（如 AUC）保持在 0.5 不变，通常是因为使用了 Batch Normalization (BN) 层。XDL 的 tf_backend 暂时不支持 update_ops，导致 BN 层中的 moving_mean 和 moving_variance 统计量在训练中无法更新。因此，BN 目前仅能用于训练过程，不能用于预估（预测）。该问题官方计划在未来修复，目前建议避免在需要导出的模型中使用 BN，或等待官方更新。","https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fissues\u002F181",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},13409,"分布式训练中多个 Worker 的 Session 执行数量不一致或进度不同步是正常的吗？","在异步训练模式下，由于各个 Worker 启动时间或处理速度差异，出现 Session 执行数量不一致是正常现象。如果要求所有 Worker 严格同步更新，必须使用同步训练模式。请检查配置文件（如 tdm.json），确保设置 \"train_mode\": \"sync\"，并在代码中确认使用了 SyncRunHook：\nif conf(\"train_mode\") == \"sync\":\n    hooks.append(xdl.SyncRunHook(xdl.get_task_index(), xdl.get_task_num()))\n如果已配置为同步模式但仍存在长时间等待，请检查数据量是否过小或是否存在其他阻塞操作。","https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fissues\u002F207",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},13410,"TDM 训练后为什么没有生成 graph.txt、dense.txt 和 sparse.txt 文件？","XDL 线下训练产生的原始数据包括 userbehavior_tree.pb 和 item_emb 等，但 graph.txt、dense.txt、sparse.txt 并非直接由训练脚本生成。这些文件通常需要经过额外的中间处理步骤，将 XDL 的训练产出转换为线上 Serving（如 Blaze\u002FTDMServing）所需的格式。如果在训练配置中添加了 saver_ckpt 仍未生成，说明缺少了模型转换环节。建议参考 TDMServing 文档中关于数据转换的部分，或联系社区获取从 XDL 模型到在线模型的具体转换工具\u002F脚本。","https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fissues\u002F132",{"id":157,"question_zh":158,"answer_zh":159,"source_url":140},13411,"文档教程与提供的 Docker 镜像内容不一致，导致基础库报错或脚本无法运行怎么办？","如果遇到文档描述的 WORK_PATH 错位、镜像内缺少 sklearn\u002Fmxnet 等基础库，或者镜像 Tag（如 tf12）与实际脚本（如 train.py 未使用 TensorFlow）不符的情况，这通常是文档版本滞后或镜像构建问题。建议：\n1. 不要完全依赖文档中的路径描述，以容器内实际文件系统为准。\n2. 对于缺失的基础库，尝试在容器内手动安装（pip install sklearn mxnet 等）。\n3. 如果脚本与镜像版本严重不匹配，建议在 Issues 中搜索是否有其他用户分享的修正版脚本或经验，或尝试拉取其他版本的镜像进行测试。",{"id":161,"question_zh":162,"answer_zh":163,"source_url":150},13412,"TDM 分布式训练时 Scheduler 异常退出或 Token 不一致如何解决？","如果在 TDM 分布式训练中遇到 Scheduler 异常退出或 Token 不一致的问题，可以尝试临时注释掉 train.py 中的以下代码来绕过退出逻辑：\n# xdl.execute(xdl.ps_synchronize_leave_op(np.array(xdl.get_task_index(), dtype=np.int32)))\n但请注意，这样做可能会影响训练结果的完整性或参数同步的正确性。建议仅在调试阶段使用，并密切关注训练指标。如果问题持续，需检查网络配置或集群环境稳定性。",[165],{"id":166,"version":167,"summary_zh":168,"released_at":169},72135,"v1.2","\u003Ca name=\"features\">\u003C\u002Fa> \n\n# 新特性\n\n\u003Ca name=\"performance\">\u003C\u002Fa> \n\n### 1. 性能优化\n\n#### 1.1 大batch\u002F单样本海量特征场景性能优化\n* 背景：XDL1.0侧重吞吐优化，采用one request per thread处理模型，能显著提高超高并发下的极限吞吐。但是在某些低并发\u002F单个batch含有超多特征的场景下，这种单线程的处理方式会显著增加延迟。\n* 优化方法：XDL1.2采用one request per thread及独立工作线程池两种处理模式，通过识别请求的特征数量自动选择合适的处理模式，达到吞吐和延迟兼顾的效果。\n* 效果：在大batch\u002F单样本海量特征场景性能提升超过100%\n\n#### 1.2 参数分配及通信优化\n* 背景：XDL1.0采用动态rebalance参数分配策略保证了每个server io及cpu负载的均衡，从而使系统整体可以达到最高的性能。但是由于1.0中每个参数是独立存储，为了达到最高的通信和计算效率，内存分配难以在每个server保持均衡。随着参数规模的不断扩张，内存浪费的问题会越来越严重。\n* 优化方法：\n  + 参数统一存储和平均分配：保证计算，通信，内存三者在所有server上的平均分布\n  + 请求合并：自动分析计算图中无依赖的通信节点，进行合并，减少通信次数，提高通信效率\n* 效果：\n  + 简化用户使用成本，不再需要提供embedding参数大小的预估值，不再需要定期做rebalance\n  + 模型加载和保存速度提高4倍\n  + ps动态扩容支持\n  + 在海量特征的场景下，性能及扩展能力进一步提高\n\n#### 1.3 计算优化\n* 优化embedding计算中unique，ksum，kmean等算子，单个算子性能提升3-5倍\n* 优化XDL到Backend(TF)的内存拷贝，变为zerocopy\n* 优化cpu和gpu之间的数据拷贝\n\n\u003Ca name=\"online-learning\">\u003C\u002Fa> \n\n### 2. 流式学习特性\n\n#### XDL1.2提供一套完整的流式训练（包括实时和增量训练）解决方案，包含众多流式训练的核心特性，包括：\n\n* [特征准入](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E7%89%B9%E5%BE%81%E5%87%86%E5%85%A5)：XDL1.2提供按照概率过滤和基于CBF(counting bloomfilter)精确过滤两种方式\n* [模型增量导出](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E6%A8%A1%E5%9E%8B%E5%A2%9E%E9%87%8F%E5%AF%BC%E5%87%BA)：XDL1.2支持模型增量导出，能有效减轻IO压力，更好的满足在线学习对模型更新时效性的要求\n* [自动稠密特征学习](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E8%87%AA%E5%8A%A8%E7%A8%A0%E5%AF%86%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B)：XDL1.2支持在训练阶段进行特征级别的counting统计，比如pv\u002Fclick，从而大幅简化离线特征处理流程\n* [特征淘汰](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002F%E7%89%B9%E5%BE%81%E6%B7%98%E6%B1%B0)：XDL1.2内置基于访问时间的淘汰策略，用户也可基于python接口进行个性化定制\n\n### 3. 其他\n\n* [Hash64特征](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FHash64%E7%89%B9%E5%BE%81)：XDL1.0只支持128位的hash特征，其实在多数应用场景下64位hash已可满足冲突率的需求，因此XDL在1.2版本里增加了对hash64的原生支持\n* [Trace](https:\u002F\u002Fgithub.com\u002Falibaba\u002Fx-deeplearning\u002Fwiki\u002FXDL-Trace)：XDL1.2提供通用的trace api，可将xdl及tf\u002Fmxnet中的任意tensor输出到文件，方便进行后续分析或者debug\n","2019-08-12T03:40:07"]