[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-flink-extended--dl-on-flink":3,"tool-flink-extended--dl-on-flink":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":77,"languages":78,"stars":106,"forks":107,"last_commit_at":108,"license":109,"difficulty_score":110,"env_os":111,"env_gpu":112,"env_ram":112,"env_deps":113,"category_tags":123,"github_topics":124,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":130,"updated_at":131,"faqs":132,"releases":162},5993,"flink-extended\u002Fdl-on-flink","dl-on-flink","Deep Learning on Flink aims to integrate Flink and deep learning frameworks (e.g. TensorFlow, PyTorch, etc) to enable distributed deep learning training and inference on a Flink cluster.","dl-on-flink 是一款致力于将 Apache Flink 与主流深度学习框架（如 TensorFlow、PyTorch）深度融合的开源项目。它的核心目标是让用户能够在 Flink 集群上直接进行分布式的深度学习模型训练与推理。\n\n在传统架构中，流式数据处理与深度学习任务往往需要两套独立的系统来维护，导致数据流转复杂且资源管理分散。dl-on-flink 通过将深度学习任务封装为 Flink 算子，巧妙解决了这一痛点。它利用 Flink 强大的分布式能力自动构建训练环境，统一管理计算资源，并借助 Flink 丰富的连接器高效读写数据，同时继承了 Flink 原生的容错机制，确保任务在节点故障时也能稳定运行。\n\n这款工具特别适合大数据工程师、AI 研究人员以及需要构建实时智能应用的企业开发者。如果你希望在不引入额外复杂基础设施的前提下，让现有的 Flink 数据流水线具备深度学习能力，dl-on-flink 将是理想的选择。其技术亮点在于实现了 Java 与 Python 环境的无缝协作，支持在统一的流处理引擎中调度不同版本的 TensorFlow 和 PyTorch 任务，真正做","dl-on-flink 是一款致力于将 Apache Flink 与主流深度学习框架（如 TensorFlow、PyTorch）深度融合的开源项目。它的核心目标是让用户能够在 Flink 集群上直接进行分布式的深度学习模型训练与推理。\n\n在传统架构中，流式数据处理与深度学习任务往往需要两套独立的系统来维护，导致数据流转复杂且资源管理分散。dl-on-flink 通过将深度学习任务封装为 Flink 算子，巧妙解决了这一痛点。它利用 Flink 强大的分布式能力自动构建训练环境，统一管理计算资源，并借助 Flink 丰富的连接器高效读写数据，同时继承了 Flink 原生的容错机制，确保任务在节点故障时也能稳定运行。\n\n这款工具特别适合大数据工程师、AI 研究人员以及需要构建实时智能应用的企业开发者。如果你希望在不引入额外复杂基础设施的前提下，让现有的 Flink 数据流水线具备深度学习能力，dl-on-flink 将是理想的选择。其技术亮点在于实现了 Java 与 Python 环境的无缝协作，支持在统一的流处理引擎中调度不同版本的 TensorFlow 和 PyTorch 任务，真正做到了“数据在哪里，计算就在哪里”，极大地简化了从数据预处理到模型落地的全流程。","# Deep Learning on Flink\n\nDeep Learning on Flink aims to integrate Flink and deep learning frameworks\n(e.g. TensorFlow, PyTorch, etc.) to enable distributed deep learning training and\ninference on a Flink cluster.\n\nIt runs the deep learning tasks inside a Flink operator so that Flink can help\nestablish a distributed environment, manage the resource, read\u002Fwrite the data\nwith the rich connectors in Flink and handle the failures.\n\nCurrently, Deep Learning on Flink supports TensorFlow.\n\n## Supported Operating System\nDeep Learning on Flink is tested and supported on the following 64-bit systems:\n\n- Ubuntu 18.04\n- macOS 10.15\n\n## Support Framework Version\n- TensorFlow: 1.15.x & 2.4.x\n- PyTorch: 1.11.x\n- Flink: 1.14.x\n \n## Getting Started\nDeep learning on Flink currently works with Tensorflow and PyTorch. You can see\nthe following pages for the usage and examples.\n\n- [DL on Flink with Tensorflow](doc\u002Ftensorflow-index.md)\n- [DL on Flink with PyTorch](doc\u002Fpytorch-index.md)\n\n## Build From Source\n\n**Requirements**\n- python: 3.7\n- cmake >= 3.6\n- java 1.8\n- maven >=3.3.0\n\nDeep Learning on Flink requires Java and Python works together. Thus, we need \nto build for both Java and Python.\n\n### Initializing Submodules before Building Deep Learning on Flink from Source\n\nPlease use the following command to initialize submodules before building \nfrom source.\n\n```bash\ngit submodule update --init --recursive\n```\n\n### Build Java\n\n```shell \nmvn -DskipTests clean install\n```\n\nAfter finish, you can find the target distribution in the `dl-on-flink-dist\u002Ftarget`\nfolder.\n\n### Build Python\n\n#### Install from Source\nYou can run the following commands to install the Python packages from source\n\n```sh\n# Install dl-on-flink-framework first\npip install dl-on-flink-framework\u002Fpython\n\n# Note that you should only install one of the following as they require\n# different versions of Tensorflow \n# For tensorflow 1.15.x\npip install dl-on-flink-tensorflow\u002Fpython\n# For tensorflow 2.4.x\npip install dl-on-flink-tensorflow-2.x\u002Fpython\n```\n\n#### Build wheels\nWe provide a script to build wheels for Python packages, you can run the\nfollowing command.\n\n```sh\nbash tools\u002Fbuild_wheel.sh\n```\n\nAfter finish, you can find the wheels at `tools\u002Fdist`. Then you can install the\npython package with the wheels.\n\n```sh\npip install tools\u002Fdist\u002F\u003Cwheel>\n```\n\n# For More Information\n\n[Design document](doc\u002Fdesign.md)\n\n# License\n[Apache License 2.0](LICENSE)\n","# Flink 上的深度学习\n\nFlink 上的深度学习旨在将 Flink 与深度学习框架（例如 TensorFlow、PyTorch 等）集成，从而在 Flink 集群上实现分布式深度学习训练和推理。\n\n它将深度学习任务运行在 Flink 的算子内部，以便 Flink 能够帮助建立分布式环境、管理资源、通过 Flink 中丰富的连接器读写数据，并处理故障。\n\n目前，Flink 上的深度学习支持 TensorFlow。\n\n## 支持的操作系统\nFlink 上的深度学习已在以下 64 位系统上经过测试并得到支持：\n\n- Ubuntu 18.04\n- macOS 10.15\n\n## 支持的框架版本\n- TensorFlow：1.15.x 和 2.4.x\n- PyTorch：1.11.x\n- Flink：1.14.x\n\n## 快速入门\nFlink 上的深度学习目前支持 TensorFlow 和 PyTorch。您可以通过以下页面了解使用方法和示例：\n\n- [使用 TensorFlow 的 Flink 深度学习](doc\u002Ftensorflow-index.md)\n- [使用 PyTorch 的 Flink 深度学习](doc\u002Fpytorch-index.md)\n\n## 从源码构建\n\n**要求**\n- Python：3.7\n- CMake ≥ 3.6\n- Java 1.8\n- Maven ≥ 3.3.0\n\nFlink 上的深度学习需要 Java 和 Python 协同工作。因此，我们需要同时为 Java 和 Python 进行构建。\n\n### 从源码构建 Flink 上的深度学习之前初始化子模块\n\n请在从源码构建之前使用以下命令初始化子模块：\n\n```bash\ngit submodule update --init --recursive\n```\n\n### 构建 Java\n\n```shell \nmvn -DskipTests clean install\n```\n\n构建完成后，您可以在 `dl-on-flink-dist\u002Ftarget` 文件夹中找到目标分发包。\n\n### 构建 Python\n\n#### 从源码安装\n您可以运行以下命令从源码安装 Python 包：\n\n```sh\n# 先安装 dl-on-flink-framework\npip install dl-on-flink-framework\u002Fpython\n\n# 注意，您只需安装以下其中之一，因为它们需要不同版本的 TensorFlow：\n# 对于 TensorFlow 1.15.x\npip install dl-on-flink-tensorflow\u002Fpython\n# 对于 TensorFlow 2.4.x\npip install dl-on-flink-tensorflow-2.x\u002Fpython\n```\n\n#### 构建 wheel 包\n我们提供了一个脚本用于构建 Python 包的 wheel 文件，您可以运行以下命令：\n\n```sh\nbash tools\u002Fbuild_wheel.sh\n```\n\n构建完成后，您可以在 `tools\u002Fdist` 目录下找到 wheel 文件，然后使用这些 wheel 文件安装 Python 包：\n\n```sh\npip install tools\u002Fdist\u002F\u003Cwheel>\n```\n\n# 更多信息\n\n[设计文档](doc\u002Fdesign.md)\n\n# 许可证\n[Apache License 2.0](LICENSE)","# dl-on-flink 快速上手指南\n\ndl-on-flink 旨在将 Flink 与深度学习框架（如 TensorFlow、PyTorch）集成，实现在 Flink 集群上进行分布式深度学习训练和推理。它通过在 Flink 算子内部运行深度学习任务，利用 Flink 管理资源、处理数据读写及容错。\n\n## 环境准备\n\n### 系统要求\n本项目已在以下 64 位系统上测试并支持：\n- Ubuntu 18.04\n- macOS 10.15\n\n### 前置依赖\n在开始之前，请确保安装以下软件：\n- **Python**: 3.7\n- **CMake**: >= 3.6\n- **Java**: 1.8\n- **Maven**: >= 3.3.0\n\n### 版本兼容性\n请根据您的深度学习框架选择对应的版本：\n- **Flink**: 1.14.x\n- **TensorFlow**: 1.15.x 或 2.4.x\n- **PyTorch**: 1.11.x\n\n## 安装步骤\n\n### 1. 获取源码并初始化子模块\n首先克隆项目代码，并务必初始化子模块（包含必要的底层依赖）：\n\n```bash\ngit clone \u003Crepository-url>\ncd dl-on-flink\ngit submodule update --init --recursive\n```\n\n### 2. 构建 Java 部分\n使用 Maven 构建 Java 核心组件：\n\n```shell \nmvn -DskipTests clean install\n```\n构建完成后，分发包位于 `dl-on-flink-dist\u002Ftarget` 目录。\n\n### 3. 安装 Python 包\n您可以根据需求选择直接从源码安装或构建 Wheel 包安装。\n\n#### 方式一：直接从源码安装\n注意：需根据您使用的 TensorFlow 版本选择对应的包，**切勿同时安装**。\n\n```sh\n# 第一步：安装基础框架包\npip install dl-on-flink-framework\u002Fpython\n\n# 第二步：根据 TensorFlow 版本选择其一安装\n# 适用于 TensorFlow 1.15.x\npip install dl-on-flink-tensorflow\u002Fpython\n\n# 或者，适用于 TensorFlow 2.4.x\npip install dl-on-flink-tensorflow-2.x\u002Fpython\n```\n*(提示：国内用户可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 参数加速 pip 安装)*\n\n#### 方式二：构建 Wheel 包后安装\n如果您需要离线安装或自定义构建：\n\n```sh\n# 构建 Wheel 包\nbash tools\u002Fbuild_wheel.sh\n\n# 安装生成的 Wheel 包 (路径可能在 tools\u002Fdist 下)\npip install tools\u002Fdist\u002F\u003Cwheel文件名>\n```\n\n## 基本使用\n\ndl-on-flink 支持 TensorFlow 和 PyTorch 两种主流框架。由于具体代码示例涉及较多的上下文配置，官方提供了详细的文档和示例代码供参考。\n\n### 快速入口\n根据您的技术栈，查阅以下官方文档以获取最简单的 \"Hello World\" 示例：\n\n- **TensorFlow 用户**: [DL on Flink with Tensorflow 使用指南](doc\u002Ftensorflow-index.md)\n- **PyTorch 用户**: [DL on Flink with PyTorch 使用指南](doc\u002Fpytorch-index.md)\n\n### 核心概念\n在使用时，您主要需要关注如何将深度学习模型封装为 Flink 算子。基本流程如下：\n1. 定义数据源（利用 Flink Connectors）。\n2. 加载预训练的深度学习模型。\n3. 调用 dl-on-flink 提供的 API 创建训练或推理算子。\n4. 提交作业到 Flink 集群执行。\n\n更多架构设计细节可参考：[设计文档](doc\u002Fdesign.md)","某大型电商平台的数据团队需要在 Flink 实时计算集群上，对每秒涌入的海量用户点击流进行实时欺诈检测模型推理。\n\n### 没有 dl-on-flink 时\n- **架构割裂严重**：必须额外搭建独立的 TensorFlow Serving 集群，Flink 需通过网络远程调用，增加了系统复杂度和维护成本。\n- **数据流转延迟高**：实时数据需从 Flink 导出再传入外部模型服务，网络序列化与反序列化过程导致毫秒级延迟累积，无法满足实时风控要求。\n- **资源管理分散**：计算资源与 AI 推理资源分开调度，无法利用 Flink 统一的资源管理器进行弹性扩缩容，常出现资源闲置或争抢。\n- **故障恢复困难**：当模型服务节点宕机时，Flink 作业难以感知并联动重启，导致数据断流或重复处理，缺乏端到端的一致性保障。\n\n### 使用 dl-on-flink 后\n- **架构深度融合**：直接将 TensorFlow 模型嵌入 Flink Operator 内部运行，无需外部服务，实现了“数据不动模型动”的极简架构。\n- **推理延迟极低**：数据在 Flink 内存中直接传递给模型进行计算，消除了网络开销，显著降低了端到端延迟，确保实时拦截欺诈交易。\n- **统一资源调度**：借助 Flink 原生能力统一管理 CPU\u002FGPU 资源，根据流量波峰波谷自动调整并行度，大幅提升集群资源利用率。\n- **高可用有保障**：充分利用 Flink 的 Checkpoint 和故障恢复机制，一旦任务失败可自动从状态点恢复，确保推理服务不中断且数据精确一次（Exactly-Once）。\n\ndl-on-flink 通过将深度学习框架原生集成至 Flink 算子，彻底打破了流计算与 AI 推理的边界，实现了低延迟、高可靠的实时智能决策。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fflink-extended_dl-on-flink_79ea7a4c.png","flink-extended","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fflink-extended_c1077aa8.png","A neutral organization to host ecosystem projects for Apache Flink",null,"https:\u002F\u002Fgithub.com\u002Fflink-extended",[79,83,87,91,95,99,102],{"name":80,"color":81,"percentage":82},"Java","#b07219",70.7,{"name":84,"color":85,"percentage":86},"Python","#3572A5",23.7,{"name":88,"color":89,"percentage":90},"C++","#f34b7d",3.9,{"name":92,"color":93,"percentage":94},"Shell","#89e051",1.3,{"name":96,"color":97,"percentage":98},"Dockerfile","#384d54",0.2,{"name":100,"color":101,"percentage":98},"CMake","#DA3434",{"name":103,"color":104,"percentage":105},"Vim Script","#199f4b",0,694,197,"2026-04-02T08:39:05","Apache-2.0",4,"Linux (Ubuntu 18.04), macOS (10.15)","未说明",{"notes":114,"python":115,"dependencies":116},"该工具旨在将 Flink 与深度学习框架集成，目前主要支持 TensorFlow（1.15.x 和 2.4.x）及 PyTorch（1.11.x）。构建源码前需执行 'git submodule update --init --recursive' 初始化子模块。注意：针对不同版本的 TensorFlow 需安装不同的 Python 包（dl-on-flink-tensorflow 或 dl-on-flink-tensorflow-2.x），不可同时安装。Windows 系统未在支持列表中。","3.7",[117,118,119,120,121,122],"Flink 1.14.x","TensorFlow 1.15.x 或 2.4.x","PyTorch 1.11.x","Java 1.8","Maven >= 3.3.0","CMake >= 3.6",[14],[125,126,127,128,129],"flink","tensorflow","pytorch","python","deep-learning","2026-03-27T02:49:30.150509","2026-04-10T04:31:54.502308",[133,138,142,147,152,157],{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},27165,"Worker 节点出现自动重启且日志显示退出码为 137，这是什么原因导致的？","退出码 137（128 + 9）通常表示进程被操作系统发送了 SIGKILL 信号杀死，最常见的原因是内存不足（OOM）。当 Worker 在处理大量数据或加载模型时占用内存超过限制，会被系统强制终止。建议检查集群内存配置，增加 TaskManager 或容器的内存限制，并监控其他 Worker 是否有异常日志导致级联重启。","https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fissues\u002F720",{"id":139,"question_zh":140,"answer_zh":141,"source_url":137},27166,"Worker 在繁忙任务（如加载模型）期间是否因为无法回复心跳而被框架误判重启？","通常不会。如果模型加载是在 Python 进程中进行的，即使该进程阻塞，也不会影响 Java 端的心跳线程发送心跳包。如果出现重启，更可能是由于其他 Worker 节点崩溃（如内存溢出）导致整个任务失败重启，或者是 Python 进程本身崩溃退出了。请检查所有 TaskManager 的日志，确认是否有其他节点先抛出异常。",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},27167,"Maven 打包时卡在下载 TensorFlow JNI jar 包（libtensorflow_jni），如何解决？","这通常是网络问题或 Maven 镜像源配置问题。建议检查网络连接，或者尝试更换 Maven 镜像源（如阿里云镜像）。如果问题依旧，请提供完整的 Maven 构建日志以便进一步排查具体的超时或连接拒绝错误。也可以尝试手动下载该 jar 包并安装到本地仓库。","https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fissues\u002F701",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},27168,"如何在 Flink AI Flow 中实现实时特征工程（如窗口聚合或全局特征）？","推荐使用 Flink SQL 来处理基于 PyFlink Table 的特征工程转换。可以在 `FlinkPythonProcessor` 中编写 Flink SQL 语句来实现复杂的分组（groupby）、窗口计算或目标编码等操作。官方建议参考 Wide&Deep 示例项目来开始构建此类实时特征工程的 Demo。","https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fissues\u002F591",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},27169,"使用 FlinkPythonProcessor 时，如果不调用 add_insert_sql 会报错且缺失 job_id，该如何解决？","这是一个已知问题。在旧版本实现中，如果只调用 `execution_context.table_env.execute_sql` 而未调用 `execution_context.statement_set.add_insert_sql`，会导致生成 StreamGraph 失败并报错 \"No operators defined\"，同时无法记录 job_id。解决方案是确保在代码中显式调用 `add_insert_sql`，或者升级到修复了该逻辑的后续版本（相关修复 PR 已提交）。","https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fissues\u002F475",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},27170,"流式推理结果为什么需要等到下一条数据到达时才写入 Sink，而不是立即写入？","这是流处理机制中的常见现象，通常与 Checkpoint 机制、缓冲区刷新策略或算子链的触发条件有关。在某些配置下，输出算子可能等待新数据输入来触发上一次结果的提交或刷新。要解决此延迟，可以尝试调整 Flink 的缓冲区超时时间（buffer timeout），检查 Sink 端的刷新策略，或者确保 Python 端的 `output_writer_op` 执行后正确触发了下游的数据流转，避免数据滞留在缓冲区。","https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fissues\u002F11",[163,168,173,178,183],{"id":164,"version":165,"summary_zh":166,"released_at":167},180284,"0.5.0","## 亮点\n- 为 [TensorFlow](https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fblob\u002Frelease-0.5\u002Fdoc\u002Ftensorflow-index.md) 和 [PyTorch](https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fblob\u002Frelease-0.5\u002Fdoc\u002Fpytorch-index.md) 提供了一套全新的 API，更加直观易用。\n- 支持 Python 中的 FlinkML 估算器风格 API，您可以查看 [TensorFlow 1.15](https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Ftree\u002Frelease-0.5\u002Fexamples\u002Flinear\u002Ftensorflow-estimator) 和 [PyTorch](https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Ftree\u002Frelease-0.5\u002Fexamples\u002Flinear\u002Fpytorch-estimator) 的快速入门示例。\n- 支持使用来自 Flink 表的数据进行迭代训练。\n- Python API 的依赖管理现已与 PyFlink 的依赖管理无缝集成，详情请参阅 [此处](https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fblob\u002Frelease-0.5\u002Fdoc\u002Fdependency-management.md#python-api)。\n\n## 变更内容\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F700 中升级了 dl-on-flink 版本。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F695 中更新了快速入门文档。\n* @dependabot 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F697 中将 hadoop-common 从 2.8.0 升级到 2.10.1。\n* @dependabot 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F688 中将 junit 从 4.12 升级到 4.13.1。\n* @dependabot 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F684 中将 httpclient 从 4.5.6 升级到 4.5.13。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F703 中建议在快速入门中使用 virtualenv。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F702 中将模块名称从 flink-ml-* 更改为 dl-on-flink-*。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F705 中向快速入门添加了推理示例。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F707 中通过 GitHub Actions 每晚运行示例。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F708 中将 pybind 作为子模块引入。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F709 中添加了用于准备发布的 GitHub 工作流。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F710 中移除了快速入门中命令中的多余空格。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F712 中增加了测试中等待 AM 的超时时间。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F714 中修复了单元测试 AppMasterServerTest#multiRegisterNode 的不稳定问题。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F715 中使用归档 URL 下载 Flink 二进制文件。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F718 中添加了 checkstyle 和 spotless。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F716 中重构了 RoleUtils 和 TFUtils 的 API。\n* @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F721 中首先使用入口文件路径设置 NodeUtils 的 Python 路径属性。\n* @Sxnan 在  中为夜间构建安装开发版轮子包。","2022-06-27T06:48:38",{"id":169,"version":170,"summary_zh":171,"released_at":172},180285,"0.4.0","## 变更内容\n* [Flink 上的深度学习] 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F662 中将 Flink 更新至 1.14 版本\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F668 中移除 ai-flow 后清理代码库\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F670 中标准化 Python 包版本\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F673 中准备将 JAR 包发布到 Maven Central\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F674 中更新 Python 构建流程\n* flink-ml-tensorflow 的 Python 支持 flink-ml API，由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F672 中实现\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F675 中修复 Protocol Buffers 版本冲突\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F678 中添加快速入门示例及文档\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F680 中重构构建流程和文档\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F682 中使用 Java 库解压文件\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F686 中将 log4j-api 从 2.11.1 升级至 2.17.1\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F685 中将 log4j-core 从 2.11.1 升级至 2.17.1\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F671 中将 protobuf-java 从 3.8.0 升级至 3.16.1\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F690 中上传 flink-ml-dist 的二进制包进行每日构建\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F689 中为 flink-ml-tensorflow 添加单元测试\n* 由 @queyuexzy 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F693 中修复 org.apache.hadoop.conf.Configuration 无法在类中设置的问题\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F692 中对 flink-ml-tensorflow 进行 Shade 处理，打包 Guava 和 Apache Commons 库\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F691 中添加许可证检查并更新许可证声明\n* 由 @Sxnan 在 https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fpull\u002F698 中将 TensorFlow 依赖列入白名单，以便 auditwheel 生成 manylinux 轮子\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fflink-extended\u002Fdl-on-flink\u002Fcompare\u002F0.2.2...0.4.0","2022-02-22T14:38:03",{"id":174,"version":175,"summary_zh":176,"released_at":177},180286,"0.2.2","支持获取 GPU 信息，并排除与 Flink 1.11.0 冲突的某些 JAR 文件。","2020-11-26T07:00:56",{"id":179,"version":180,"summary_zh":181,"released_at":182},180287,"0.2.1","将 Flink 更新至 1.11","2020-11-25T07:37:32",{"id":184,"version":185,"summary_zh":186,"released_at":187},180288,"0.1.0","# 问题\n1. 支持 TensorFlow 在 Flink 上运行。\n2. 支持 PyTorch 在 Flink 上运行。","2019-07-12T07:49:07"]