什么是Kedro？

Kedro是一个用于构建生产级数据工程和数据科学流水线的工具箱。它采用软件工程的最佳实践，帮助您创建可复现、易于维护且模块化的数据工程和数据科学流水线。您可以在kedro.org上了解更多信息。

Kedro是一个开源的Python框架，由LF AI & Data Foundation托管。

如何安装Kedro？

要从Python包索引（PyPI）安装Kedro，请运行以下命令：

uv pip install kedro

您也可以使用conda来安装Kedro：

conda install -c conda-forge kedro

我们的入门指南提供了完整的安装说明，还包括如何设置Python虚拟环境的内容。

从源代码安装

如果您想在正式发布之前使用最新的Kedro版本，可以从main分支安装：

uv pip install git+https://github.com/kedro-org/kedro@main

Kedro的主要特性有哪些？

特性	是什么？
项目模板	基于Cookiecutter Data Science的标准、可修改且易于使用的项目模板。
数据目录	一系列轻量级的数据连接器，用于在多种不同的文件格式和文件系统之间保存和加载数据，包括本地和网络文件系统、云对象存储以及HDFS。数据目录还为基于文件的系统提供了数据和模型版本控制功能。
流水线抽象	自动解析纯Python函数之间的依赖关系，并使用Kedro-Viz进行数据流水线可视化。
编码标准	使用pytest进行测试驱动开发，利用Sphinx编写文档齐全的代码，借助ruff的支持生成经过静态检查的代码，并使用标准的Python日志记录库。
灵活的部署	支持单机或分布式机器部署的策略，同时还支持在Argo、Prefect、Kubeflow、AWS Batch和Databricks等平台上部署。

我如何使用 Kedro？

Kedro 文档 首先介绍了如何安装 Kedro，随后讲解了Kedro 的核心概念。

接下来，您可以参考 spaceflights 教程 来构建一个 Kedro 项目，以获得实际操作经验。

对于初学者和中级用户，文档中还有一节全面的内容，介绍如何使用 Kedro-Viz 可视化 Kedro 项目。

使用 Kedro-Viz 生成的管道可视化图

此外，文档还说明了如何将 Kedro 与 Jupyter Notebook 结合使用，并提供了一系列针对 Kedro 核心功能的高级用户指南。我们还建议您查阅 API 参考文档，以获取更多详细信息。

为什么会有 Kedro？

Kedro 是基于我们在交付涉及大量未经验证原始数据的真实世界机器学习应用过程中积累的最佳实践（以及教训）而构建的。我们开发 Kedro 的目标是：

• 解决 Jupyter Notebook、一次性脚本和胶水代码的主要缺陷，因为其重点在于 创建可维护的数据工程和数据科学代码
• 提升团队协作效率，尤其是在团队成员对软件工程概念的熟悉程度各不相同的情况下
• 提高效率，因为模块化和关注点分离等实践理念能够促进可重用分析代码的产生

如需了解更多关于 Kedro 如何满足您的使用场景，请参阅 Kedro 官网上的产品常见问题解答。

Kedro 背后的团队

Kedro 产品团队 以及来自全球的众多开源贡献者共同维护着 Kedro。

我可以参与贡献吗？

当然可以！我们欢迎各种形式的贡献。请查看我们的参与 Kedro 贡献指南。

我还能在哪里了解更多？

围绕 Kedro 的社区正在不断壮大。我们鼓励您在 Slack 上提出和回答技术问题，并将 Linen 历史讨论存档 收藏起来。

我们在 Kedro 文档中的技术 FAQ 列表 中整理了常见问题，同时在 awesome-kedro GitHub 仓库 上也汇集了越来越多使用 Kedro 的博客文章、视频和项目。如果您使用 Kedro 开发了任何内容，我们非常乐意将其加入该列表——只需提交一个 PR 即可！

我该如何引用 Kedro？

如果您是学术界人士，Kedro 同样可以帮助您，例如作为解决可重复性研究问题的工具。请使用我们仓库上的“引用此仓库”按钮，从 CITATION.cff 文件中生成引用格式。

Python 版本支持政策

• 核心 Kedro 框架 支持由 CPython 核心团队积极维护的所有 Python 版本。当某个 Python 版本达到生命周期结束时，Kedro 将停止对该版本的支持。这并不被视为破坏性变更。
• Kedro Datasets 包遵循 NEP 29 Python 版本支持政策。这意味着 kedro-datasets 通常会比 kedro 更早停止对某些 Python 版本的支持。这是因为 kedro-datasets 依赖较多遵循 NEP 29 政策的库，而 Kedro 框架更为保守的版本支持策略使得管理这些依赖变得较为困难。

☕️ Kedro Coffee Chat 🔶

我们珍视社区，并希望保持紧密联系。为此，我们定期举办公开的 Coffee Chat 活动，每两周分享 Kedro 的最新动态和精彩内容，并留出时间让您现场提问。

请访问 Kedro Coffee Chat 维基页面，了解即将举行的演示主题和日期。

关注我们的 Slack 公告频道，以获取 Kedro Coffee Chat 的最新消息及演示录像。

Kedro 快速上手指南

Kedro 是一个用于构建生产级数据工程和数据科学流水线的 Python 框架。它通过软件工程最佳实践，帮助你创建可复现、易维护且模块化的数据流水线。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.10, 3.11, 3.12 或 3.13
• 包管理工具：推荐使用 uv (高速替代 pip) 或 conda
• 前置知识：具备基础的 Python 编程能力

提示：强烈建议在虚拟环境中安装 Kedro 以避免依赖冲突。

安装步骤

你可以选择以下任意一种方式进行安装：

方式一：使用 uv (推荐，速度更快)

uv pip install kedro

方式二：使用 conda

conda install -c conda-forge kedro

方式三：安装最新开发版 (从源码)

如果你需要体验尚未正式发布的最新功能：

uv pip install git+https://github.com/kedro-org/kedro@main

基本使用

以下是创建一个新项目并运行流水线的最小化流程：

1. 创建新项目

使用 kedro new 命令初始化一个基于标准模板的项目。系统会交互式地询问项目名称、仓库名称和 Python 包名。

kedro new --starter=spaceflights

(注：--starter=spaceflights 会直接加载官方提供的示例项目，适合新手快速体验)

2. 进入项目目录

cd <your-project-name>

3. 查看流水线依赖

Kedro 会自动解析节点之间的依赖关系。你可以使用以下命令查看项目结构：

kedro viz

(这将启动 Kedro-Viz 可视化界面，在浏览器中展示数据流水线图)

4. 运行流水线

执行整个项目的默认流水线：

kedro run

运行成功后，Kedro 将根据 catalog.yml 配置自动加载数据、执行处理函数并保存结果。

5. 下一步

• 开发节点：在 src/<package_name>/nodes/ 目录下编写具体的数据处理逻辑。
• 配置数据：在 conf/base/catalog.yml 中定义数据的输入输出路径和格式。
• 测试代码：使用内置的 pytest 配置运行测试：kedro test。