什么是 Featureform？

Featureform 是一个虚拟特征存储库。它使数据科学家能够定义、管理和提供其机器学习模型的特征。Featureform 构建在您现有的基础设施之上，并对其进行编排，使其像传统的特征存储库一样工作。 通过使用 Featureform，数据科学团队可以解决以下组织问题：

• 增强协作 Featureform 确保转换、特征、标签和训练集以标准化形式定义，以便在整个团队中轻松共享、重用和理解。
• 组织实验 无标题_128.ipynb 的时代已经过去。转换、特征和训练集可以从笔记本推送到具有名称、变体、血统和所有者等元数据的集中式特征仓库。
• 促进部署 一旦特征准备好部署，Featureform 将编排您的数据基础设施，使其在生产环境中就绪。使用 Featureform API，您无需担心异构基础设施的特殊性（除了它们的转换语言之外）。
• 提高可靠性 Featureform 强制要求所有特征、标签和训练集都是不可变的。这使得它们可以在数据科学家之间安全地重用，而无需担心逻辑发生变化。此外，Featureform 的编排器会自动处理重试逻辑并尝试解决其他常见的分布式系统问题。
• 保持合规性 通过内置的角色基于访问控制、审计日志和动态服务规则，您的合规性逻辑可以直接由 Featureform 强制执行。

更多阅读

• 特征存储库解析：三种常见架构

为什么 Featureform 独特？

利用您现有的数据基础设施。 Featureform 并不会取代您现有的基础设施。相反，Featureform 将您现有的基础设施转变为一个特征存储库。由于对基础设施具有通用性，团队可以选择合适的数据基础设施来解决其处理问题，而 Featureform 则在其之上提供了一个特征存储库抽象层。Featureform 编排和管理转换，而不是实际进行计算。计算任务被卸载到组织现有的数据基础设施上。因此，Featureform 更类似于一个框架和工作流，而不是额外的数据基础设施。

专为单个数据科学家和大型企业团队设计 无论您是单个数据科学家还是大型企业组织的一员，Featureform 都可以让您将转换、特征和训练集的定义记录并推送到一个集中式仓库。它适用于从笔记本电脑到大型异构云部署的各种环境。

• 本地工作的单个数据科学家: 无标题_128.ipynb、df_final_final_7 和数百个未文档化的数据集版本的时代已经结束。在笔记本中工作的数据科学家可以将转换、特征和训练集的定义推送到一个集中式的本地仓库。
• 拥有生产部署的单个数据科学家: 注册您的 PySpark 转换，让 Featureform 编排您的从 Spark 到 Redis 的数据基础设施，并监控基础设施和数据。
• 数据科学团队: 共享、重用并相互学习彼此的转换、特征和训练集。Featureform 标准izes了机器学习资源的定义方式，并提供了搜索和发现的接口。它还维护变更历史，允许不同版本的特征存在，并强制实施不可变性，以解决资源共享中最常见的失败情况。
• 数据科学组织: 企业通常对其数据和特征的访问控制有各种不同的规则。这些规则可能基于数据科学家的角色、模型的类别，或根据用户输入数据动态决定（例如，用户位于欧洲并受 GDPR 约束）。所有这些规则都可以指定，Featureform 将强制执行它们。数据科学家可以确保遵守组织的治理规则，而无需修改其工作流程。

原生嵌入支持 Featureform 从一开始就以嵌入为目标进行构建。它支持向量数据库作为推理和训练存储。Transformer 模型可以用作转换，从而实现嵌入表的版本化和可靠再生。我们甚至创建并开源了一个流行的向量数据库 Emeddinghub。

开源 Featureform 可在 Mozilla Public License 2.0 许可下免费使用。

Featureform 抽象层

实际上，特征的定义分散在不同的基础设施组件中：数据源、转换逻辑、推理存储、训练存储，以及它们各自的基础数据设施。然而，数据科学家通常会以逻辑形式来思考特征，例如“用户的平均购买价格”。Featureform 允许数据科学家通过转换、提供者、标签和训练集资源，以逻辑形式定义特征。随后，Featureform 会协调底层的实际组件，以实现数据科学家所期望的状态。

如何使用 Featureform

Featureform 可以在本地基于文件运行，也可以与您现有的基础设施一起部署在 Kubernetes 集群中。

Kubernetes

在 Kubernetes 上运行 Featureform 可以连接到您现有的云基础设施，同时也可以在 Minikube 上进行本地部署。

如需了解如何在云端运行，请参阅我们的 Kubernetes 部署文档。

若想在单个 Docker 容器中试用 Featureform，请参考我们的 Docker 快速入门指南。

贡献

• 如需为 Featureform 做贡献，请查看 贡献文档。
• 欢迎加入我们的社区！请访问 Slack 加入我们。

提交问题

如果您在使用 Featureform 时遇到任何问题，请帮助我们通过 提交问题 来反馈。

许可证

• Mozilla 公共许可证 2.0 版

Featureform 快速上手指南

Featureform 是一个**虚拟特征存储（Virtual Feature Store）**工具。它不替换你现有的数据基础设施，而是作为一层抽象，协调现有的数据源、转换逻辑和存储系统，帮助数据科学家统一地定义、管理和部署机器学习特征。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python 版本：3.7, 3.8, 3.9 或 3.10
• 前置依赖：
  • pip (Python 包管理工具)
  • (可选) Docker 或 Kubernetes：如果你计划使用容器化部署或连接云基础设施。
  • (可选) 现有数据基础设施：如 Spark, Redis, Snowflake 等（Featureform 将协调这些工具进行实际计算）。

安装步骤

你可以直接通过 PyPI 安装 Featureform 的 Python 客户端库。

pip install featureform

提示：国内开发者若遇到下载速度慢的问题，可使用清华或阿里镜像源加速安装：

pip install featureform -i https://pypi.tuna.tsinghua.edu.cn/simple

若你需要运行本地服务端进行测试，推荐使用 Docker 快速启动（需先安装 Docker）：

docker run -p 8080:8080 featureform/featureform

基本使用

Featureform 的核心工作流是：定义资源 -> 注册到仓库 -> 由编排器调度执行。以下是一个最简化的本地使用示例，展示如何定义数据源、转换逻辑和训练集。

1. 初始化客户端

首先，导入库并连接到本地实例（或远程集群）。

import featureform as ff

# 连接到本地运行的 Featureform 实例
client = ff.Client(host="localhost:8080")

2. 定义数据源与转换

假设我们有一个包含用户交易数据的 CSV 文件，我们需要定义一个特征："用户的平均购买价格"。

# 注册一个本地文件作为数据源
@client.register_file(
    name="user_transactions",
    version="1.0",
    path="./data/transactions.csv",
    description="Raw user transaction data"
)
def user_transactions_source():
    pass

# 定义转换逻辑：计算平均购买价格
@client.df_transformation(
    name="avg_purchase_price",
    version="1.0",
    inputs=[("user_transactions", "1.0")],
    description="Calculates the average purchase price per user"
)
def avg_purchase_price_df(transactions):
    # 使用 Pandas/Spark 语法进行转换
    return transactions.groupby("user_id").agg({"price": "mean"}).rename(columns={"price": "avg_price"})

3. 定义特征与训练集

将上述转换结果注册为特征，并构建用于模型训练的训练集。

# 注册特征
@client.feature(
    name="user_avg_price",
    version="1.0",
    transformation=("avg_purchase_price", "1.0"),
    description="Average price of purchases for a user"
)
def user_avg_price():
    pass

# 定义标签 (Label) - 例如：用户是否流失
@client.label(
    name="user_churn",
    version="1.0",
    source=("user_transactions", "1.0"),
    description="Whether the user has churned"
)
def user_churn_label():
    pass

# 创建训练集
@client.training_set(
    name="churn_prediction_dataset",
    version="1.0",
    features=[("user_avg_price", "1.0")],
    labels=[("user_churn", "1.0")]
)
def churn_training_set():
    pass

4. 应用变更

将定义的元数据推送到 Featureform 仓库。如果是本地模式，这会更新本地元数据存储；如果是生产模式，Featureform 将开始编排底层基础设施（如触发 Spark 任务）来物化这些特征。

# 提交所有定义
client.apply()

5. 获取特征数据

在模型训练或推理阶段，可以通过 API 获取生成的训练集数据。

# 获取训练集数据 (返回 Pandas DataFrame 或其他格式，取决于配置)
training_data = client.get_training_set("churn_prediction_dataset", "1.0")

print(training_data.head())

---

下一步建议：

• 对于生产环境，请参考官方文档配置 Kubernetes 部署以连接您的云数据仓库（如 Snowflake, BigQuery）和在线存储（如 Redis）。
• 加入社区 Slack 频道交流最佳实践。