featuretools

GitHub
7.6k 908 非常简单 1 次阅读 2天前BSD-3-Clause其他数据工具开发框架
AI 解读 由 AI 自动生成,仅供参考

Featuretools 是一款专为自动化特征工程设计的开源 Python 库。在机器学习项目中,从原始数据中构建高质量特征往往是最耗时且最依赖人工经验的环节,Featuretools 正是为了解决这一痛点而生。它能够自动分析多表关联数据(如包含时间戳的客户交易记录),通过深度特征合成(DFS)算法,智能地组合和转换数据,瞬间生成成百上千个潜在特征,从而将数据科学家从繁琐的手工编码中解放出来。

这款工具特别适合数据科学家、机器学习工程师以及研究人员使用。无论是需要快速构建基线模型的开发人员,还是希望探索更多特征可能性的算法研究员,都能从中受益。即使是不具备深厚领域知识的初学者,也能利用它快速从复杂的数据关系中提取有价值的信息。

Featuretools 的核心亮点在于其独特的“实体集”(EntitySet)概念和对多表数据的原生支持。它不仅能处理简单的单表数据,更能理解表与表之间的关联,自动跨越表格边界进行聚合和变换操作。此外,它还支持自然语言处理(NLP)扩展和分布式计算(Dask),能够灵活应对各种复杂场景。通过标准化和自动化特征构建流程,Featuretools 让团队能更专注于模型优化与业务洞察,显著提升机器学习工作流的效率。

使用场景

某电商数据科学团队正致力于构建用户流失预测模型,需要基于分散在客户、会话和交易三张表中的历史行为数据提取高价值特征。

没有 featuretools 时

  • 人工编码效率极低:数据科学家需花费数周时间手动编写复杂的 SQL 聚合语句和 Python 循环,以计算“用户过去 30 天平均消费额”或“最大单笔交易金额”等基础指标。
  • 深层关系难以挖掘:面对多表关联,人工很难跨越层级去构造组合特征(如“每次会话中交易金额的标准差的总和”),导致大量隐含模式被遗漏。
  • 特征一致性差:不同成员编写的特征逻辑风格不一,容易出现统计口径错误,且代码复用性低,维护成本高昂。
  • 迭代周期漫长:每当业务增加新数据字段,整个特征工程流程需推倒重来,严重拖慢模型上线和验证的速度。

使用 featuretools 后

  • 自动化生成海量特征:只需定义好实体关系,featuretools 即可通过深度特征合成(DFS)技术在几分钟内自动生成数百个跨表聚合特征,覆盖计数、求和、趋势等多种变换。
  • 自动探索复杂交互:工具能自动递归地组合基础算子,轻松发现人工难以想到的深层嵌套特征(如会话层级的偏度再聚合),显著提升模型区分度。
  • 标准化与可复现:所有特征生成逻辑由统一算法驱动,消除了人为编码误差,生成的特征定义清晰可追溯,便于团队协作和审计。
  • 敏捷响应业务变化:当新增数据列时,仅需重新运行 DFS 流程,featuretools 会自动将其纳入计算体系,将特征迭代周期从数周缩短至数小时。

featuretools 将数据科学家从繁琐的手工特征构造中解放出来,使其能专注于更高价值的模型策略与业务洞察。

运行环境要求

操作系统
  • 未说明
GPU

未说明

内存

未说明

依赖
notes该工具是一个用于自动化特征工程的 Python 库,支持通过 pip 或 conda 安装。若需使用分布式计算加速(多核并行),需额外安装 dask 扩展包(featuretools[dask])。若需使用自然语言处理或高级预定义特征原语,需分别安装 nlp 或 premium 扩展包。文档未明确列出具体的操作系统、Python 版本及硬件资源需求,通常兼容主流 Python 数据科学生态环境。
python未说明
pandas
numpy
scipy
dask (可选)
featuretools hero image

快速开始

Featuretools

“机器学习的圣杯之一,就是让特征工程的过程越来越自动化。” ― 佩德罗·多明戈斯,《关于机器学习的一些有用知识》

测试 文档状态 PyPI版本 Anaconda版本 StackOverflow PyPI下载量


Featuretools 是一个用于自动化特征工程的 Python 库。更多信息请参阅 文档

安装

使用 pip 安装:

python -m pip install featuretools

或者从 Conda-forge 频道通过 [conda] 安装:

conda install -c conda-forge featuretools

插件

您可以单独安装插件,也可以一次性全部安装,方法是运行:

python -m pip install "featuretools[complete]"

高级原语 - 使用 premium-primitives 仓库中的高级原语:

python -m pip install "featuretools[premium]"

NLP 原语 - 使用 nlp-primitives 仓库中的自然语言处理原语:

python -m pip install "featuretools[nlp]"

Dask 支持 - 使用 Dask 在 DFS 中启用多线程(njobs > 1):

python -m pip install "featuretools[dask]"

示例

以下是使用深度特征合成(DFS)进行自动化特征工程的示例。在本例中,我们将 DFS 应用于包含带时间戳的客户交易记录的多表数据集。

>> import featuretools as ft
>> es = ft.demo.load_mock_customer(return_entityset=True)
>> es.plot()

Featuretools 可以自动为任意“目标数据框”创建单个特征表。

>> feature_matrix, features_defs = ft.dfs(entityset=es, target_dataframe_name="customers")
>> feature_matrix.head(5)
            zip_code  COUNT(transactions)  COUNT(sessions)  SUM(transactions.amount) MODE(sessions.device)  MIN(transactions.amount)  MAX(transactions.amount)  YEAR(join_date)  SKEW(transactions.amount)  DAY(join_date)                   ...                     SUM(sessions.MIN(transactions.amount))  MAX(sessions.SKEW(transactions.amount))  MAX(sessions.MIN(transactions.amount))  SUM(sessions.MEAN(transactions.amount))  STD(sessions.SUM(transactions.amount))  STD(sessions.MEAN(transactions.amount))  SKEW(sessions.MEAN(transactions.amount))  STD(sessions.MAX(transactions.amount))  NUM_UNIQUE(sessions.DAY(session_start))  MIN(sessions.SKEW(transactions.amount))
customer_id                                                                                                                                                                                                                                  ...
1              60091                  131               10                  10236.77               desktop                      5.60                    149.95             2008                   0.070041               1                   ...                                                     169.77                                 0.610052                                   41.95                               791.976505                              175.939423                                 9.299023                                 -0.377150                                5.857976                                        1                                -0.395358
2              02139                  122                8                   9118.81                mobile                      5.81                    149.15             2008                   0.028647              20                   ...                                                     114.85                                 0.492531                                   42.96                               596.243506                              230.333502                                10.925037                                  0.962350                                7.420480                                        1                                -0.470007
3              02139                   78                5                   5758.24               desktop                      6.78                    147.73             2008                   0.070814              10                   ...                                                      64.98                                 0.645728                                   21.77                               369.770121                              471.048551                                 9.819148                                 -0.244976                               12.537259                                        1                                -0.630425
4              60091                  111                8                   8205.28               desktop                      5.73                    149.56             2008                   0.087986              30                   ...                                                      83.53                                 0.516262                                   17.27                               584.673126                              322.883448                                13.065436                                 -0.548969                               12.738488                                        1                                -0.49716ig
5              02139                   58                4                   4571.37                tablet                      5.91                    148.17             2008                   0.085883              19                   ...                                                      73.09                                 0.830112                                   27.46                               313.448942                              198.522508                                 8.950528                                  0.098885                                5.599228                                        1                                -0.396571

[5 rows x 69 columns]

现在我们已经为每个客户生成了一个可用于机器学习的特征向量。更多示例请参阅 深度特征合成文档

Featuretools 包含许多不同类型的内置基元来创建特征。如果所需的基元未包含在内,Featuretools 还允许您 定义自己的自定义基元

演示

预测下一次购买

仓库 | 笔记本

在本次演示中,我们使用来自 Instacart 的 300 万条在线杂货订单多表数据集来预测客户下次将购买什么。我们展示了如何通过自动化特征工程生成特征,并利用 Featuretools 构建一个准确的机器学习流水线,该流水线可重复用于多个预测问题。对于高级用户,我们还演示了如何使用 Dask 将该流水线扩展到大型数据集。

有关如何使用 Featuretools 的更多示例,请查看我们的 演示页面

测试与开发

Featuretools 社区欢迎 Pull Request。测试和开发说明可在 此处找到。

支持

Featuretools 社区乐于为 Featuretools 的用户提供支持。根据问题类型,项目支持可通过以下四种方式获取:

  1. 如有使用方面的问题,请在 Stack Overflow 上使用 featuretools 标签提问。
  2. 如遇到 bug、问题或功能请求,请在 Github 上提交 issue。
  3. 如需讨论核心库的开发相关话题,请加入 Slack 频道。
  4. 对于其他任何问题,可发送邮件至 open_source_support@alteryx.com 联系核心开发者。

引用 Featuretools

如果您使用了 Featuretools,请考虑引用以下论文:

James Max Kanter, Kalyan Veeramachaneni. 深度特征合成:迈向数据科学工作的自动化。 IEEE DSAA 2015

BibTeX 条目如下:

@inproceedings{kanter2015deep,
  author    = {James Max Kanter and Kalyan Veeramachaneni},
  title     = {Deep feature synthesis: Towards automating data science endeavors},
  booktitle = {2015 {IEEE} International Conference on Data Science and Advanced Analytics, DSAA 2015, Paris, France, October 19-21, 2015},
  pages     = {1--10},
  year      = {2015},
  organization={IEEE}
}

由 Alteryx 构建

Featuretools 是由 Alteryx 维护的开源项目。如需了解我们正在开展的其他开源项目,请访问 Alteryx Open Source。如果构建具有影响力的数据科学流水线对您或您的企业至关重要,请随时与我们联系。

Alteryx Open Source

版本历史

v1.31.02024/05/14
v1.30.02024/02/26
v1.29.02024/02/16
v1.28.02023/10/26
v1.27.02023/07/24
v1.26.02023/04/27
v1.25.02023/04/13
v1.24.02023/03/29
v1.23.02023/02/15
v1.22.02023/01/31
v1.21.02023/01/18
v1.20.02023/01/05
v1.19.02022/12/09
v1.18.02022/11/15
v1.17.02022/10/31
v1.16.02022/10/24
v1.15.02022/10/06
v1.15.0.dev02022/10/05
v1.14.02022/09/01
v1.13.02022/08/18

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

158.1k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|6天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|1周前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架