ydata-profiling

文档 | Discord | Stack Overflow | 最新更新日志

您喜欢这个项目吗？请给我们点个赞并提供反馈吧！立即反馈！

ydata-profiling 的主要目标是提供一种一致且快速的一行式探索性数据分析（EDA）体验。就像 pandas 的 df.describe() 函数那样方便实用，ydata-profiling 能够对 DataFrame 进行扩展分析，并支持将分析结果导出为多种格式，如 html 和 json。

该包会输出一份简洁、易懂的数据集分析报告，涵盖 时间序列 和 文本 数据。

您在寻找一种可扩展的解决方案，能够与您的数据库系统完全集成吗？
使用 YData Fabric 数据目录连接不同的数据库和存储系统（Oracle、Snowflake、PostgreSQL、GCS、S3 等），并在 Fabric 中享受交互式、引导式的数据概览体验。请查看 社区版。

▶️ 快速入门

安装

pip install ydata-profiling

或

conda install -c conda-forge ydata-profiling

开始分析

首先像平常一样加载您的 pandas DataFrame，例如：

import numpy as np
import pandas as pd
from ydata_profiling import ProfileReport

df = pd.DataFrame(np.random.rand(100, 5), columns=["a", "b", "c", "d", "e"])

要生成标准的分析报告，只需运行：

profile = ProfileReport(df, title="Profiling Report")

📊 主要功能

• 类型推断：自动检测列的数据类型（分类、数值、日期等）
• 警告：汇总数据中可能需要处理的问题与挑战（缺失数据、不准确、偏态等）
• 单变量分析：包括描述性统计（均值、中位数、众数等）以及分布直方图等信息丰富的可视化图表
• 多变量分析：包括相关性分析、对缺失数据和重复行的详细分析，以及变量两两交互的可视化支持
• 时间序列：针对时间依赖型数据提供多种统计信息，如自相关性和季节性，并附带 ACF 和 PACF 图。
• 文本分析：最常见的类别（大写、小写、分隔符）、脚本（拉丁文、西里尔文）以及区块（ASCII、西里尔文）
• 文件与图像分析：文件大小、创建日期、尺寸、截断图像的提示以及 EXIF 元数据的存在与否
• 比较数据集：一行式解决方案，可快速生成完整的数据集比较报告
• 灵活的输出格式：所有分析均可导出为 HTML 报告，便于与各方共享；也可导出为 JSON 格式，方便集成到自动化系统中；还可作为小部件嵌入 Jupyter Notebook。

报告包含三个附加部分：

• 概述：主要是关于数据集的全局信息（记录数、变量数、总体缺失与重复情况、内存占用）
• 警报：全面且自动化的潜在数据质量问题列表（高相关性、偏态、均匀性、零值、缺失值、常数等）
• 重现性：分析的技术细节（时间、版本与配置）

🎁 最新功能

• 想要扩展规模吗？请查看最新发布的带有 ⭐⚡【Spark 支持】的版本！链接
• 想了解如何进行时间序列的 EDA 吗？请查看这篇博客文章。
• 想比较两个数据集并生成报告吗？请查看这篇博客文章

✨ Spark

Spark 支持已经发布，但我们始终欢迎更多志愿者加入 👐。 查看当前正在进行的工作！

📝 使用场景

YData-Profiling 可用于实现多种不同的使用场景。文档中提供了相应的指南、技巧与窍门，以帮助您应对这些场景：

使用场景	描述
比较数据集	比较同一数据集的多个版本
对时间序列数据集进行分析	仅需一行代码即可生成时间序列数据集的报告
对大型数据集进行分析	关于如何准备数据以及配置 ydata-profiling 以处理大型数据集的实用建议
处理敏感数据	生成在输入数据集中充分考虑敏感数据的报告
数据集元数据与数据字典	通过补充数据集详细信息及列级数据字典来完善报告
自定义报告外观	更改报告页面及其所含可视化图表的外观
对数据库进行分析	为在贵组织的数据库中实现无缝分析体验，请参阅 Fabric 数据目录，该工具支持从多种存储类型中获取数据，包括关系型数据库（如 Azure SQL、PostgreSQL、Oracle 等）以及对象存储（如 Google Cloud Storage、AWS S3、Snowflake 等）。

在 Jupyter Notebook 中使用

在 Jupyter Notebook 中有两种方式可以查看报告：通过小部件和通过嵌入式 HTML 报告。

上述效果只需将报告以一组小部件的形式显示即可。在 Jupyter Notebook 中，运行以下代码：

profile.to_widgets()

HTML 报告也可以类似地直接嵌入到单元格中：

profile.to_notebook_iframe()

将报告导出为文件

要生成 HTML 格式的报告文件，可先将 ProfileReport 保存为一个对象，然后调用 to_file() 函数：

profile.to_file("your_report.html")

或者，也可以将报告数据以 JSON 文件形式获取：

# 作为 JSON 字符串
json_data = profile.to_json()

# 作为文件
profile.to_file("your_report.json")

在命令行中使用

对于标准格式的 CSV 文件（无需额外设置即可被 pandas 直接读取），可在命令行中使用 ydata_profiling 可执行文件。下面的示例通过处理 data.csv 数据集，使用名为 default.yaml 的配置文件，生成一份名为 Example Profiling Report 的报告，并将其保存为 report.html 文件。

ydata_profiling --title "Example Profiling Report" --config_file default.yaml data.csv report.html

有关 CLI 的更多详细信息，请参阅文档。

👀 示例

以下示例展示了该软件包在多种数据集和数据类型上的强大功能：

• Census Income（美国成人普查数据，涉及收入与其他人口统计特征的关系）
• NASA Meteorites（全面的陨石着陆数据——包括陨石的物理属性与地理位置）
• Titanic（堪称“数据集中的奇迹”）
• NZA（来自荷兰医疗保健局的开放数据）
• Stata Auto（1978年汽车数据）
• Colors（一个简单的颜色数据集）
• Vektis（荷兰Vektis医疗保健数据）
• UCI银行营销数据集（某银行的营销数据集）
• 俄语词汇（100个最常见的俄语单词，展示Unicode文本分析）
• 网站可访问性（网站可访问性分析，展示对URL数据的支持）
• 橙子价格和
• 煤炭价格（简单的价格演变数据集，展示主题化选项）
• 美国空气质量（时间序列空气质量数据集的探索性数据分析示例）
• HCC（来自医疗保健领域的开放数据，展示预处理前后两组数据的对比）

🛠️ 安装

更多详细信息，包括小部件支持的相关内容，可在文档中查看。

使用 pip

您可以通过运行以下命令使用 pip 包管理器进行安装：

pip install -U ydata-profiling

附加组件

该软件包声明了“附加组件”，即一组额外的依赖项。

• [notebook]：支持在 Jupyter Notebook 小部件中渲染报告。
• [unicode]：支持更详细的 Unicode 分析，但会占用更多磁盘空间。
• [pyspark]：支持使用 PySpark 进行大数据集分析。

您可以使用以下命令安装这些附加组件：

pip install -U ydata-profiling[notebook,unicode,pyspark]

使用 conda

您可以通过运行以下命令使用 conda 包管理器进行安装：

conda install -c conda-forge ydata-profiling

从源码安装（开发版）

通过克隆仓库或点击下载 ZIP来下载最新稳定版本的源代码。

进入相应目录后，运行以下命令即可安装：

pip install -e .

剖析报告以 HTML 和 CSS 编写，因此需要现代浏览器才能正常显示。

运行该软件包需要 Python 3。其他依赖项可在需求文件中找到：

文件名	需求
requirements.txt	软件包需求
requirements-dev.txt	开发需求
requirements-test.txt	测试需求
setup.py	小部件等的需求

🔗 集成

为了在实际应用场景中发挥最大效用，ydata-profiling 与数据科学生态系统中的各类参与者建立了多方面的隐式与显式集成：

集成类型	描述
其他 DataFrame 库	如何对存储在非 Pandas 库中的数据进行分析与剖析
Great Expectations	直接从剖析报告生成 Great Expectations 的期望套件
交互式应用	将剖析报告嵌入到 Streamlit、Dash 或 Panel 应用中
工作流	与 DAG 工作流执行工具的集成，如 Airflow 或 Kedro
云服务	在托管计算服务中使用 ydata-profiling，例如 Lambda、Google Cloud 或 Kaggle
IDE	直接在集成开发环境（如 PyCharm）中使用 ydata-profiling

🙋 支持

需要帮助？想分享观点？报告 bug？提出合作建议？请通过以下渠道联系我们：

• Stack Overflow：适合咨询如何使用该包的问题。
• GitHub Issues：用于提交 bug、改进建议及功能需求。
• Discord：适合项目讨论、提问、合作以及日常交流。

需要帮助吗？
通过预约一场“Pawsome 聊天”即可获得产品负责人解答！预订链接！🐼

❗ 在 GitHub 上提交问题之前，请先查看 常见问题。

🤝🏽 贡献

了解如何参与贡献，请参阅 贡献指南。

一个门槛较低的提问或开始贡献的地方是 Data Centric AI Community 的 Discord。

衷心感谢所有杰出的贡献者！

贡献者墙由 contrib.rocks 制作。

ydata-profiling 快速上手指南

环境准备

• 系统要求：Python 3.7+
• 前置依赖：需提前安装 pandas 和 numpy（通过 pip install pandas numpy 安装）

安装步骤

推荐使用国内镜像加速安装（中国大陆用户首选）：

pip install ydata-profiling -i https://pypi.tuna.tsinghua.edu.cn/simple

或使用 Conda：

conda install -c conda-forge ydata-profiling

基本使用

以下是最简示例（直接生成 HTML 报告）：

import numpy as np
import pandas as pd
from ydata_profiling import ProfileReport

# 创建示例数据
df = pd.DataFrame(np.random.rand(100, 5), columns=["a", "b", "c", "d", "e"])

# 生成分析报告
profile = ProfileReport(df, title="数据概览报告")

# 保存为 HTML 文件
profile.to_file("report.html")

执行后将生成 report.html 文件，包含：

• 数据类型自动推断
• 缺失值/异常值警告
• 单变量/多变量统计分析
• 可视化图表（分布直方图、相关性矩阵等）

提示：在 Jupyter Notebook 中直接显示报告：

profile.to_widgets()  # 以交互式组件形式展示