从零到英雄：文本预处理、表示与可视化。

从零到英雄 • 安装 • 入门 • 示例 • API • 常见问题解答 • 贡献

从零到英雄

Texthero 是一个 Python 工具包，旨在快速且轻松地处理基于文本的数据集。Texthero 非常易于学习，并专为在 Pandas 基础之上使用而设计。它具备与 Pandas 同样的表达能力和强大功能，并且文档非常详尽。Texthero 具有现代感，专为 2020 年代的程序员打造，即使他们对语言学知识了解不多甚至完全没有。

你可以将 Texthero 看作是帮助你理解和处理文本数据集的工具。对于表格型数据集来说，很容易就能把握其核心概念；然而，对于文本数据集而言，要迅速洞察其背后的数据则相对困难。借助 Texthero，只需几行代码即可完成文本数据的预处理、将其映射为向量，以及可视化得到的向量空间。

Texthero 包含以下工具：

• 文本数据预处理：既提供开箱即用的解决方案，也支持自定义方案。
• 自然语言处理：关键短语和关键词提取，以及命名实体识别。
• 文本表示：TF-IDF、词频，以及自定义词嵌入（开发中）。
• 向量空间分析：聚类（K-means、Meanshift、DBSCAN 和层次聚类）、主题建模（开发中）及结果解释。
• 文本可视化：向量空间可视化、地图上的位置定位（开发中）。

Texthero 是免费的开源工具，并且文档完善——这也是我们最喜欢的地方！

我们希望你在使用 Texthero 的过程中能像我们在开发时一样，感受到其中的乐趣。

你会说西班牙语吗？你会说印地语吗？你会说日语吗？

Texthero 是为整个 NLP 社区开发的。我们知道，面对各种 NLP 工具（NLTK、SpaCy、Gensim、TextBlob、Scikit-learn）是多么令人头疼；因此，我们开发了 Texthero 来简化这一过程。

接下来的主要目标是提供多语言支持，而为了实现这一重要一步，我们需要大家的帮助。你会说西班牙语吗？你会说德语吗？你会说中文吗？你会说日语吗？你会说葡萄牙语吗？你会说意大利语吗？你会说俄语吗？如果你会以上任何一种语言，或者会其他未提及的语言，那么你就可以帮助我们开发多语言支持！即使你之前从未做过贡献，或者刚刚开始接触 NLP，也请联系我们或在 GitHub 上提交一个问题，因为总会有第一次的 :) 我们保证你会学到很多东西，而且……谁知道呢？这也许能帮你找到一份 NLP 开发者的工作！

为了改进这个 Python 工具包并提供更好的体验，你的帮助和反馈至关重要。如果你有任何问题或建议，请在 GitHub 上提交一个问题，我们将非常乐意为你提供支持并协助解决。

测试版

Texthero 的社区正在迅速壮大。不过，Texthero 目前仍处于测试版阶段；很快，一个更快、更好的版本将会发布，并带来一些重大变化。

例如，为了更精细地控制数据处理流程，从下一个版本开始，所有的 preprocessing 函数都将要求输入已经分词后的文本。这将是一项重大变更。

一旦稳定版（Texthero 2.0）发布，将保持向后兼容性。在此之前，虽然也会有一定的向后兼容性，但会相对较弱。

如果你想参与到这场快速发展的浪潮中，千万不要犹豫，立即贡献吧：CONTRIBUTING！

安装

通过 pip 安装 Texthero：

pip install texthero

☝️ 在底层，Texthero 使用了多个 NLP 和机器学习工具包，如 Gensim、NLTK、SpaCy 和 scikit-learn。你无需单独安装这些工具，pip 会自动处理。

为了获得更好的性能，确保你已安装 SpaCy 2.2 或更高版本。同时，建议使用较新的 Python 版本，版本越高越好。

入门

学习 Texthero 的最佳方式是阅读入门文档。

如果你是一位高级 Python 用户，那么直接使用 help(texthero) 也应该足够了。

示例

1. 文本清洗、TF-IDF 表示及可视化

import texthero as hero
import pandas as pd

df = pd.read_csv(
   "https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv"
)

df['pca'] = (
   df['text']
   .pipe(hero.clean)
   .pipe(hero.tfidf)
   .pipe(hero.pca)
)
hero.scatterplot(df, 'pca', color='topic', title="BBC Sport 新闻的 PCA 可视化")

2. 文本预处理、TF-IDF、K-means 聚类及可视化

import texthero as hero
import pandas as pd

df = pd.read_csv(
    "https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv"
)

df['tfidf'] = (
    df['text']
    .pipe(hero.clean)
    .pipe(hero.tfidf)
)

df['kmeans_labels'] = (
    df['tfidf']
    .pipe(hero.kmeans, n_clusters=5)
    .astype(str)
)

df['pca'] = df['tfidf'].pipe(hero.pca)

hero.scatterplot(df, 'pca', color='kmeans_labels', title="BBC Sport 新闻的 K-means 聚类可视化")

3. 简单的文本清洗流水线

>>> import texthero as hero
>>> import pandas as pd
>>> text = "This sèntencé    (123 /) needs to [OK!] be cleaned!   "
>>> s = pd.Series(text)
>>> s
0    This sèntencé    (123 /) needs to [OK!] be cleane...
dtype: object

移除所有数字：

>>> s = hero.remove_digits(s)
>>> s
0    This sèntencé    (  /) needs to [OK!] be cleaned!
dtype: object

移除数字功能仅替换连续的数字块。例如，字符串“hello123”中的数字不会被移除。如果需要移除所有数字，则需将参数only_blocks设置为False。

移除所有类型的括号及其内容。

>>> s = hero.remove_brackets(s)
>>> s 
0    This sèntencé    needs to  be cleaned!
dtype: object

移除变音符号。

>>> s = hero.remove_diacritics(s)
>>> s 
0    This sentence    needs to  be cleaned!
dtype: object

移除标点符号。

>>> s = hero.remove_punctuation(s)
>>> s 
0    This sentence    needs to  be cleaned
dtype: object

移除多余的空格。

>>> s = hero.remove_whitespace(s)
>>> s 
0    This sentence needs to be cleaned
dtype: object

有时我们还想去除停用词。

>>> s = hero.remove_stopwords(s)
>>> s
0    This sentence needs cleaned
dtype: object

API

Texthero由四个模块组成：preprocessing.py、nlp.py、representation.py和visualization.py。

1. 预处理

范围：为后续分析准备文本数据。

完整文档：预处理

2. 自然语言处理

**范围：**提供经典自然语言处理工具，如named_entity和noun_phrases。

完整文档：NLP

2. 表征

**范围：**将文本数据映射为向量，并进行降维。

支持的表征算法：

1. 词频（count）
2. 词频-逆文档频率（tfidf）

支持的聚类算法：

1. K均值（kmeans）
2. 基于密度的空间聚类算法（dbscan）
3. 均值漂移（meanshift）

支持的降维算法：

1. 主成分分析（pca）
2. t分布随机邻域嵌入（tsne）
3. 非负矩阵分解（nmf）

完整文档：表征

3. 可视化

**范围：**总结文本数据的主要特征并进行可视化。该模块具有一定的主观性。对于需要快速在屏幕上可视化文本数据的人来说非常实用，例如在文本探索性数据分析（EDA）过程中。

支持的功能：

• 文本散点图（scatterplot）
• 最常见词汇（top_words）

完整文档：可视化

常见问题解答

为什么叫Texthero？

有时候我们就是希望事情能快速搞定，对吧？Texthero正是为此而生。它让工作更简单，让开发者有更多时间专注于自己的定制需求。我们认为，清理文本只需一分钟就够了。找到文本中最关键的部分以及对其进行表征也同样如此。

从非常务实的角度来看，Texthero只有一个目标：为开发者节省时间。处理文本数据往往很繁琐，但在大多数情况下，使用默认流程就已经足够好了。之后随时可以回过头来优化和完善。

贡献

“Texthero是由NLP社区的一员为整个NLP社区开发的”

Texthero属于我们所有NLP开发者，并且能够持续发展离不开社区的宝贵贡献。

无论你对Python和NLP的掌握程度如何，任何人都可以提供帮助，也热烈欢迎所有人参与贡献！

你是NLP专家吗？

• 提交一个问题告诉我们你对Texthero的看法，哪些地方你喜欢，哪些地方不喜欢，以及我们可以如何改进！

你擅长创建网站吗？

网站很快将从Docusaurus迁移到Sphinx平台：请参阅那里的开放问题。好消息是：网站外观将保持不变 :) 普通消息是：我们需要进行一些网页开发，以使这个Sphinx模板适应我们的需求。你能帮我们吗？

你擅长写作吗？

目前Texthero最缺乏的就是更多的教程和“入门指南”。

如果你擅长写作，就可以帮助我们！为什么不先从为网站添加FAQ页面开始，或者解释一下如何创建自定义管道呢？需要帮助吗？我们随时为你提供支持。

你精通Python吗？

针对技术型人才，有许多开放的问题。你会选择哪一个呢？

如果你还有其他问题或咨询，请发送邮件至jonathanbesomi__AT__gmail.com

贡献者（按时间顺序）

• Selim Al Awwa
• Parth Gandhi
• Dan Keefe
• Christian Claus
• bobfang1992
• Ishan Arora
• Vidya P
• Cedric Conol
• Rich Ramalho

许可证

MIT 许可证（MIT）

版权所有 © 2020 Texthero

特此授予任何人免费获取本软件及相关文档文件（以下简称“软件”）副本的权利，允许其在不受限制的情况下处理软件，包括但不限于以下权利：使用、复制、修改、合并、发布、分发、再许可及出售软件副本，并允许向任何接收方提供软件以供使用，但须遵守以下条件：

上述版权声明及本许可声明应包含在软件的所有副本或实质性部分中。

软件按“原样”提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权性。在任何情况下，作者或版权所有者均不对因合同、侵权或其他原因引起的任何索赔、损害赔偿或其他责任负责，这些责任可能源于或与软件的使用或与其他方面的交易有关。

Texthero 快速上手指南

Texthero 是一个基于 Python 的文本处理工具包，旨在让开发者能够轻松、快速地对文本数据进行预处理、向量化表示和可视化。它构建在 Pandas 之上，语法简洁，非常适合进行探索性数据分析（EDA）。

环境准备

• 操作系统：支持 Windows、macOS 和 Linux。
• Python 版本：建议使用较新的 Python 版本（3.7+），版本越高性能越好。
• 前置依赖：
  • Texthero 底层依赖多个 NLP 和机器学习库（如 Gensim, NLTK, SpaCy, scikit-learn）。
  • 无需手动单独安装这些依赖，pip 在安装 Texthero 时会自动处理。
  • 为了获得更佳性能，请确保安装后 Spacy 版本 >= 2.2。

安装步骤

使用 pip 即可一键安装：

pip install texthero

国内加速提示：如果下载速度较慢，可以使用国内镜像源安装：

pip install texthero -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Texthero 的核心设计理念是与 Pandas 无缝集成，通过 .pipe() 方法链式调用即可完成从清洗到可视化的全流程。

1. 完整流程示例：清洗、TF-IDF 降维与可视化

以下示例展示如何读取数据集，清理文本，将其转换为 TF-IDF 向量，使用 PCA 降维，并绘制散点图。

import texthero as hero
import pandas as pd

# 加载示例数据集
df = pd.read_csv(
   "https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv"
)

# 构建处理管道：清洗 -> TF-IDF 向量化 -> PCA 降维
df['pca'] = (
   df['text']
   .pipe(hero.clean)
   .pipe(hero.tfidf)
   .pipe(hero.pca)
)

# 可视化结果
hero.scatterplot(df, 'pca', color='topic', title="PCA BBC Sport news")

2. 文本清洗示例

Texthero 提供了丰富的预处理函数，可以单独或组合使用来清理文本数据。

import texthero as hero
import pandas as pd

# 原始文本
text = "This sèntencé    (123 /) needs to [OK!] be cleaned!   "
s = pd.Series([text])

# 移除数字块
s = hero.remove_digits(s)

# 移除括号及其内容
s = hero.remove_brackets(s)

# 移除重音符号 (例如 sèntencé -> sentence)
s = hero.remove_diacritics(s)

# 移除标点符号
s = hero.remove_punctuation(s)

# 移除多余空白字符
s = hero.remove_whitespace(s)

# 移除停用词
s = hero.remove_stopwords(s)

print(s)
# 输出: 0    This sentence needs cleaned
# dtype: object

3. 聚类分析示例

结合 K-means 算法对文本进行聚类并可视化：

import texthero as hero
import pandas as pd

df = pd.read_csv(
    "https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv"
)

# 文本向量化
df['tfidf'] = (
    df['text']
    .pipe(hero.clean)
    .pipe(hero.tfidf)
)

# K-means 聚类
df['kmeans_labels'] = (
    df['tfidf']
    .pipe(hero.kmeans, n_clusters=5)
    .astype(str)
)

# PCA 降维用于绘图
df['pca'] = df['tfidf'].pipe(hero.pca)

# 绘制带聚类标签的散点图
hero.scatterplot(df, 'pca', color='kmeans_labels', title="K-means BBC Sport news")