自然语言处理实战

使用这些自然语言处理、文本挖掘和机器学习的代码示例及工具，解决现实世界中的文本数据问题。

笔记本/源代码

第一列中的链接将带您进入包含源代码的子文件夹或仓库。

任务	相关文章	源代码类型	描述
大规模短语提取	phrase2vec文章	Python脚本	使用PySpark从大量数据中提取短语。利用这些短语对文本进行标注，或将它们用于其他下游任务。
适用于Jupyter Notebook和Python Web应用的词云	word_cloud文章	Python脚本 + 笔记本	使用词频或TF-IDF可视化热门关键词
Gensim Word2Vec（附数据集）	word2vec文章	笔记本	如何正确使用Word2Vec以获得理想结果
使用Spark读取文件并统计词频	Spark文章	Python脚本	如何使用PySpark读取不同格式的文件，并提供词频统计示例
使用TF-IDF和SKLearn提取关键词（附数据集）	tfidf文章	笔记本	如何使用TF-IDF和Python的SKLEARN从文本中提取有意义的关键词
文本预处理	文本预处理文章	笔记本	几段代码片段，介绍如何进行文本预处理，包括词干提取、噪声去除、词形还原和停用词移除。
TFIDFTransformer与TFIDFVectorizer	TFIDFTransformer和TFIDFVectorizer使用文章	笔记本	如何正确使用TFIDFTransformer和TFIDFVectorizer，以及两者的区别和适用场景。
使用Gensim访问预训练词嵌入	预训练词嵌入文章	笔记本	如何使用Gensim访问预训练的GloVe和Word2Vec词嵌入，并展示如何利用这些嵌入计算文本相似度的示例。
Python中的文本分类（附新闻数据集）	使用逻辑回归进行新闻分类的文章	笔记本	开始文本分类实践。学习如何使用逻辑回归构建和评估新闻分类器。
CountVectorizer使用示例	如何正确使用CountVectorizer？深度解析文章	笔记本	学习如何最大化利用CountVectorizer，不仅统计词频，还能对文本数据进行适当的预处理，并从文本数据集中提取更多特征。
HashingVectorizer示例	HashingVectorizer与CountVectorizer对比文章	笔记本	了解HashingVectorizer和CountVectorizer的区别，以及何时选择使用哪一种。
CBOW与SkipGram	Word2Vec：CBOW、SkipGram与SkipGramSI比较文章	笔记本	对三种Word2Vec架构的快速比较。

备注

• 更多文章请参阅此列表。
• 如果您希望通过电子邮件接收文章，请订阅我的邮件列表。

联系方式

本仓库由Kavita Ganesan维护。您可以通过LinkedIn或Twitter与我联系。

nlp-in-practice 快速上手指南

nlp-in-practice 是一个包含 NLP、文本挖掘和机器学习代码示例的开源集合，旨在帮助开发者解决真实的文本数据问题。本项目主要提供基于 Python、PySpark、Gensim 和 Scikit-learn 的 Jupyter Notebook 教程与脚本。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.7+
• 核心依赖库：
  • pyspark (用于大规模数据处理)
  • gensim (用于 Word2Vec 和预训练词向量)
  • scikit-learn (用于 TF-IDF, 分类器等)
  • jupyter (用于运行 Notebook)
  • word_cloud (用于词云可视化)
• Java 环境：由于包含 PySpark 示例，系统需安装 JDK 8 或 JDK 11，并配置 JAVA_HOME 环境变量。

安装步骤

建议使用虚拟环境（如 venv 或 conda）进行隔离安装。

1. 克隆项目

git clone https://github.com/kavgan/nlp-in-practice.git
cd nlp-in-practice

2. 安装 Python 依赖

为了加速下载，国内用户推荐使用清华或阿里镜像源。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：如果项目中未直接提供 requirements.txt，请根据子文件夹需求手动安装核心库：

pip install pyspark gensim scikit-learn jupyter word_cloud matplotlib pandas numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证 Spark 环境 (可选但推荐)

确保 spark-submit 可在终端访问，或在 Python 中测试：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("NLP-Practice").getOrCreate()

基本使用

本项目按功能模块划分为多个子目录，每个目录包含对应的 Jupyter Notebook (.ipynb) 或 Python 脚本。以下是三个最常用场景的快速启动示例：

场景一：文本预处理 (Text Preprocessing)

学习如何进行分词、去停用词、词干提取和词形还原。

1. 进入目录：

   cd text-pre-processing
   

2. 启动 Jupyter 并打开笔记：

   jupyter notebook text_preprocessing_tutorial.ipynb
   

3. 核心代码逻辑示例：

   from sklearn.feature_extraction.text import CountVectorizer
   
   # 简单的预处理流程
   documents = ["This is a sample document.", "This document is another example."]
   # 应用去停用词和向量化
   vectorizer = CountVectorizer(stop_words='english')
   X = vectorizer.fit_transform(documents)
   

场景二：关键词提取 (TF-IDF)

使用 Scikit-learn 从文本中提取关键短语。

1. 进入目录：

   cd tf-idf
   

2. 运行示例：

   jupyter notebook tfidf_keyword_extraction.ipynb
   

3. 核心代码逻辑示例：

   from sklearn.feature_extraction.text import TfidfVectorizer
   
   corpus = [
       "this is a sample document",
       "this document is about machine learning"
   ]
   
   vectorizer = TfidfVectorizer(max_features=5)
   tfidf_matrix = vectorizer.fit_transform(corpus)
   
   # 获取特征词
   feature_names = vectorizer.get_feature_names_out()
   

场景三：词向量与相似度 (Word2Vec & Embeddings)

使用 Gensim 加载预训练模型或训练自定义 Word2Vec 模型。

1. 进入目录：

   cd pre-trained-embeddings
   

2. 运行示例：

   jupyter notebook accessing_pretrained_embeddings.ipynb
   

3. 核心代码逻辑示例：

   from gensim.models import KeyedVectors
   
   # 加载预训练的 Google News Word2Vec 模型 (需先下载模型文件)
   # model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
   
   # 或者使用 Gensim 内置的小规模模型进行测试
   from gensim.test.utils import common_texts
   from gensim.models import Word2Vec
   
   model = Word2Vec(sentences=common_texts, vector_size=10, window=2, min_count=1, workers=4)
   similarity = model.wv.similarity('human', 'tree')
   print(f"Similarity: {similarity}")
   

其他模块导航

• 大规模短语提取: cd phrase-at-scale (需配置 PySpark)
• 词云可视化: cd word_cloud
• 文本分类: cd text-classification (基于逻辑回归的新闻分类)
• 向量化工具对比: cd CountVectorizer 或 cd hashingvectorizer

提示：所有详细步骤和参数说明请参考各子目录下的 .ipynb 文件中的 Markdown 单元格，或访问 README 中列出的对应技术文章链接。