NLP基础知识

• 常用数据集简介
• 推荐更新源
• 打造NLP工具箱
• 如何衡量机器学习分类模型
• 词袋模型和TFIDF模型
• Word2Vec模型和Doc2Vec模型
• 自己动手训练word2vec模型
• 使用多层感知机进行文档分类
• 使用fasttext进行文档分类
• 使用LDA进行文档主题建模
• 使用Jieba进行中文词性标注
• 使用TextRank和TFIDF进行关键字自动提取
• 文档相似度

NLP应用案例

• 对美食评语进行情感分析

让机器理解文字

图像、文字和声音是人类接触、理解外部世界最常见的三种形式，其中文字又是最容易保存和进行交换的形式。大量的人类文明，最终都是以文字的形式保留下来的；大量的信息交换，都是是文字的形式进行。如何能让机器可以与人交流，理解人类的思想，最终能像人类一样理解文字以及文字背后的各种想法、意图呢？自然语言处理，即所谓的NLP是重要的支撑技术。

NLP与安全

在传统的web攻防中，大家与http协议结下了不解之缘。但是在安全领域，web攻防只是很小一个分支。许多明显的与工作和生活无关的垃圾邮件，人一样就可以看出来，但是基于规则的垃圾邮件网关处理起来却总是差强人意。越来越多的电商、论坛甚至是视频网站的弹幕，总是可以看到明显的人身攻击或者违法违规信息，但是基于规则的过滤机制总是被绕过。人类可以很轻松的理解二十四口交换机，知道苹果是水果还是手机，但是机器如何做到呢？答案就是NLP。

一本开源的NLP入门书籍

这可能是第一本用开源的思想写的NLP入门书籍，整个写作过程都在我的Github上。

https://github.com/duoergun0729/nlp

之所以想用开源的思路去写，主要是因为NLP技术，尤其是基于机器学习的NLP技术发展非常快，比如目前已经广泛使用的fasttext技术，2016年发布论文，2017年已经进入大量生产领域，但是许多自然语言处理书籍还停留在大学课程的范围，甚至连词向量都很少涉及。相对周期繁琐的纸质书籍编写，在Github上我可以很方便的进行编写和更新，有勘误也可以很快修改。目前我已经完成了其中的三篇，后面我将不断更新内容，大家可以订阅我的Github，或者关注我的微信公众号《兜哥带你学安全》

License

© 2018~2025 兜哥.

本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。没有我许可的任何使用该书进行的商业行为都是违法。

NLP 开源入门指南快速上手

本指南基于《一本开源的 NLP 入门书籍》项目整理，旨在帮助开发者快速搭建自然语言处理（NLP）学习环境并掌握基础技能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu/CentOS), macOS 或 Windows (需安装 WSL 或 Python 环境)。
• Python 版本：建议安装 Python 3.6 及以上版本。
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆代码仓库)
  • 基础科学计算库：numpy, scipy, scikit-learn
  • 中文分词工具：jieba
  • 深度学习框架（可选，视具体模型而定）：tensorflow 或 pytorch

提示：国内用户建议在安装 Python 包时使用清华或阿里镜像源，以提升下载速度。

安装步骤

1. 克隆项目仓库

首先，将包含教程代码和数据的开源仓库克隆到本地：

git clone https://github.com/duoergun0729/nlp.git
cd nlp

2. 安装 Python 依赖

进入项目目录后，使用 pip 安装所需的第三方库。推荐使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若项目中未提供 requirements.txt，请根据各章节教程手动安装核心库，例如：

pip install numpy scipy scikit-learn jieba gensim fasttext -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证环境

确保关键库安装成功，特别是中文分词库 jieba：

python -c "import jieba; print('Jieba installed successfully')"

基本使用

本项目以模块化教程形式呈现，涵盖从基础理论到实战案例。以下是两个最基础的快速示例：

示例 1：中文分词与词性标注

使用 jieba 进行基础的中文分词演示：

import jieba

text = "自然语言处理是人工智能的重要分支"
seg_list = jieba.cut(text, cut_all=False)

print("分词结果:", "/ ".join(seg_list))

示例 2：构建词袋模型 (Bag of Words)

使用 sklearn 快速将文本转换为向量表示：

from sklearn.feature_extraction.text import CountVectorizer

corpus = [
    "我爱吃苹果",
    "苹果是水果",
    "手机也是苹果"
]

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

print("词汇表:", vectorizer.get_feature_names_out())
print("向量矩阵:\n", X.toarray())

进阶学习路径

完成环境搭建后，您可以按照项目目录结构深入学习：

1. 基础理论：阅读 词袋模型和 TFIDF 模型.md 理解特征提取。
2. 词向量：参考 Word2Vec 模型和 Doc2Vec 模型.md 学习分布式表示。
3. 实战分类：运行 使用 fasttext 进行文档分类.md 中的代码进行文本分类。
4. 综合案例：尝试 预测 Yelp 美食评分.md 完成完整的情感分析项目。

更多详细代码和解释请参阅项目根目录下的各 .md 文档。