自动化仇恨言论检测与冒犯性语言问题

托马斯·戴维森、达娜·沃姆斯利、迈克尔·梅西和英格玛·韦伯的项目仓库。2017年，“自动化仇恨言论检测与冒犯性语言问题”。ICWSM。您可以此处阅读论文。

注意：本仓库已不再积极维护。请勿提交关于现有代码与新版Python或所用软件包兼容性的议题。我将不会接受任何拉取请求。如果您计划在研究中使用这些数据或代码，请查看议题，因为多位GitHub用户已提出对代码库的修改或改进建议。

2019年最新消息

我们发表了一篇关于该数据集及其他数据集中种族偏见的新论文，您可在此阅读。

警告：数据、词典和笔记本均包含种族主义、性别歧视、恐同以及其他多种冒犯性内容。

您可以在data目录中找到我们的标注数据。我们以Python 2.7的pickle文件和CSV格式提供了这些数据。此外，在src目录中还有一个包含Python 2.7代码的笔记本，用于复现论文中的分析；在lexicons目录中则有一个我们为更准确地分类仇恨言论而生成的词典。classifier目录中包含一个脚本、使用说明以及运行分类器处理新数据所需的文件，并提供了一个测试案例。

请在使用这些资源的任何已发表成果中引用我们的论文。

@inproceedings{hateoffensive,
  title = {自动化仇恨言论检测与冒犯性语言问题},
  author = {戴维森, 托马斯; 沃姆斯利, 达娜; 麦西, 迈克尔; 韦伯, 英格玛}, 
  booktitle = {第11届国际AAAI网络与社交媒体会议论文集},
  series = {ICWSM '17},
  year = {2017},
  location = {加拿大蒙特利尔},
  pages = {512-515}
  }

联系方式 如果您有意使用我们的数据，也请您填写这份简短的表格，以便我们跟踪这些数据的使用情况，并与从事类似研究的学者取得联系。

如有任何问题，请联系thomas dot davidson at rutgers dot edu。

hate-speech-and-offensive-language 快速上手指南

⚠️ 重要提示：本项目已停止维护。代码基于 Python 2.7 编写，不再兼容新版 Python 或依赖库。作者明确表示不再接受 Issue 或 Pull Request。如需用于研究，请务必查阅项目 Issues 中社区提供的修复建议。

⚠️ 内容警告：数据集、词典及笔记中包含种族主义、性别歧视、恐同及其他冒犯性内容，请谨慎使用。

环境准备

由于该项目严格依赖 Python 2.7 环境，现代开发环境需单独配置。

• 操作系统：Linux / macOS / Windows (需配置 Python 2.7 环境)
• Python 版本：Python 2.7 (必须)
• 核心依赖：
  • pickle (Python 2 内置)
  • pandas (适用于 Python 2.7 的旧版本)
  • scikit-learn (适用于 Python 2.7 的旧版本)
  • jupyter (用于运行 .ipynb 笔记)

国内加速建议： 在安装 Python 包时，建议使用清华或阿里镜像源以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库

   git clone https://github.com/t-davidson/hate-speech-and-offensive-language.git
   cd hate-speech-and-offensive-language
   

2. 配置 Python 2.7 环境 推荐使用 conda 创建隔离环境（假设已安装 Anaconda/Miniconda）：

   conda create -n hate_speech_py2 python=2.7
   conda activate hate_speech_py2
   

3. 安装依赖包 由于项目未提供 requirements.txt，需手动安装兼容 Python 2.7 的旧版科学计算库：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas==0.24.2 scikit-learn==0.20.3 jupyter==1.0.0
   

基本使用

项目提供了标注数据、分析笔记和分类器脚本。以下是最基础的数据加载与查看示例。

1. 加载标注数据

数据位于 data 目录，支持 CSV 和 Pickle (Python 2.7) 格式。推荐使用 CSV 以避免序列化兼容问题。

在 Python 2.7 环境中执行：

import pandas as pd

# 读取 CSV 格式数据
df = pd.read_csv('data/labeled_data.csv')

# 查看前几行数据
print(df.head())

# 数据列说明：
# count: 标注人数
# hate_speech: 被标记为仇恨言论的数量
# offensive_language: 被标记为冒犯性语言的数量
# neither: 两者都不是的数量
# class: 最终分类 (0: hate speech, 1: offensive language, 2: neither)
# tweet: 推文内容

2. 复现论文分析

项目 src 目录下包含完整的 Jupyter Notebook，用于复现论文中的分析结果。

启动 Jupyter Notebook：

jupyter notebook

在浏览器中打开 src 目录下的 .ipynb 文件，按顺序运行单元格即可。

3. 运行分类器

classifier 目录包含用于新数据分类的脚本。

• 查看使用说明和测试案例：

  cat classifier/README
  

• 运行测试案例（具体命令请参考该目录下的说明文档，通常涉及调用 Python 脚本并传入测试文本）。

---

引用说明：若在研究中使用此资源，请务必引用原论文：

Davidson, T., Warmsley, D., Macy, M., & Weber, I. (2017). Automated Hate Speech Detection and the Problem of Offensive Language. ICWSM '17.