awesome-twitter-data #################### |Awesome| |CC0|

.. |Awesome| image:: https://awesome.re/badge.svg :target: https://awesome.re

一个包含 Twitter 数据集及相关资源的列表，采用 CC0 <https://creativecommons.org/publicdomain/zero/1.0/>_ 许可协议发布。如果您有想要添加到该列表的资源，欢迎提交 Pull Request，或发送邮件至 shay.palachy@gmail.com <shay.palachy@gmail.com>_。

许可证信息（如已知）以{花括号}标注。数据集规模在[方括号]中给出，若可用的话。

.. contents:: 目录

.. section-numbering::

Twitter 数据集

推文数据集

• Chirps <https://github.com/vered1986/Chirps/>_ {Apache License 2.0_} [900万] - 新闻相关的推文。每日更新。被 Vered Shwartz、Gabriel Stanovsky 和 Ido Dagan 的论文《从新闻推文中获取谓词同义词》(http://aclweb.org/anthology/S/S17/S17-1019.pdf) 所使用。

• COVID-19 Twitter 数据集 <https://github.com/thepanacealab/covid19_twitter>_ {CC0} [1亿] - 从 Twitter 流中抓取的与 COVID-19 相关的推文。也可在 Zenodo.org <https://zenodo.org/record/3735274> 上找到。

• 阿拉伯之春 Twitter 数据集 <http://dfreelon.org/2012/02/11/arab-spring-twitter-data-now-available-sort-of/>_ {?} [800万] - 大约800万条与阿拉伯之春相关的推文，按国家划分。包含推文 ID 和用户 ID，但不包含推文内容。

• Cheng-Caverlee-Lee <https://archive.org/details/twitter_cikm_2010>_ {?} [500万] - 一组爬取的公开 Twitter 更新，用于一项学术研究项目，旨在分析与 Twitter 使用相关的地理位置数据。

• 300万条俄罗斯水军推文 <https://github.com/fivethirtyeight/russian-troll-tweets/>_ {?} [300万] - 由 FiveThirtyEight 发布。

• Lerman Twitter 2010 数据集 <http://academictorrents.com/details/d8b3a315172c8d804528762f37fa67db14577cdb>_ [280万] - 包含2010年10月期间在 Twitter 上发布的带有 URL 的推文。除了推文外，还追踪了发推用户的链接，从而重建了活跃用户（即发推用户）的关注者网络。

• Twitter_2010 <https://www.isi.edu/~lerman/downloads/twitter/twitter2010.html>_ {?} [200万] - 由南加州大学的 Kristina Lerman 发布。

• MovieTweetings <https://github.com/sidooms/MovieTweetings>_ {MIT_} [72.5万] - 从 Twitter 收集的实时电影评分数据集。

• 带地理标签的 COVID-19 Twitter 数据集 <http://covid19research.site/geo-tagged_twitter_datasets/>_ {?} [65万] - 从美国境内（50个州及华盛顿特区）的 Twitter 流中收集的带地理标签的 COVID-19 推文。

• Sanders Analytics 情感标注推文 <https://github.com/zfz/twitter_corpus>_ {?} [5513]

• Elon Musk 推文—截至2017年4月6日 <https://data.world/adamhelsinger/elon-musk-tweets-until-4-6-17>_

• 2015年新年决心 <https://data.world/crowdflower/2015-new-years-resolutions>_

• 特朗普推文，2009年5月4日至2016年12月5日 <https://data.world/lovesdata/trump-tweets-5-4-09-12-5-16>_

• ArchiveTeam JSON 下载的 Twitter 流，2011—2022年 [160亿] <https://archive.org/search.php?query=twitterstream&sort=-publicdate>_

推文 ID 数据集

* `#Gamersgate 72小时 <https://medium.com/message/72-hours-of-gamergate-e00513f7cf5d>`_ [31.3万]

* `RepLab 2013 数据集 <http://nlp.uned.es/replab2013/>`_ - RepLab 2013 数据集使用英语和西班牙语的 Twitter 数据（超过14.2万条推文）。


标注过的推文数据集
--------------------------

* `Sentiment140 <http://help.sentiment140.com/for-students/>`_ - 自动标注；作者假设任何带有正面表情符号（如 :)）的推文都是正面的，而带有负面表情符号（如 :(）的推文则是负面的。

* `Weather-sentiment <https://data.world/crowdflower/weather-sentiment>`_

* `Crowdflower 性别分类数据 <https://data.world/crowdflower/gender-classifier-data>`_ [2万] - 参与者只需查看一个 Twitter 个人资料，判断用户是男性、女性还是品牌（非个人）。该数据集包含2万行，每行包括用户名、随机推文、账户简介和头像、位置，甚至链接和侧边栏颜色。

* `Sanders Analytics <http://www.sananalytics.com/lab/twitter-sentiment/>`_ {?} [5千] - 使用互联网档案馆的 `Wayback Machine <https://archive.org/web/>`_ 获取数据。该数据集包含5513条人工分类的推文。每条推文都根据四个不同主题之一进行了分类。

* `Geoparse 基准开放数据集 <https://revealproject.eu/geoparse-benchmark-open-dataset/>`_ {`BSD-4_Clause`_} [?] - 该地理解析基准数据集包含在四次不同自然灾害期间记录的数千条推文。这些事件包括2012年的桑迪飓风、2013年的米兰停电、2012年的土耳其地震以及2012年的克赖斯特彻奇地震。数据集中每条推文都经过人工标注，标注内容涵盖建筑、街道和区域级别的位置信息，用作评估工作的黄金标准。数据包括完整的 JSON 序列化推文元数据（即包含文本），并额外提供了一个名为“entities”的字段，用于地面真相的位置标注。


用户数据集
-------------

* `马克斯普朗克研究所的 Twitter 数据集 <http://twitter.mpi-sws.org/>`_ {?} [5500万] - **仅以下数据集中的社交图部分：** 54,981,152 个用户账号；1,963,263,821 条社交（关注）关系；1,755,925,520 条推文。

* `Twitter 社交图 <http://an.kaist.ac.kr/traces/WWW2010.html>`_ {?} [4100万] - 来自论文《Twitter 是社交网络还是新闻媒体？》(http://an.kaist.ac.kr/traces/WWW2010.html)。

* `亚利桑那州立大学 Twitter 数据集 <http://socialcomputing.asu.edu/datasets/Twitter>`_ [1100万] - `可通过种子文件下载此处 <http://academictorrents.com/details/2399616d26eeb4ae9ac3d05c7fdd98958299efa9>`_。

* `Twitter 用户样本（喧闹与安静的推文） <https://github.com/jonbruner/twitter-analysis>`_ {`MPL 2.0`_} [40万] - 约40万个 Twitter 账号的元数据，于2013年9月17日至10月19日期间抓取，作为《喧闹与安静的推文》一文（https://www.oreilly.com/ideas/tweets-loud-and-quiet）的一部分工作。

* `Higgs Twitter 数据集 <http://snap.stanford.edu/data/higgs-twitter.html>`_ {?} [45.6万] - Higgs 数据集是在2012年7月4日宣布发现一种具有难以捉摸的希格斯玻色子特征的新粒子前后，通过监测 Twitter 上的信息传播过程而构建的。

* `Twitter 数据 — NIPS 2012 <http://academictorrents.com/details/046cf7a75db2a530b1505a4ce125fbe0031f4661>`_ [8.1万] - 该数据集由 Twitter 上的“圈子”（或“列表”）组成。Twitter 数据是从公开来源抓取的。数据集包括节点特征（个人资料）、圈子和自我网络。

* `ego-twitter <http://snap.stanford.edu/data/ego-Twitter.html>`_ [8万] - 8万个节点和170万条边。

* `SNAP 2010 数据集 <https://snap.stanford.edu/data/twitter-2010.html>`_ [41m] - 4100万个节点和14亿条边。

* `soTweet <http://www-sop.inria.fr/members/Arnaud.Legout/Projects/sotweet.html>`_ [完整] {X} - 该项目包含一个Twitter社交图数据集——来自2012年的完整Twitter网络。此外还包含2016年的匿名社交点击数据集。两者均可按需获取。



丢失的数据集
-------------

* `Twitter事件检测数据集 <http://mir.dcs.gla.ac.uk/resources/>`_  {?} [1.2亿] - 一个包含1.2亿条推文的集合，对超过500个事件进行了相关性判断。

* Kwak10www - 该数据集包含4170万个用户资料、14.7亿个社交关系、4,262个热门话题以及1.06亿条推文，收集时间为2009年7月6日至7月31日。出自论文《Twitter究竟是社交网络还是新闻媒体？》<http://an.kaist.ac.kr/traces/WWW2010.html>。该数据集中的社交图部分可在论文网页上找到<http://an.kaist.ac.kr/traces/WWW2010.html>。

* `twitter7 <http://snap.stanford.edu/data/twitter7.html>`_ - 该数据集包含近5.8亿条来自2000万用户的Twitter帖子，时间跨度为2009年6月至2010年2月的8个月。据估计约占当时Twitter上发布帖子总数的20%-30%。创建于[`J. Yang, J. Leskovec. 在线媒体的时间变化。ACM国际网络搜索与数据挖掘会议（WSDM '11），2011年。<http://ilpubs.stanford.edu:8090/984/1/paper-memeshapes.pdf>`_]。

* burger2011 - 一个由1850万用户发布的2.13亿条推文语料库，涵盖多种语言。收集于`[John D. Burger, John C. Henderson, George Kim, and Guido Zarrella. 2011. 在Twitter上区分性别。自然语言处理经验方法会议论文集，第1301–1309页] <http://www.aclweb.org/anthology/D11-1120>`_。

* calufa2011 - 来自1300多万用户的2亿多条推文，未压缩大小为173 GB，MySQL格式（5.43亿行）。archive.org上的备份已被移除：https://archive.org/details/2011-05-calufa-twitter-sql。HackerNews上有数次提及：https://news.ycombinator.com/item?id=2633384。

* fifa2014 - 2014年世界杯期间的8.6万条推文。描述见此处：https://opendata.stackexchange.com/a/4015，此前曾由一家现已关闭的数据提供商（topsy.com）提供。一个潜在来源是https://ankeshanand.carto.com/tables/fifatweets/public，但数据导出方式尚不明确。有许多博客介绍了该数据及其分析，因此联系这些作者可能是恢复该数据集的一种途径。

其他列表
===========

* `推文ID数据集 <https://www.docnow.io/catalog/>`_ {`CC-BY 4.0`_} - 一个公开在网络上可用的Twitter ID（即无内容）数据集目录。

* `followthehashtag 提供的免费Twitter数据集 <http://followthehashtag.com/datasets/>`_

* `Twitter开放数据集 <https://opendata.stackexchange.com/questions/1545/twitter-open-datasets>`_ - 关于`opendata.stackexchange <https://opendata.stackexchange.com/>`_的一个问题。

* `PAN数字文本取证共享任务数据集 <https://pan.webis.de/data.html>`_ - 虽然不是Twitter数据，但与其密切相关。


工具
=====

数据收集
---------------

* `twitter-dataset-collector <https://github.com/socialsensor/twitter-dataset-collector>`_ {`Apache License 2.0`_} [Java] - 通过以推文ID作为输入下载推文集合（如果仍可访问），从而促进Twitter数据集的分发。

* `扩展爱丁堡Twitter FSD语料库 <https://gist.github.com/emaadmanzoor/5019020>`_

* `Twitter-ratings <https://github.com/sidooms/Twitter-ratings>`_ {`MIT`_} - 一组Python脚本，用于从多个网站下载并提取Twitter上的评分数据集。

* `RepLab 2013 Twitter文本下载 <http://nlp.uned.es/replab2013/>`_ - 在页面底部可以找到。


分析
--------

* `OSU Twitter NLP工具 <https://github.com/aritter/twitter_nlp>`_ - 一套Twitter NLP工具。

* `sentimentstwitter <https://github.com/alabid/sentimentstwitter>`_ {`MIT`_} - 给定一条包含文本的推文，估算发帖者的感情倾向（负面或正面）。

* `Twitter-L-LDA <https://github.com/harryaskham/Twitter-L-LDA>`_ {`GPLv3`_} - 一套用于对文本数据集进行有标签隐狄利克雷分布分析的工具，重点针对Twitter个人主页。包含用于分析模型训练和推理结果的工具。

* `TwitterGenderPredictor <https://github.com/jtwool/TwitterGenderPredictor>`_ 由`jtwool <https://github.com/jtwool>`_开发 - 功能如其名。Shay Palachy为其提供了一个`简单的软件包封装 <https://github.com/shaypal5/speks>`_。

* `Alan Ritter的工具 <http://aritter.github.io/software.html>`_ - Alan Ritter提供的几款与Twitter相关的工具。


学术论文
===============

* 学习Twitter用户的多视角嵌入

人口统计预测
-----------------------

* `2014年基于社交媒体开发年龄与性别预测词典 <http://wwbp.org/papers/emnlp2014_developingLexica.pdf>`_ - 我们利用Facebook、博客和Twitter数据中带有相应人口统计标签的词汇使用情况，通过回归和分类模型推导出年龄和性别预测词典（词汇及权重）。这些公开发布的词典在基于语言的Facebook和Twitter年龄与性别预测方面达到了最先进的准确度，并且还在跨社交媒体类型以及有限消息情境下的泛化能力方面得到了评估。

* 根据网站流量数据预测Twitter用户的人口统计特征

* 从用户情绪基调及用户与环境的情绪对比推断感知到的人口统计特征

* 挖掘用户兴趣以预测Twitter上感知的心理人口统计特征

* 为什么从推文中预测性别和年龄很困难：一项众包实验的启示

* 谁在发推文？从Twitter用户元数据中推导出年龄、职业和社会阶层等人口统计特征


文章与博客帖子
=====================

* `使用Python和NLTK进行Twitter情感分析 <http://ww1.gbsheli.com/2009/03/twitgraph-en.html>`_

* `#Gamersgate的72小时 <https://medium.com/message/72-hours-of-gamergate-e00513f7cf5d>`_

* `初学者指南：收集Twitter数据（以及一些网络爬虫技术） <https://knightlab.northwestern.edu/2014/03/15/a-beginners-guide-to-collecting-twitter-data-and-a-bit-of-web-scraping/>`_


贡献
============

- 请先检查是否有重复内容。
- 描述应简短、清晰且客观。
- 请为每条建议单独提交一次更改。
- 如有必要，请添加新类别。
- 对于数据集，请尽可能保持原有格式：许可证信息用花括号标注，已知的情况下；数据集规模则用方括号标注。

感谢您的建议！


许可证
=======
|CC0|

.. |CC0| image:: https://licensebuttons.net/p/zero/1.0/88x31.png
   :target: https://creativecommons.org/publicdomain/zero/1.0/

在法律允许的最大范围内，`Shay Palachy <http://shaypalachy.com>`_ 已放弃本作品的所有版权及相关权利或邻接权利。

.. 许可证链接

.. _公共领域: https://en.wikipedia.org/wiki/Public_domain
.. _CC-BY-SA 3.0: https://creativecommons.org/licenses/by-sa/3.0/
.. _AGPL-3.0: https://opensource.org/licenses/AGPL-3.0
.. _GPLv3: http://www.gnu.org/copyleft/gpl.html
.. _CC0:  https://creativecommons.org/publicdomain/zero/1.0/
.. _CC BY-NC-SA 4.0: https://creativecommons.org/licenses/by-nc-sa/4.0/
.. _CC BY-NC 4.0: https://creativecommons.org/licenses/by-nc/4.0/
.. _Apache许可证2.0: https://www.apache.org/licenses/LICENSE-2.0
.. _MIT: https://en.wikipedia.org/wiki/MIT_License
.. _CC-BY 4.0: https://creativecommons.org/licenses/by/4.0/
.. _MPL 2.0: https://github.com/jonbruner/twitter-analysis
.. _BSD-4条款: https://en.wikipedia.org/wiki/BSD_licenses#4-clause_license_(original_%22BSD_License%22)

awesome-twitter-data 快速上手指南

awesome-twitter-data 并非一个可直接安装运行的软件包或库，而是一个** curated（精选）的开源资源列表**，汇集了各类 Twitter 数据集、相关工具及学术资源。本指南将帮助开发者快速了解如何获取和使用其中的核心资源。

环境准备

由于本项目主要是数据索引，使用前需根据你选择的具体数据集或工具准备相应环境。通用建议如下：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• 编程语言：
  • Python (最常用)：建议安装 Python 3.8+ 及 pip。
  • Java：部分收集工具（如 twitter-dataset-collector）需要 JDK 1.8+。
• 存储空间：Twitter 数据集通常非常大（从几百 MB 到数百 GB 不等），请确保磁盘空间充足。
• 网络环境：部分原始数据托管在 GitHub、Archive.org 或 Zenodo，国内访问可能较慢，建议配置科学上网环境或使用代理加速下载。

安装与获取步骤

本项目无需通过包管理器安装。获取资源的核心步骤是克隆仓库以查看列表，或直接访问列表中提供的具体数据链接。

1. 获取资源列表

克隆仓库以在本地浏览完整的数据集目录和工具链接：

git clone https://github.com/shaypal5/awesome-twitter-data.git
cd awesome-twitter-data

2. 获取具体数据集

大多数数据集不直接包含在此仓库中，而是提供下载链接。以下是两种常见的获取方式：

方式 A：直接下载公开数据集 (例如 Sentiment140) 许多小型数据集可直接通过浏览器或 wget/curl 下载。

# 示例：下载 Sentiment140 数据集 (需替换为实际最新下载链接)
wget http://help.sentiment140.com/home/students-data.zip
unzip students-data.zip

方式 B：使用工具重构数据 (针对仅提供 Tweet ID 的数据集) 由于版权原因，许多大型数据集（如 COVID-19 数据集）仅提供 Tweet ID 列表。你需要使用官方 API 或第三方工具重新抓取内容。

推荐使用列表中提到的 twitter-dataset-collector (Java) 或编写 Python 脚本配合 twarc 工具。

使用 twarc (Python) 示例： 首先安装依赖：

pip install twarc

配置认证信息（需申请 Twitter Developer Account）：

twarc configure

利用 ID 列表还原推文（假设你有一个名为 ids.txt 的文件）：

twarc hydrate ids.txt > tweets.json

基本使用示例

以下是一个典型的工作流：使用 Python 加载一个已下载的标注情感数据集（如 sentiment140）并进行简单的探索性分析。

场景：加载并预览情感标注数据

假设你已经下载并解压了 training.1600000.processed.noemoticon.csv (Sentiment140 格式)。

import pandas as pd

# 定义列名 (Sentiment140 标准格式)
cols = ['target', 'id', 'date', 'flag', 'user', 'text']

# 读取数据 (编码通常为 latin-1)
df = pd.read_csv('training.1600000.processed.noemoticon.csv', 
                 names=cols, 
                 encoding='latin-1')

# 查看前 5 条数据
print(df.head())

# 统计情感分布 (0: 负面，4: 正面)
print("\n情感分布统计:")
print(df['target'].value_counts())

# 示例输出一条正面推文
positive_tweet = df[df['target'] == 4]['text'].iloc[0]
print(f"\n随机正面推文: {positive_tweet}")

场景：使用现有工具分析性别 (基于 Crowdflower 数据集)

如果你下载了 Crowdflower Gender Classifier Data，可以使用简单的 Pandas 操作进行分析：

import pandas as pd

# 加载性别分类数据
df_gender = pd.read_csv('gender-classifier-data.csv')

# 查看数据结构
print(df_gender.columns)

# 筛选特定性别的用户样本
male_users = df_gender[df_gender['gender'] == 'male']
print(f"男性用户样本数: {len(male_users)}")

提示：对于列表中提到的大型图数据（如 Twitter Social Graph），通常需要使用 NetworkX (Python) 或 GraphX (Spark) 等专业图计算库进行处理，且需注意内存消耗。