数据集

为网络科学、图挖掘、深度学习及通用机器学习研究收集的数据集。

目录

1. Twitch 游戏玩家
2. LastFM 亚洲社交网络
3. Deezer 欧洲社交网络
4. GitHub 星标用户图
5. Twitch 自我中心网络
6. Reddit 帖子图
7. Deezer 自我中心网络
8. GitHub 社交网络
9. Deezer 社交网络
10. Facebook 页面-页面网络
11. 维基百科文章网络
12. Twitch 社交网络
13. Facebook 大型页面-页面网络

Twitch 游戏玩家

描述

这是一个于2018年春季通过公共API收集的Twitch用户社交网络。节点为Twitch用户，边表示他们之间的互相关注关系。该图形成一个单一的强连通分量，且无缺失属性。与该图相关的机器学习任务包括计数数据回归和节点分类。具体任务共有6项：

• 明星内容主播识别。
• 主播语言预测。
• 用户生命周期估计。
• 用户流失预测。
• 联盟身份识别。
• 观看次数估计。

链接

• Twitch 游戏玩家

属性

• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 节点标签: 有。
• 时间性: 无。

	Twitch 游戏玩家
节点	168,114
边	6,797,557
密度	0.0005
传递性	0.0184

可能的任务

• 二分类节点分类
• 多分类节点分类
• 计数数据回归
• 链接预测
• 社区发现
• 带真实标签的社区发现
• 网络可视化

引用

>@misc{rozemberczki2021twitch,
       title = {Twitch 游戏玩家：用于评估邻近性保持和基于结构角色的节点嵌入的数据集}, 
       author = {Benedek Rozemberczki 和 Rik Sarkar},
       year = {2021},
       eprint = {2101.03091},
       archivePrefix = {arXiv},
       primaryClass = {cs.SI}
       }

LastFM 亚洲社交网络

描述

这是一个于2020年3月通过公共API收集的LastFM用户社交网络。节点为来自亚洲国家的LastFM用户，边表示他们之间的互相关注关系。顶点特征根据用户喜欢的艺术家提取。与该图相关的任务是多分类节点分类——需要预测用户的所在地。这一目标特征是从每位用户的国家字段中推导出来的。

链接

• LastFM 亚洲社交网络

属性

• 有向性: 无。
• 节点特征: 有。
• 边特征: 无。
• 节点标签: 有。多类别。
• 时间性: 无。

	LastFM
节点	7,624
边	27,806
密度	0.001
传递性	0.179

可能的任务

• 多分类节点分类
• 链接预测
• 社区发现
• 网络可视化

引用

@inproceedings{feather,
               title={{图上的特征函数：物以类聚，从统计描述到参数化模型}},
               author={Benedek Rozemberczki 和 Rik Sarkar},
               year={2020},
	       pages={1325–1334},
	       booktitle={第29届ACM国际信息与知识管理会议（CIKM '20）论文集},
	       organization={ACM},
}

Deezer 欧洲社交网络

描述

这是一个于2020年3月通过公共API收集的Deezer用户社交网络。节点为来自欧洲国家的Deezer用户，边表示他们之间的互相关注关系。顶点特征根据用户喜欢的艺术家提取。与该图相关的任务是二分类节点分类——需要预测用户的性别。这一目标特征是从每位用户的姓名字段中推导出来的。

链接

• Deezer 欧洲社交网络

属性

• 有向性: 无。
• 节点特征: 有。
• 边特征: 无。
• 节点标签: 有。二元。
• 时间性: 无。

	Deezer
节点	28,281
边	92,752
密度	0.0002
传递性	0.0959

可能的任务

• 二分类节点分类
• 链接预测
• 社区发现
• 网络可视化

引用

@inproceedings{feather,
               title={{图上的特征函数：物以类聚，从统计描述到参数化模型}},
               author={Benedek Rozemberczki 和 Rik Sarkar},
               year={2020},
	       pages={1325–1334},
	       booktitle={第29届ACM国际信息与知识管理会议（CIKM '20）论文集},
	       organization={ACM},
}

GitHub 星标用户图

描述

这些是截至2019年8月为止，对至少拥有10颗星的热门机器学习和Web开发仓库进行过星标的开发者社交网络。节点为用户，边表示关注关系。任务是判断某个社交网络属于Web还是机器学习仓库。我们仅保留了图中的最大连通组件（至少包含10名用户）。

链接

• GitHub 星标用户图 + 标签

属性

• 图的数量: 12,725
• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 图标签: 有。二元标签。
• 时间性: 无。

	最小值	最大值
节点	10	957
密度	0.003	0.561
直径	2	18

可能的任务

• 图分类

引用

@inproceedings{karateclub,
       title = {{Karate Club: 一个面向 API 的开源 Python 框架，用于图上的无监督学习}},
       author = {Benedek Rozemberczki 和 Oliver Kiss 和 Rik Sarkar},
       year = {2020},
       pages = {3125–3132},
       booktitle = {第 29 届 ACM 国际信息与知识管理会议论文集 (CIKM '20)},
       organization = {ACM},
}

Twitch 自我网络

描述

这是 2018 年 4 月参与合作计划的 Twitch 用户的自我网络。节点代表用户，边代表好友关系。二分类任务是利用自我网络预测该用户是玩单款游戏还是多款游戏。通常只玩一款游戏的玩家其自我网络更为密集。

链接

• Twitch 自我网络部分

属性

• 图的数量: 127,094
• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 图标签: 有。二元标签。
• 时间性: 无。

	最小值	最大值
节点数	14	52
密度	0.038	0.967
直径	1	2

可能的任务

• 图分类

引用

@inproceedings{karateclub,
       title = {{Karate Club: 一个面向 API 的开源 Python 框架，用于图上的无监督学习}},
       author = {Benedek Rozemberczki 和 Oliver Kiss 和 Rik Sarkar},
       year = {2020},
       pages = {3125–3132},
       booktitle = {第 29 届 ACM 国际信息与知识管理会议论文集 (CIKM '20)},
       organization = {ACM},
}

Reddit 帖子图

描述

这是我们于 2018 年 5 月收集的 Reddit 上的讨论型和非讨论型帖子。节点是参与讨论的 Reddit 用户，边则是他们之间的回复关系。任务是预测某个帖子是否属于讨论型（二分类）。

链接

• Reddit 帖子图 + 目标

属性

• 图的数量: 203,088
• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 图标签: 有。二元标签。
• 时间性: 无。

	最小值	最大值
节点数	11	97
密度	0.021	0.382
直径	2	27

可能的任务

• 图分类

引用

@inproceedings{karateclub,
       title = {{Karate Club: 一个面向 API 的开源 Python 框架，用于图上的无监督学习}},
       author = {Benedek Rozemberczki 和 Oliver Kiss 和 Rik Sarkar},
       year = {2020},
       pages = {3125–3132},
       booktitle = {第 29 届 ACM 国际信息与知识管理会议论文集 (CIKM '20)},
       organization = {ACM},
}

Deezer 自我网络

描述

这是 2020 年 2 月从音乐流媒体服务 Deezer 收集的东欧用户自我网络。节点是用户，边是相互关注关系。相关任务是对图中自我节点的性别进行预测。

链接

• Deezer 自我网络 + 目标

属性

• 图的数量: 9,629
• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 图标签: 有。二元标签。
• 时间性: 无。

	最小值	最大值
节点数	11	363
密度	0.015	0.909
直径	2	2

可能的任务

• 图分类

引用

@inproceedings{karateclub,
       title = {{Karate Club: 一个面向 API 的开源 Python 框架，用于图上的无监督学习}},
       author = {Benedek Rozemberczki 和 Oliver Kiss 和 Rik Sarkar},
       year = {2020},
       pages = {3125–3132},
       booktitle = {第 29 届 ACM 国际信息与知识管理会议论文集 (CIKM '20)},
       organization = {ACM},
}

GitHub 社交网络

描述

这是一个大型的 GitHub 开发者社交网络，数据于 2019 年 6 月通过公共 API 收集。节点是至少星标过 10 个仓库的开发者，边则是他们之间的相互关注关系。顶点特征基于位置、星标过的仓库、雇主和电子邮件地址提取。与该图相关的任务是二分类节点分类——需要预测 GitHub 用户是 Web 开发者还是机器学习开发者。这一目标特征是从每位用户的职位名称中推导出来的。

链接

• GitHub Web-ML

属性

• 有向性: 无。
• 节点特征: 有。
• 边特征: 无。
• 节点标签: 有。二元标签。
• 时间性: 无。

	GitHub
节点数	37,700
边数	289,003
密度	0.001
传递性	0.013

可能的任务

• 二分类节点分类
• 链接预测
• 社区发现
• 网络可视化

引用

>@article{musae,
          author = {Rozemberczki, Benedek 和 Allen, Carl 和 Sarkar, Rik},
          title = {{多尺度属性化节点嵌入}},
          journal = {复杂网络期刊},
          volume = {9},
          number = {2},
          year = {2021},
}

Deezer 社交网络

描述

这些数据于 2017 年 11 月从音乐流媒体服务 Deezer 收集。这些数据集代表来自 3 个欧洲国家的用户友谊网络。节点代表用户，边则是相互的好友关系。为了达到一定的匿名性，我们对节点进行了重新编号。CSV 文件包含边的信息——节点从 0 开始编号。JSON 文件则包含用户的流派偏好——每个键是用户 ID，喜爱的流派以列表形式给出。流派标注在所有用户之间保持一致。每个数据集中，用户可以喜欢 84 种不同的流派。喜爱的流派列表是根据用户点赞的歌曲列表整理而成。涉及的国家包括罗马尼亚、克罗地亚和匈牙利。对于每个数据集，我们都列出了节点和边的数量。

链接

• 罗马尼亚
• 克罗地亚
• 匈牙利

属性

• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 节点标签: 有。多标签。
• 时序性: 无。

	RO	HR	HU
节点数	41,773	54,573	47,538
边数	125,826	498,202	222,887
密度	0.0001	0.0004	0.0002
传递性	0.0752	0.1146	0.0929

可能的任务

• 节点分类
• 链接预测
• 社区发现
• 网络可视化

引用

如果您在研究中使用了这些数据集，请引用以下论文：

>@inproceedings{rozemberczki2019gemsec,    
                title={GEMSEC: Graph Embedding with Self Clustering},    
                author={Rozemberczki, Benedek and Davies, Ryan and Sarkar, Rik and Sutton, Charles},    
                booktitle={Proceedings of the 2019 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining 2019},    
                pages={65-72},    
                year={2019},    
                organization={ACM}    
                }

Facebook 页面间网络

描述

我们于2017年11月收集了关于Facebook页面的数据。这些数据集代表了不同类别的蓝色认证Facebook页面网络。节点表示页面，边表示页面之间的相互点赞关系。CSV文件包含边的信息——节点从0开始编号。我们包含了8种不同的页面类型，如下所示。对于每个数据集，我们都列出了节点和边的数量。

链接

• 政治人物
• 公司
• 运动员
• 媒体
• 公众人物
• 艺术家
• 政府
• 电视节目

属性

• 有向性: 无。
• 节点特征: 无。
• 边特征: 无。
• 节点标签: 无。
• 时序性: 无。

	节点数	边数	密度	传递性
政治人物	5,908	41,729	0.0024	0.3011
公司	14,113	52,310	0.0005	0.1532
运动员	13,866	86,858	0.0009	0.1292
新闻网站	27,917	206,259	0.0005	0.1140
公众人物	11,565	67,114	0.0010	0.1666
艺术家	50,515	819,306	0.0006	0.1140
政府	7,057	89,455	0.0036	0.2238
电视节目	3,892	17,262	0.0023	0.5906

可能的任务

• 链接预测
• 社区发现
• 网络可视化

引用

如果您在研究中使用了这些数据集，请引用以下论文：

>@inproceedings{rozemberczki2019gemsec,    
                title={GEMSEC: Graph Embedding with Self Clustering},    
                author={Rozemberczki, Benedek and Davies, Ryan and Sarkar, Rik and Sutton, Charles},    
                booktitle={Proceedings of the 2019 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining 2019},    
                pages={65-72},    
                year={2019},    
                organization={ACM}    
                }

Wikipedia 文章网络

描述

数据来源于英文维基百科（2018年12月）。这些数据集代表特定主题（变色龙、鳄鱼和松鼠）的页面间网络。节点表示文章，边表示文章之间的相互链接。边的CSV文件包含边的信息——节点从0开始编号。特征的JSON文件包含文章的特征信息，每个键为页面ID，节点特征以列表形式给出。如果特征列表中包含某项特征，则表明该特征所代表的信息性名词曾出现在维基百科文章的文本中。目标CSV文件包含节点标识符以及2017年10月至2018年11月期间各页面的平均月度流量。对于每种页面间网络，我们都列出了节点和边的数量，并附上了一些其他描述性统计信息。

链接

• 维基百科变色龙
• 维基百科鳄鱼
• 维基百科松鼠

属性

• 有向性: 无。
• 节点特征: 有。
• 边特征: 无。
• 节点标签: 有。连续型目标。
• 时序性: 无。

	变色龙	鳄鱼	松鼠
节点数	2,277	11,631	5,201
边数	31,421	170,918	198,493
密度	0.012	0.003	0.015
传递性	0.314	0.026	0.348

可能的任务

• 回归分析
• 链接预测
• 社区发现
• 网络可视化

引用

如果您在研究中使用了这些数据集，请引用以下论文：

>@article{musae,
          author = {Rozemberczki, Benedek and Allen, Carl and Sarkar, Rik},
          title = {{Multi-Scale Attributed Node Embedding}},
          journal = {Journal of Complex Networks},
          volume = {9},
          number = {2},
          year = {2021},
}

Twitch 社交网络

描述

用于节点分类和迁移学习的数据集是Twitch平台上以特定语言进行直播的游戏主播用户间的社交网络。节点即用户自身，边则表示用户之间的互相关注关系。节点特征基于用户玩过的游戏、喜欢的游戏、所在地区以及直播习惯提取。这些数据集共享相同的节点特征集合，因此可以在不同网络之间进行迁移学习。这些社交网络数据收集于2018年5月。与这些网络相关的监督任务是二分类问题——需要预测某位主播是否使用粗俗语言。

链接

• 德国
• 英格兰
• 西班牙
• 法国
• 葡萄牙
• 俄罗斯
• 台湾

属性

• 有向性: 无。
• 节点特征: 有。
• 边特征: 无。
• 节点标签: 有。二分类标签。
• 时序性: 无。

	德语	英语	西班牙语	法语	葡萄牙语	俄语	繁体中文
节点数	9,498	7,126	4,648	6,549	1,912	4,385	2,772
边数	153,138	35,324	59,382	112,666	31,299	37,304	63,462
密度	0.003	0.002	0.006	0.005	0.017	0.004	0.017
传递性	0.047	0.042	0.084	0.054	0.131	0.049	0.120

可能的任务

• 二分类节点分类
• 链接预测
• 社区发现
• 网络可视化

引用

>@article{musae,
          author = {Rozemberczki, Benedek and Allen, Carl and Sarkar, Rik},
          title = {{多尺度属性节点嵌入}},
          journal = {复杂网络期刊},
          volume = {9},
          number = {2},
          year = {2021},
}

Facebook 大型页面-页面网络

描述

该网页图是经过验证的 Facebook 网站之间的页面-页面图。节点代表官方 Facebook 页面，而边则表示网站之间的相互点赞关系。节点特征是从页面所有者为总结网站目的而编写的网站描述中提取的。该图于 2017 年 11 月通过 Facebook Graph API 收集，并仅限于 Facebook 定义的 4 类页面：政治人物、政府组织、电视节目和公司。与该数据集相关的任务是对这 4 类网站进行多分类节点分类。

链接

• Facebook 大型页面-页面网络

属性

• 有向性: 无。
• 节点特征: 有。
• 边特征: 无。
• 节点标签: 有。多项式标签。
• 时序性: 无。

	Facebook
节点数	22,470
边数	171,002
密度	0.001
传递性	0.232

可能的任务

• 多分类节点分类
• 链接预测
• 社区发现
• 网络可视化

引用

>@article{musae,
          author = {Rozemberczki, Benedek and Allen, Carl and Sarkar, Rik},
          title = {{多尺度属性节点嵌入}},
          journal = {复杂网络期刊},
          volume = {9},
          number = {2},
          year = {2021},
}

---

Datasets 快速上手指南

datasets 是一个专为网络科学、图挖掘、深度学习和通用机器学习研究收集的高质量数据集集合。它包含了来自 Twitch、LastFM、Deezer、GitHub、Reddit 等平台的社交网络数据，适用于节点分类、图分类、链路预测和社区发现等任务。

环境准备

在开始使用前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: Python 3.7 或更高版本
• 前置依赖:
  • pip (Python 包管理工具)
  • 推荐安装基础科学计算库：numpy, scipy, pandas (用于数据处理和分析)
  • 可选：图神经网络框架（如 PyTorch Geometric, DGL）或图学习库（如 Karate Club），以便直接利用这些数据进行模型训练。

安装步骤

该仓库主要提供数据集的下载链接和描述文档，通常不需要通过 pip 安装特定的 Python 包来“运行”它。您需要根据需求下载对应的数据文件。

1. 克隆仓库（获取文档与脚本）

如果您需要查看完整的数据描述或相关的预处理脚本，可以克隆 GitHub 仓库：

git clone https://github.com/benedekrozemberczki/datasets.git
cd datasets

2. 下载数据

由于数据集文件较大，建议直接访问 README 中提供的 SNAP (Stanford Network Analysis Platform) 官方链接进行下载。

• 国内加速方案：如果直接访问 SNAP 官网速度较慢，可以尝试使用国内镜像站或代理加速，或者在仓库的 data 目录（如果有）中查找是否有预置的下载脚本。
• 示例下载命令 (以 Twitch Gamers 为例，需替换为实际数据文件 URL)：

# 进入您存放数据的目录
mkdir -p data/twitch_gamers
cd data/twitch_gamers

# 使用 wget 或 curl 下载 (请替换为 README 中对应数据集的实际 .csv 或 .graph 文件链接)
# 例如：
wget http://snap.stanford.edu/data/twitch_gamers_edges.csv
wget http://snap.stanford.edu/data/twitch_gamers_features.csv
wget http://snap.stanford.edu/data/twitch_gamers_target.csv

注意：每个数据集的具体文件结构（边列表、特征矩阵、标签文件）请参考上文各章节的 "Links" 部分。

基本使用

下载完成后，您可以使用 Python (pandas 或 networkx) 快速加载并探索数据。以下以 Twitch Gamers 数据集为例，展示如何加载并进行简单的统计分析。

示例：加载 Twitch Gamers 数据

假设您已下载了 twitch_gamers_edges.csv (边), twitch_gamers_features.csv (节点特征), 和 twitch_gamers_target.csv (标签)。

import pandas as pd
import networkx as nx

# 1. 加载边列表构建图
# 假设边文件包含 'from', 'to' 列
edges = pd.read_csv('twitch_gamers_edges.csv')
G = nx.from_pandas_edgelist(edges, source='from', target='to')

print(f"图节点数: {G.number_of_nodes()}")
print(f"图边数: {G.number_of_edges()}")

# 2. 加载节点特征
# 假设特征文件第一列为节点 ID
features = pd.read_csv('twitch_gamers_features.csv', index_col=0)
print(f"特征维度: {features.shape}")

# 3. 加载标签 (例如：预测是否为显式内容主播)
targets = pd.read_csv('twitch_gamers_target.csv', index_col=0)
print(f"标签分布:\n{targets['target_column_name'].value_counts()}") # 请替换为实际的列名

# 4. 简单任务示例：提取子图进行可视化或输入模型
# 选取前 100 个节点构成的子图
subgraph_nodes = list(G.nodes())[:100]
subgraph = G.subgraph(subgraph_nodes)

print("数据加载完成，可传入 PyTorch Geometric 或 DGL 进行后续训练。")

典型应用场景

根据数据集特性，您可以快速开展以下任务：

• 节点分类: 使用 LastFM Asia 或 Deezer Europe 数据，基于用户听歌偏好（节点特征）预测用户地理位置或性别。
• 图分类: 使用 GitHub StarGazer Graphs 或 Reddit Thread Graphs，判断整个子图是属于“机器学习”还是"Web 开发”类别，或是“讨论型”线程。
• 链路预测: 在 Facebook Page-Page 网络中预测页面之间的潜在关注关系。

---

更多数据集的详细属性（如有向/无向、是否含时间戳、具体任务类型）请参阅各章节的描述部分。