14亿明文凭据分析（NLP）

利用深度学习和自然语言处理技术，对大规模明文密码语料库进行分析。

目标：

• 训练一个生成模型。
• 研究用户如何随时间更改密码：hello123 -> h@llo123 -> h@llo!23。

免责声明：仅用于研究目的。

媒体报道

• 单个数据库中发现14亿条明文凭据
• 网上流传包含14亿条明文泄露密码的集合
• 暗网档案中发现14亿条明文凭据的压缩包
• 福布斯

获取数据

• 下载任意一款BT客户端。
• 这是一个磁力链接，你可以在Reddit上找到：
  • magnet:?xt=urn:btih:7ffbcd8cee06aba2ce6561688cf68ce2addca0a3&dn=BreachCompilation&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.leechers-paradise.org%3A6969&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Fglotorrents.pw%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337
• 校验和列表在此处提供：checklist.chk
• 在BreachCompilation目录下运行./count_total.sh，应显示约1,400,553,870行数据。

开始使用（数据处理 + 深度学习）

处理数据并运行首个深度学习模型：

# 请先安装Python依赖包。建议使用虚拟环境。
# virtualenv -p python3 venv3; source venv3/bin/activate; pip install -r requirements.txt
# 移除“--max_num_files 100”以处理整个数据集（需数小时及50GB可用磁盘空间。）
./process_and_train.sh <BreachCompilation路径>

数据说明

输入：BreachCompilation/
     BreachCompilation的组织结构如下：

     - a/          - 以字母a开头的邮箱文件夹
     - a/a         - 以aa开头的邮箱文件
     - a/b
     - a/d
     - ...
     - z/
     - ...
     - z/y
     - z/z

输出：- BreachCompilationAnalysis/edit-distance/1.csv
      - BreachCompilationAnalysis/edit-distance/2.csv
      - BreachCompilationAnalysis/edit-distance/3.csv
      [...]
      > cat 1.csv
          1 ||| samsung94 ||| samsung94@
          1 ||| 040384alexej ||| 040384alexey
          1 ||| HoiHalloDoeii14 ||| hoiHalloDoeii14
          1 ||| hoiHalloDoeii14 ||| hoiHalloDoeii13
          1 ||| hoiHalloDoeii13 ||| HoiHalloDoeii13
          1 ||| 8znachnuu ||| 7znachnuu
      解释：edit-distance/目录下存放按编辑距离排序的密码对。
      1.csv包含编辑距离为1的所有密码对（即恰好有一处添加、替换或删除）。
      2.csv对应编辑距离为2，依此类推。

      - BreachCompilationAnalysis/reduce-passwords-on-similar-emails/99_per_user.json
      - BreachCompilationAnalysis/reduce-passwords-on-similar-emails/9j_per_user.json
      - BreachCompilationAnalysis/reduce-passwords-on-similar-emails/9a_per_user.json
      [...]
      > cat 96_per_user.json
      {
          "1.0": [
          {
              "edit_distance": [
                  0,
                  1
              ],
              "email": "96-000@mail.ru",
              "password": [
                  "090698d",
                  "090698D"
              ]
          },
      {
              "edit_distance": [
                  0,
                  1
              ],
              "email": "96-96.1996@mail.ru",
              "password": [
                  "5555555555q",
                  "5555555555Q"
              ]
       }
      解释：reduce-passwords-on-similar-emails/目录按邮箱地址前两位字母分类存放文件。
      例如，96-000@mail.ru会出现在96_per_user.json中。
      每个文件列出同一用户的密码，并按编辑距离分组。
      例如，96-000@mail.ru有两个密码：“090698d”和“090698D”，它们之间的编辑距离为1。
      edit_distance数组与password数组长度相同，因此编辑距离数组中会出现第一个0。
      这些文件有助于建模用户随时间更改密码的方式。
      我们无法确定哪一个是最初的密码，但会运行最短哈密顿路径算法来推测用户可能的密码变更顺序。
      例如：“hello” -> “hello1” -> “hell@1” -> “hell@11”是最短路径。
      我们假设用户天性懒惰，倾向于以最少字符改动来更新密码。

单独运行数据处理：

python3 run_data_processing.py --breach_compilation_folder <BreachCompilation路径> --output_folder ~/BreachCompilationAnalysis

如果数据集过大，可以将max_num_files设置为0到2000之间的值。

• 请确保有足够的可用内存（8GB通常足够）。
• 在Intel(R) Core(TM) i7-6900K CPU @ 3.20GHz（单线程）上运行耗时约1小时30分钟。
• 未压缩的输出约为45GB。

tensorflow-1.4-billion-password-analysis 快速上手指南

本项目利用深度学习和自然语言处理（NLP）技术分析大规模明文密码数据集，旨在训练生成模型并研究用户随时间变化的密码修改模式（例如：hello123 -> h@llo123）。

⚠️ 免责声明：本工具仅供学术研究使用。请勿将分析结果用于非法用途。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需使用 WSL）。
• Python 版本：Python 3.x。
• 硬件要求：
  • 内存：建议至少 8GB RAM。
  • 磁盘空间：
    • 完整数据集处理需约 50GB 可用空间。
    • 仅处理部分样本（测试用）需较少空间。
    • 未压缩的输出文件约为 45GB。
• 前置依赖：
  • Git
  • Python pip
  • Virtualenv (推荐)

安装步骤

1. 获取源代码

首先克隆项目仓库：

git clone <repository_url>
cd tensorflow-1.4-billion-password-analysis

(注：请将 <repository_url> 替换为实际的 GitHub 仓库地址)

2. 设置虚拟环境并安装依赖

推荐使用 Python 3 虚拟环境以避免依赖冲突。国内用户可使用清华源加速安装：

# 创建虚拟环境
virtualenv -p python3 venv3
source venv3/bin/activate

# 安装依赖 (使用清华镜像源加速)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 获取数据

本项目需要下载名为 "BreachCompilation" 的大型数据集（约 14 亿条记录）。由于数据敏感且巨大，请通过磁力链接下载：

• 磁力链接：

  magnet:?xt=urn:btih:7ffbcd8cee06aba2ce6561688cf68ce2addca0a3&dn=BreachCompilation&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.leechers-paradise.org%3A6969&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Fglotorrents.pw%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337
  

• 验证数据：下载完成后，参考项目中的 checklist.chk 校验文件完整性。
• 确认行数：进入解压后的 BreachCompilation 目录，运行以下脚本确认数据量（应显示约 1,400,553,870 行）：

  ./count_total.sh
  

基本使用

方式一：一键处理与训练（推荐）

此脚本将自动处理数据并运行第一个深度学习模型。

注意：默认配置仅处理前 100 个文件以快速验证流程。若要处理完整数据集（耗时数小时），请移除 --max_num_files 100 参数。

# 将 <BreachCompilation path> 替换为您的数据文件夹实际路径
./process_and_train.sh <BreachCompilation path>

方式二：仅运行数据处理

如果您只想进行数据分析而不训练模型，可以单独运行数据处理脚本。

限制处理规模（测试用）： 若数据集过大，可通过 max_num_files 参数限制处理的文件数量（0 到 2000 之间）：

python3 run_data_processing.py \
  --breach_compilation_folder <BreachCompilation path> \
  --output_folder ~/BreachCompilationAnalysis \
  --max_num_files 100

全量处理： 移除 --max_num_files 参数即可处理全部数据（在 Intel i7-6900K 单核上约需 1.5 小时）：

python3 run_data_processing.py \
  --breach_compilation_folder <BreachCompilation path> \
  --output_folder ~/BreachCompilationAnalysis

输出结果说明

处理完成后，结果将保存在 BreachCompilationAnalysis 目录下：

1. 编辑距离分析 (edit-distance/)：

   • 1.csv: 包含编辑距离为 1 的密码对（如增删改一个字符）。
   • 2.csv, 3.csv...: 依此类推。
   • 格式示例：1 ||| samsung94 ||| samsung94@

2. 用户密码演变分析 (reduce-passwords-on-similar-emails/)：

   • 文件按邮箱前两位字母分类（如 96_per_user.json）。
   • 记录了同一用户多个密码之间的编辑距离，用于推导密码修改路径（假设用户倾向于最小化字符变动）。
   • 格式示例：

     {
         "email": "96-000@mail.ru",
         "password": ["090698d", "090698D"],
         "edit_distance": [0, 1]
     }