bugbug

Bugbug 的目标是利用机器学习技术来辅助 Bug 和质量管理工作，以及其他软件工程任务（例如测试选择和缺陷预测）。

欢迎在 bugbug Matrix 频道与我们交流。

更多相关信息请参阅 Mozilla Hacks 博客：

• https://hacks.mozilla.org/2020/07/testing-firefox-more-efficiently-with-machine-learning/
• https://hacks.mozilla.org/2019/04/teaching-machines-to-triage-firefox-bugs/

由 BugBug 生成用于训练模型的数据可以独立于 BugBug 使用。详情请参阅 文档。

分类器

• assignee - 该分类器旨在为 Bug 建议合适的分配对象。

• backout - 该分类器旨在检测可能更容易被回退的补丁（由于构建或测试失败）。可用于测试优先级排序或调度。

• bugtype - 该分类器旨在根据 Bug 类型对其进行分类。标签是从 Bug 中自动收集的：目前包括“崩溃/内存/性能/安全”。计划在人工标注后添加更多类型。

• component - 该分类器旨在为未分类的 Bug 分配产品/组件。

• defect vs enhancement vs task - 这是 defect 分类器的扩展，用于区分功能请求和开发任务。

• defect - Bugzilla 上的 Bug 并不总是真正的 Bug。有时它们是功能请求、重构等。该分类器旨在区分真正的 Bug 和非 Bug。当前数据集包含 2110 个 Bug，现有分类器的准确率约为 93%（精确率约 95%，召回率约 94%）。

• devdocneeded - 该分类器旨在检测需要为开发者记录文档的 Bug。

• needsdiagnosis - 该分类器旨在检测很可能无效且无需诊断的问题，适用于 webcompat 场景。

• qaneeded - 该分类器旨在检测需要 QA 验证的 Bug。

• regression vs non-regression - Bugzilla 使用 regression 关键字来标识回归性 Bug。然而，这一标记并不一致。该分类器旨在检测回归性 Bug。

• regressionrange - 该分类器旨在区分存在回归范围的回归性 Bug 和不存在回归范围的回归性 Bug。

• regressor - 该分类器旨在检测更有可能导致回归的补丁。可用于对风险较高的补丁进行更严格的审查。

• spam - 该分类器旨在检测垃圾 Bug。

• stepstoreproduce - 该分类器旨在检测具有重现步骤的 Bug 和不具有重现步骤的 Bug。

• testfailure - 该分类器旨在检测可能更容易导致测试失败的补丁。

• testselect - 该分类器旨在为给定补丁选择相关测试用例。

• tracking - 该分类器旨在检测需要跟踪的 Bug。

• uplift - 该分类器旨在检测应批准 uplift 的 Bug 和不应批准 uplift 的 Bug。

设置与先决条件

安装 Python 依赖项：

pip3 install -r requirements.txt

您可能还需要运行 pip install -r test-requirements.txt。根据您希望运行的 BugBug 模块，可能还需要安装其他需求文件中的依赖项（可通过 find . -name "*requirements*" 查找）。

目前需要 Python 3.10 或更高版本。您可以通过查看 setup.py 来确认我们使用的版本。

此外，libgit2（需要 v1.0.0，仅在 Debian 的实验版中可用）可能 是必需的（如果无法安装，请跳过此步骤）。

sudo apt-get -t experimental install libgit2-dev

自动格式化

该项目使用 pre-commit。请运行 pre-commit install 将 Git 预提交钩子安装到您的克隆中。

每次尝试提交时，pre-commit 都会检查您的文件，以确保其符合我们的代码风格标准，并且没有受到一些简单问题的影响。如果检查失败，pre-commit 将阻止您提交。

使用方法

训练

运行 trainer.py 脚本，命令为 python -m scripts.trainer（使用 --help 可查看命令的必选和可选参数），以执行训练（注意，这需要 30 分钟以上）。

测试

要使用模型对特定 Bug 进行分类，可以运行 python -m scripts.bug_classifier MODEL_NAME --bug-id ID_OF_A_BUG_FROM_BUGZILLA。请注意：如果您在未先训练模型的情况下运行分类器脚本，它将自动下载一个已训练好的模型。

“defect” 模型示例

训练 要训练 defect 模型：

python3 -m scripts.trainer defect

测试 要使用该模型对特定 Bug 进行分类，可以运行 python -m scripts.bug_classifier defect --bug-id ID_OF_A_BUG_FROM_BUGZILLA。

在 Taskcluster（Mozilla 的 CI 平台）上训练

您可以在 CI 上运行模型训练任务。为此，只需在拉取请求描述中加入“在 Taskcluster 上训练：模型名称”。

示例

要在 Taskcluster 上训练 spambug 模型，您需要在拉取请求描述中添加以下内容，最好放在底部：

在 Taskcluster 上训练：spambug

在 Taskcluster 上训练模型时需要注意以下几点：

• 目前仅支持 GitHub 拉取请求。
• 每次向与拉取请求关联的分支推送时，训练任务都会重新运行。为避免不必要的训练和资源浪费，建议限制推送次数。或者，您可以暂时从拉取请求描述中移除“在 Taskcluster 上训练”关键词。
• 目前，训练任务仅提取模型名称，不会考虑其他参数。

运行仓库挖掘脚本

注意：本节仅在您希望对仓库挖掘脚本进行修改时才需要。否则，您可以直接使用我们自动生成的提交数据。

1. 克隆 https://hg.mozilla.org/mozilla-central/。
2. 在克隆 mozilla-central 的目录中运行 ./mach vcs-setup。
3. 启用 infra/hgrc 中提到的扩展。例如，在 Linux 系统上，您可以将 firefoxtree 添加到 ~/.hgrc 文件的 extensions 部分，如下所示：

   firefoxtree = ~/.mozbuild/version-control-tools/hgext/firefoxtree
   

4. 运行 repository.py 脚本，其唯一参数为 mozilla-central 仓库的路径。

注意：如果遇到问题，可能是您使用的 Mercurial 版本不受支持。请查看 infra/dockerfile.commit_retrieval 中的 Docker 定义，以了解我们在生产环境中使用的版本。

注意：该脚本运行时间较长（在我的笔记本电脑上超过 7 小时）。如果您只想测试简单的更改而无需实际挖掘数据，可以修改 repository.py 脚本以限制分析的提交数量。只需在调用 log 命令时添加 limit=1024 即可。

项目结构

• bugbug/labels 包含手动收集的标签；
• bugbug/db.py 是一个非常简单的 JSON 数据库实现；
• bugbug/bugzilla.py 包含从 Bugzilla 问题跟踪系统获取问题的函数；
• bugbug/repository.py 包含从 mozilla-central（Firefox）仓库中挖掘数据的函数；
• bugbug/bug_features.py 包含从问题和提交数据中提取特征的函数；
• bugbug/model.py 包含所有模型所继承的基类；
• bugbug/models 包含具体模型的实现；
• bugbug/nn.py 包含将 Keras 模型集成到 scikit-learn 流程中的实用函数；
• bugbug/utils.py 包含各种实用函数；
• bugbug/nlp 包含自然语言处理相关的实用函数；
• bugbug/labels.py 包含标签处理的实用函数；
• bugbug/bug_snapshot.py 包含用于回放问题历史记录的模块；
• bugbug/github.py 包含从 GitHub 获取指定所有者/仓库下问题的函数。

将 bugbug 用于非 Mozilla 项目

Bugbug 目前专注于 Firefox、Bugzilla 和 GitHub 的 Mozilla 使用场景。不过，我们非常欢迎针对其他项目或问题跟踪系统的支持请求。

Bugbug 快速上手指南

Bugbug 是一个利用机器学习技术辅助缺陷管理、质量保障及软件工程任务（如测试选择、缺陷预测）的开源工具，由 Mozilla 开发。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux/macOS/Windows (推荐 Linux 环境)
• Python 版本：Python 3.10 或更高版本
• 可选依赖：libgit2 (版本需 >= 1.0.0)。
  • 如果您在 Debian/Ubuntu 系统上且需要完整功能，可尝试安装：

    sudo apt-get -t experimental install libgit2-dev
    

  • 注：若无法安装此库，可跳过该步骤，部分功能可能受限但不影响核心运行。

安装步骤

1. 克隆项目代码

   git clone https://github.com/mozilla/bugbug.git
   cd bugbug
   

2. 安装 Python 依赖 建议先创建虚拟环境，然后安装核心依赖：

   pip3 install -r requirements.txt
   

   如果需要运行测试或特定模块，可能还需要安装：

   pip3 install -r test-requirements.txt
   

   (国内用户如遇下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源)

3. 配置代码规范钩子（可选但推荐） 项目使用 pre-commit 进行自动格式化检查：

   pre-commit install
   

基本使用

Bugbug 的核心工作流分为模型训练和模型推理。为了方便新手，运行推理脚本时若本地无模型，工具会自动下载预训练好的模型。

1. 训练模型 (Training)

以 defect（缺陷分类）模型为例，运行以下命令开始训练。 注意：首次训练可能需要 30 分钟以上，具体取决于数据量和硬件性能。

python3 -m scripts.trainer defect

2. 使用模型进行分类 (Testing)

训练完成后（或直接运行以触发自动下载），您可以对 Bugzilla 上的具体缺陷 ID 进行分类预测。

命令格式：

python -m scripts.bug_classifier <模型名称> --bug-id <Bugzilla 缺陷 ID>

示例： 使用 defect 模型判断 ID 为 123456 的缺陷是否为真实 Bug：

python -m scripts.bug_classifier defect --bug-id 123456

3. 其他可用模型

除了 defect，您还可以替换 <模型名称> 来使用其他分类器，例如：

• assignee: 推荐缺陷指派负责人
• component: 自动分配产品/组件
• spam: 识别垃圾缺陷报告
• regression: 识别回归缺陷
• testselect: 为补丁选择相关的测试用例

只需将上述命令中的 defect 替换为对应的模型名称即可。