最先进的主题建模平台。

• 完整文档
• 用户邮件列表
• 下载发布版本
• 用户调查

BigARTM 是什么？

BigARTM 是一种基于新颖技术——主题模型加性正则化——的强大主题建模工具。该技术通过将正则化项的加权和添加到优化目标中，有效地构建多目标模型。BigARTM 以能够很好地结合多种不同的目标而闻名，包括稀疏化、平滑化、主题去相关等。这种正则化项的组合能够在几乎不损失困惑度的情况下，同时显著提升多个质量指标。

参考文献

• Vorontsov K., Frei O., Apishev M., Romov P., Dudarenko M. BigARTM: 用于大规模语料库的正则化多模态主题建模开源库 // 图像、社交网络与文本分析. 2015.
• Vorontsov K., Frei O., Apishev M., Romov P., Dudarenko M., Yanina A. 用于大规模语料库的非贝叶斯加性正则化多模态主题建模 // 2015年主题模型研讨会：后处理与应用论文集, 2015年10月19日 - 第29-37页。
• Vorontsov K., Potapenko A., Plavin A. 用于主题选择和稀疏因子分解的主题模型加性正则化。 // 统计学习与数据科学. 2015 — 第193-202页。
• Vorontsov K. V., Potapenko A. A. 主题模型的加性正则化 // 机器学习期刊，专刊“数据分析与智能优化”，施普林格出版社，2014年。
• 更多出版物可在我们的 wiki 页面 中找到。

相关软件包

• TopicNet 是 BigARTM 的高级接口，有助于快速原型设计以及探索已完成的 ARTM 模型的主题。
• David Blei 的开源主题建模软件列表
• MALLET：基于 Java 的语言处理工具包，包含主题建模模块
• Gensim：Python 主题建模库
• Vowpal Wabbit 包含 在线 LDA 算法 的实现

安装

使用 pip 安装（仅限 Linux）

我们为 Linux 提供了 PyPi 发布版本：

$ pip install bigartm

或

$ pip install bigartm10

在 Windows 上安装

我们建议 使用预编译的二进制文件。

如果您需要最新的开发版本，也可以 在 Windows 上编译 C++ 代码。

在 Linux / MacOS 上安装

下载 二进制发布版 或使用 cmake 从源代码编译：

$ mkdir build && cd build
$ cmake ..
$ make install

详细说明请参见 此处。

使用方法

命令行界面

请参阅 bigartm 的文档。

示例：

• 基本模型（20个主题，输出为 CSV 文件，迭代 10 次）

bigartm.exe -d docword.kos.txt -v vocab.kos.txt --write-model-readable model.txt
--passes 10 --batch-size 50 --topics 20

• 基本模型，减少词频过高的词（根据词频过滤极端值）

bigartm.exe -d docword.kos.txt -v vocab.kos.txt --dictionary-max-df 50% --dictionary-min-df 2
--passes 10 --batch-size 50 --topics 20 --write-model-readable model.txt

• 简单的正则化模型（将稀疏度提高到 60-70%）

bigartm.exe -d docword.kos.txt -v vocab.kos.txt --dictionary-max-df 50% --dictionary-min-df 2
--passes 10 --batch-size 50 --topics 20  --write-model-readable model.txt 
--regularizer "0.05 SparsePhi" "0.05 SparseTheta"

• 更高级的正则化模型，包含 10 个稀疏目标主题和 2 个平滑背景主题

bigartm.exe -d docword.kos.txt -v vocab.kos.txt --dictionary-max-df 50% --dictionary-min-df 2
--passes 10 --batch-size 50 --topics obj:10;background:2 --write-model-readable model.txt
--regularizer "0.05 SparsePhi #obj"
--regularizer "0.05 SparseTheta #obj"
--regularizer "0.25 SmoothPhi #background"
--regularizer "0.25 SmoothTheta #background" 

交互式 Python 接口

BigARTM 支持功能齐全且清晰的 Python API（请参阅 安装 以配置适用于您操作系统的 Python API）。

示例：

import artm

# 准备数据
# 情况 1：CountVectorizer 格式的数据
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.datasets import fetch_20newsgroups
from numpy import array

cv = CountVectorizer(max_features=1000, stop_words='english')
n_wd = array(cv.fit_transform(fetch_20newsgroups().data).todense()).T
vocabulary = cv.get_feature_names()

bv = artm.BatchVectorizer(data_format='bow_n_wd',
                          n_wd=n_wd,
                          vocabulary=vocabulary)

# 情况 2：UCI 格式的数据（https://archive.ics.uci.edu/ml/datasets/Bag+of+Words）
bv = artm.BatchVectorizer(data_format='bow_uci',
                          collection_name='kos',
                          target_folder='kos_batches')

# 学习简单的 LDA 模型（或者您可以使用高级的 artm.ARTM）
model = artm.LDA(num_topics=15, dictionary=bv.dictionary)
model.fit_offline(bv, num_collection_passes=20)

# 打印结果
model.get_top_tokens()

有关如何从 Python 开始使用 BigARTM 的详细信息，请参阅教程；用户指南则提供了更多高级功能和用例的相关信息。

低级 API

• C++ 接口
• 纯 C 接口

贡献

请参阅开发者指南，并遵循代码风格。

如需报告 bug，请使用问题跟踪器。如有疑问，请访问我们的邮件列表。欢迎随时提交拉取请求。

许可证

BigARTM 采用新 BSD 许可证发布，该许可证允许出于任何目的（包括商业用途）进行无限次再分发，但前提是必须保留其版权声明以及许可证中的保修免责声明。

BigARTM 快速上手指南

BigARTM 是一个基于“主题模型加法正则化”（Additive Regularization of Topic Models, ARTM）技术的先进主题建模平台。它支持多目标优化，能够同时实现稀疏化、平滑化、主题去相关等多种效果，且几乎不损失困惑度（perplexity）。

环境准备

• 操作系统：
  • Linux：推荐用于生产环境和开发（支持 pip 安装）。
  • Windows：建议使用预编译二进制文件，或自行编译 C++ 代码。
  • macOS：支持源码编译。
• 前置依赖：
  • Python 接口：需要安装 Python (推荐 3.x) 及 pip。若使用 sklearn 数据格式，需安装 scikit-learn 和 numpy。
  • 命令行接口：无额外依赖，下载二进制包即可运行。
  • 编译源码：需要 CMake 和 C++ 编译器（如 g++ 或 Visual Studio Build Tools）。

注意：目前官方未提供专门的中国镜像源。国内用户若遇到 pip 下载缓慢问题，可临时使用国内镜像（如清华源）安装 Python 包：

pip install bigartm -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

方式一：通过 pip 安装（仅限 Linux）

这是最简便的安装方式，直接安装 Python 绑定：

pip install bigartm

或者安装特定版本：

pip install bigartm10

方式二：Windows 用户

建议直接下载预编译的二进制文件：

1. 访问 Releases 页面 或 官方文档下载页。
2. 下载对应版本的安装包并解压。
3. 将 bin 目录添加到系统环境变量 PATH 中，以便在命令行直接使用 bigartm.exe。

如需最新开发版，需参考文档在 Windows 上编译 C++ 源码。

方式三：Linux / macOS 源码编译

如果需要自定义功能或使用最新代码，可通过 cmake 从源码构建：

mkdir build && cd build
cmake ..
make install

详细编译指令请参考 官方安装文档。

基本使用

BigARTM 提供命令行工具（CLI）和 Python API 两种主要使用方式。

1. 命令行接口 (CLI)

假设你已有 UCI 格式的数据集（docword.kos.txt 和 vocab.kos.txt），以下命令可训练一个包含 20 个主题的基础模型：

bigartm.exe -d docword.kos.txt -v vocab.kos.txt --write-model-readable model.txt --passes 10 --batch-size 50 --topics 20

进阶示例：添加正则化项 以下命令在基础模型上增加了稀疏化正则化（SparsePhi 和 SparseTheta），以提高模型的稀疏度：

bigartm.exe -d docword.kos.txt -v vocab.kos.txt --dictionary-max-df 50% --dictionary-min-df 2 --passes 10 --batch-size 50 --topics 20  --write-model-readable model.txt --regularizer "0.05 SparsePhi" "0.05 SparseTheta"

2. Python 接口

Python API 提供了更灵活的数据处理和模型控制能力。以下示例演示如何使用 sklearn 数据加载并训练一个简单的 LDA 模型：

import artm
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.datasets import fetch_20newsgroups
from numpy import array

# 1. 准备数据 (使用 sklearn 的 CountVectorizer 格式)
cv = CountVectorizer(max_features=1000, stop_words='english')
n_wd = array(cv.fit_transform(fetch_20newsgroups().data).todense()).T
vocabulary = cv.get_feature_names()

# 创建 BatchVectorizer
bv = artm.BatchVectorizer(data_format='bow_n_wd',
                          n_wd=n_wd,
                          vocabulary=vocabulary)

# 2. 定义并训练模型 (这里使用简单的 LDA，也可使用 artm.ARTM 进行高级正则化)
model = artm.LDA(num_topics=15, dictionary=bv.dictionary)
model.fit_offline(bv, num_collection_passes=20)

# 3. 查看结果 (打印每个主题下的顶层词汇)
print(model.get_top_tokens())

更多高级用法（如多模态建模、复杂正则化组合）请参考 Python 教程 和 用户指南。