锚定 CorEx：只需最少领域知识的层次主题建模

Correlation Explanation (CorEx) 是一种主题模型，能够生成对一组文档最具信息量的丰富主题。与其他主题模型相比，CorEx 的优势在于，它可以根据用户需求轻松地作为无监督、半监督或层次主题模型运行。在半监督学习中，CorEx 允许用户通过“锚词”整合其领域知识。这种整合方式灵活，使用户能够引导主题模型朝这些词语的方向发展。这为促进主题表示、可分离性和方面提取提供了创造性的策略。更广泛地说，CorEx 的这一实现非常适合对任何稀疏二值数据进行聚类。

如果您使用此代码，请引用以下文献：

Gallagher, R. J., Reing, K., Kale, D., and Ver Steeg, G. “锚定相关解释：只需最少领域知识的主题建模.” 计算语言学协会汇刊 (TACL), 2017.

快速入门

安装

可以通过 pip 安装 CorEx 主题模型的 Python 代码：

pip install corextopic

示例笔记本

有关如何获取并解释 CorEx 主题模型输出的完整说明，请参阅 示例笔记本。下面我们介绍如何将 CorEx 运行为无监督、半监督或层次主题模型。

运行 CorEx 主题模型

给定一个文档-词矩阵，CorEx 主题模型非常容易运行。代码遵循 scikit-learn 的 fit/transform 约定。

import numpy as np
import scipy.sparse as ss
from corextopic import corextopic as ct

# 定义一个矩阵，其中行代表样本（文档），列代表特征（词）
X = np.array([[0,0,0,1,1],
              [1,1,1,0,0],
              [1,1,1,1,1]], dtype=int)
# 也支持稀疏矩阵
X = ss.csr_matrix(X)
# 可以为每一列提供词标签
words = ['狗', '猫', '鱼', '苹果', '橙子']
# 可以为每一行提供文档标签
docs = ['水果文档', '动物文档', '混合文档']

# 训练 CorEx 主题模型
topic_model = ct.Corex(n_hidden=2)  # 定义要使用的潜在（隐藏）主题数量。
topic_model.fit(X, words=words, docs=docs)

模型训练完成后，我们可以使用 get_topics() 函数获取主题。

topics = topic_model.get_topics()
for topic_n,topic in enumerate(topics):
    # w: 词，mi: 互信息，s: 符号
    topic = [(w,mi,s) if s > 0 else ('~'+w,mi,s) for w,mi,s in topic]
    # 解包主题信息
    words,mis,signs = zip(*topic)    
    # 打印主题
    topic_str = str(topic_n+1)+': '+', '.join(words)
    print(topic_str)

同样，每个主题最可能对应的文档可以通过 get_top_docs() 函数访问。

top_docs = topic_model.get_top_docs()
for topic_n, topic_docs in enumerate(top_docs):
    docs,probs = zip(*topic_docs)
    topic_str = str(topic_n+1)+': '+', '.join(docs)
    print(topic_str)

总结文件和可视化结果可以由 vis_topic.py 输出。

from corextopic import vis_topic as vt
vt.vis_rep(topic_model, column_label=words, prefix='topic-model-example')

选择主题数量

每个主题解释了 总相关性 (TC) 的一部分。我们可以通过 tcs 属性访问各主题的 TC，也可以通过 tc 属性访问总体 TC（即所有主题 TC 的总和）。为了确定应使用多少个主题，我们可以查看 tcs 的分布情况。如果添加更多主题对总体 TC 的贡献很小，则说明现有主题已经解释了文档中的大部分信息。在这种情况下，我们的主题模型可能不需要更多的主题。因此，作为一般经验法则，可以继续添加主题，直到总体 TC 达到平稳状态。

我们还可以从多个不同的初始化点重新启动 CorEx 主题模型。这样可以使 CorEx 探索主题空间的不同区域，并有可能找到更具信息量的主题。如果我们希望采用严格的定量方法来选择使用哪一次主题模型运行的结果，那么可以选择具有最高 TC 的模型（即能够解释最多文档信息的模型）。

半监督主题建模

使用锚词

锚定 CorEx 允许用户通过“锚词”整合其领域知识。锚定会鼓励（但不强制）CorEx 搜索与锚词相关的主题。这有助于我们找到感兴趣的主题、增强主题之间的可分离性，并围绕主题发现各个方面。

如果已初始化 words，则可以轻松使用锚词：

topic_model.fit(X, words=words, anchors=[['狗','猫'], '苹果'], anchor_strength=2)

这会将“狗”和“猫”锚定到第一个主题，“苹果”锚定到第二个主题。anchor_strength 是相对于所有其他词而言，给予锚词的相对权重。例如，如果 anchor_strength=2，那么 CorEx 在搜索相关主题时会将锚词的权重提高两倍。anchor_strength 应始终设置为大于 1。在此基础上的具体取值取决于词汇表的大小和具体任务。我们鼓励用户尝试不同的 anchor_strength 值，以找到最适合自身需求的设置。

如果未初始化 words，我们可以通过指定文档-术语矩阵中要锚定的列索引来进行锚定。例如，

topic_model.fit(X, anchors=[[0, 2], 1], anchor_strength=2)

将第 0 列和第 2 列的词锚定到第一个主题，将第 1 列的词锚定到第二个主题。

锚定策略

我们可以使用多种策略来应用锚定 CorEx 模型。以下仅提供几个示例。

1. 将一组词语锚定到单个主题。这有助于引入在无监督 CorEx 主题模型运行中未自然出现的主题。例如，如果我们怀疑一组灾害救援文章中应包含雪崩主题，可以将“snow”、“cold”和“avalanche”等词语锚定到某个主题。

topic_model.fit(X, words=words, anchors=[['snow', 'cold', 'avalanche']], anchor_strength=4)

2. 将多组词语分别锚定到多个主题。这可以帮助发现一个主题在不同上下文中可能涉及的不同方面。例如，我们可能将“protest”锚定到三个主题，“riot”锚定到另外三个主题，以理解关于政治抗议的推文所呈现的不同话语框架。

topic_model.fit(X, words=words, anchors=['protest', 'protest', 'protest', 'riot', 'riot', 'riot'], anchor_strength=2)

3. 将不同的词语集分别锚定到多个主题。如果存在一些分离度较差的“嵌合体”主题，这种方法可以帮助增强主题的可区分性。例如，我们可以将“mountain”、“Bernese”和“dog”锚定到一个主题，同时将“mountain”、“rocky”和“colorado”锚定到另一个主题，以更好地分离讨论伯恩山犬和落基山脉的主题。

topic_model.fit(X, words=words, anchors=[['bernese', 'mountain', 'dog'], ['mountain', 'rocky', 'colorado']], anchor_strength=2)

示例笔记本详细介绍了其他使用锚定 CorEx 的示例。我们鼓励领域专家根据自身需求尝试不同的锚定策略。

注意：在运行无监督 CorEx 时，主题会按照其解释的总相关性大小进行排序并返回。而在运行锚定 CorEx 时，主题不会按总相关性排序，前 n 个主题将对应于模型输入中给出顺序的前 n 个锚定主题。

层次化主题建模

构建层次化主题模型

对于 CorEx 主题模型而言，主题是潜在因子，可以在每篇文档中出现或不出现。我们可以将这些主题表达矩阵作为另一层 CorEx 主题模型的输入，从而构建层次化主题模型。

# 训练第一层
topic_model = ct.Corex(n_hidden=100)
topic_model.fit(X)

# 训练后续各层
tm_layer2 = ct.Corex(n_hidden=10)
tm_layer2.fit(topic_model.labels)

tm_layer3 = ct.Corex(n_hidden=1)
tm_layer3.fit(tm_layer2.labels)

可以通过 vis_topic.py 访问层次化主题模型的可视化结果。

vt.vis_hierarchy([topic_model, tm_layer2, tm_layer3], column_label=words, max_edges=300, prefix='topic-model-example')

技术说明

文档二值化

出于速度考虑，本版本的 CorEx 主题模型仅适用于二值数据，并生成二值潜在因子。尽管存在这一限制，我们的研究表明，对于短至中等长度的文档，CorEx 所生成的主题连贯性与 LDA 相当甚至更好。然而，处理较长文档时，您可能需要考虑额外的预处理步骤。我们提供了几种文本数据处理策略。

0. 简单二值化。此方法适用于长度相近的文档，尤其适合短至中等长度的文档。

1. 平均二值词袋。我们将文档分割成若干块，计算每块的二值词袋，然后取平均值。这种方法会隐式地对所有文档赋予相等的权重。

2. 全部二值词袋。将文档分割成若干块，并将每块视为独立的二值词袋文档。这样做会改变文档数量，因此如果需要，可能需要重新匹配文档 ID。隐式地，这种方法会更重视较长的文档。总体而言，这似乎是最具理论依据的方法。理想情况下，您可以汇总子文档的潜在因子，以获得更高层的潜在因子“计数”。

3. 分数计数。此方法将计数转换为相对于背景频率的比例，最大值为 1。短文档通常保持二值状态，而长文档中的词语则会根据其在语料库中的背景频率进行加权。该方法在测试中表现尚可。它无需对计数数据进行预处理，且能充分利用所有可能的输入范围。然而，这种方法尚未经过严格或充分的测试。

对于 Python API，针对第 1 和第 2 种方法，您可以使用 vis_topic 中的函数来处理数据，也可以自行完成。简单二值化可通过 count='binarize' 参数指定，分数计数则通过 count='fraction' 指定。尽管分数计数在理论上可行，但其在 CorEx 主题模型中的应用尚未得到充分验证。

单一主题归属

同样出于速度考虑，CorEx 主题模型强制要求每个词语只能属于一个主题。如果用户将某个词语锚定到多个主题，则单一归属规则将被覆盖。

参考文献

如果您使用此代码，请引用以下文献：

Gallagher, R. J., Reing, K., Kale, D., and Ver Steeg, G. “锚定相关性解释：基于最小领域知识的主题建模.” 计算语言学协会汇刊 (TACL), 2017.

如果您想了解 CorEx 在稀疏二值数据之外的一般工作原理，请参阅以下论文：

通过相关性解释发现高维数据中的结构, Ver Steeg 和 Galstyan, NIPS 2014.

高维数据的最大信息量层次表示, Ver Steeg 和 Galstyan, AISTATS 2015.

corex_topic 快速上手指南

corex_topic 是一个基于“锚定相关性解释”（Anchored CorEx）算法的主题模型工具。与传统的 LDA 等模型相比，它支持无监督、半监督（通过“锚点词”融入领域知识）以及分层主题建模，特别适用于稀疏二值数据的聚类分析。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：建议 Python 3.6 及以上
• 前置依赖：
  • numpy
  • scipy
  • scikit-learn (部分功能兼容)

确保已安装基础科学计算库，若未安装可先行执行：

pip install numpy scipy

安装步骤

推荐使用 pip 直接安装官方发布版本。国内用户如遇下载缓慢，可使用清华或阿里云镜像源加速。

标准安装：

pip install corextopic

使用国内镜像源加速安装（推荐）：

pip install corextopic -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下示例演示如何构建一个最简单的无监督主题模型。代码遵循 scikit-learn 的 fit/transform 风格。

1. 准备数据与训练模型

创建一个文档 - 词矩阵（支持稠密数组或稀疏矩阵），定义词汇表和文档标签，然后初始化并训练模型。

import numpy as np
import scipy.sparse as ss
from corextopic import corextopic as ct

# 定义矩阵：行代表样本（文档），列代表特征（词）
# 1 表示该词出现在文档中，0 表示未出现（二值化数据）
X = np.array([[0,0,0,1,1],
              [1,1,1,0,0],
              [1,1,1,1,1]], dtype=int)

# 支持稀疏矩阵格式
X = ss.csr_matrix(X)

# 定义每列对应的词标签
words = ['dog', 'cat', 'fish', 'apple', 'orange']

# 定义每行对应的文档标签
docs = ['fruit doc', 'animal doc', 'mixed doc']

# 初始化模型：n_hidden 指定潜在主题的数量
topic_model = ct.Corex(n_hidden=2)

# 训练模型
topic_model.fit(X, words=words, docs=docs)

2. 获取主题结果

训练完成后，使用 get_topics() 提取每个主题下的关键词及其互信息（MI）。

topics = topic_model.get_topics()
for topic_n, topic in enumerate(topics):
    # 格式化输出：正相关显示词，负相关显示 ~词
    topic_formatted = [(w, mi, s) if s > 0 else ('~'+w, mi, s) for w, mi, s in topic]
    
    # 解包数据
    words_list, mis, signs = zip(*topic_formatted)    
    
    # 打印主题关键词
    topic_str = str(topic_n+1) + ': ' + ', '.join(words_list)
    print(topic_str)

3. 获取典型文档

使用 get_top_docs() 查看每个主题下概率最高的文档。

top_docs = topic_model.get_top_docs()
for topic_n, topic_docs in enumerate(top_docs):
    docs_list, probs = zip(*topic_docs)
    topic_str = str(topic_n+1) + ': ' + ', '.join(docs_list)
    print(topic_str)

4. 可视化（可选）

工具内置了可视化模块，可生成主题关系图或层级结构图。

from corextopic import vis_topic as vt

# 生成主题表示可视化文件
vt.vis_rep(topic_model, column_label=words, prefix='topic-model-example')

提示：若需进行半监督建模（指定锚点词）或分层建模，只需在 fit 函数中传入 anchors 参数，或将上一层的 labels 作为下一层的输入即可。详细用法请参考官方 Example Notebook。