Bert Extractive Summarizer（BERT 抽取式摘要器）

本仓库是 lecture-summarizer 仓库的通用化版本。该工具利用 HuggingFace 的 PyTorch transformers 库执行抽取式摘要（extractive summarization）。其工作原理是：首先对句子进行嵌入（embedding），然后运行聚类算法，找出距离聚类中心最近的句子。此外，该库还使用了共指消解（coreference）技术，借助 https://github.com/huggingface/neuralcoref 库来解析摘要中需要更多上下文信息的词语。neuralcoref 库的“贪婪程度”（greedyness）可在 CoreferenceHandler 类中调整。

从 bert-extractive-summarizer 的最新版本开始，默认情况下，如果系统中存在 GPU，则会自动使用 CUDA。

论文：https://arxiv.org/abs/1906.04165

在线演示：

Distill Bert 摘要演示

目录

1. 安装
2. 示例
   1. 简单示例
   2. 使用 SBert
   3. 获取嵌入向量
   4. 使用共指消解
   5. 自定义模型示例
   6. 大型示例
3. 计算肘部点（Elbow）
4. 运行服务

安装

pip install bert-extractive-summarizer

示例

简单示例

from summarizer import Summarizer

body = 'Text body that you want to summarize with BERT'
body2 = 'Something else you want to summarize with BERT'
model = Summarizer()
model(body)
model(body2)

指定句子数量

句子数量可以以比例（ratio）或整数（num_sentences）形式指定。示例如下：

from summarizer import Summarizer
body = 'Text body that you want to summarize with BERT'
model = Summarizer()
result = model(body, ratio=0.2)  # 使用比例指定
result = model(body, num_sentences=3)  # 返回 3 个句子

使用多个隐藏层作为嵌入输出

你也可以将多个隐藏层的嵌入向量拼接（concat）起来用于聚类。简单示例如下：

from summarizer import Summarizer
body = 'Text body that you want to summarize with BERT'
model = Summarizer('distilbert-base-uncased', hidden=[-1,-2], hidden_concat=True)
result = model(body, num_sentences=3)

使用 SBert

在最新版本中，你可以将 Sentence-BERT（SBert）与 bert-extractive-summarizer 结合使用。该方法基于论文：https://arxiv.org/abs/1908.10084，以及库：https://www.sbert.net/。首先安装 SBERT：

pip install -U sentence-transformers

然后使用如下简单示例：

from summarizer.sbert import SBertSummarizer

body = 'Text body that you want to summarize with BERT'
model = SBertSummarizer('paraphrase-MiniLM-L6-v2')
result = model(body, num_sentences=3)

值得注意的是，主 Summarizer 类支持的所有功能，SBert 同样支持。

获取嵌入向量

你也可以获取摘要结果对应的嵌入向量。示例如下：

from summarizer import Summarizer
body = 'Text body that you want to summarize with BERT'
model = Summarizer()
result = model.run_embeddings(body, ratio=0.2)  # 使用比例指定
result = model.run_embeddings(body, num_sentences=3)  # 返回形状为 (3, N) 的嵌入 numpy 矩阵
result = model.run_embeddings(body, num_sentences=3, aggregate='mean')  # 返回嵌入向量的均值聚合结果

使用共指消解

首先确保已安装 neuralcoref 和 spacy。注意：neuralcoref 不兼容 spacy > 0.2.1 版本。

pip install spacy
pip install transformers # > 4.0.0
pip install neuralcoref

python -m spacy download en_core_web_md

然后按如下方式使用共指消解：

from summarizer import Summarizer
from summarizer.text_processors.coreference_handler import CoreferenceHandler

handler = CoreferenceHandler(greedyness=.4)
# 共指消解的工作方式示例：
# >>>handler.process('''My sister has a dog. She loves him.''', min_length=2)
# ['My sister has a dog.', 'My sister loves a dog.']

body = 'Text body that you want to summarize with BERT'
body2 = 'Something else you want to summarize with BERT'
model = Summarizer(sentence_handler=handler)
model(body)
model(body2)

自定义模型示例

from transformers import *

# 通过 Transformers 加载模型、配置和分词器
custom_config = AutoConfig.from_pretrained('allenai/scibert_scivocab_uncased')
custom_config.output_hidden_states=True
custom_tokenizer = AutoTokenizer.from_pretrained('allenai/scibert_scivocab_uncased')
custom_model = AutoModel.from_pretrained('allenai/scibert_scivocab_uncased', config=custom_config)

from summarizer import Summarizer

body = 'Text body that you want to summarize with BERT'
body2 = 'Something else you want to summarize with BERT'
model = Summarizer(custom_model=custom_model, custom_tokenizer=custom_tokenizer)
model(body)
model(body2)

大型示例

from summarizer import Summarizer

body = '''
克莱斯勒大厦（The Chrysler Building）是纽约著名的装饰艺术风格（art deco）摩天大楼，此次将以远低于此前售价的一小部分价格出售。
据熟悉该交易的消息人士透露，这笔交易最初由《The Real Deal》报道，成交价为1.5亿美元。
2008年，阿布扎比投资基金 Mubadala 以8亿美元收购了该大厦90%的股份。
房地产公司 Tishman Speyer 持有剩余的10%。
买方是纽约房地产公司 RFR Holding。
Tishman 和 RFR 的官员尚未立即回应置评请求。
目前尚不清楚交易何时完成。
该大厦在两个月前公开挂牌出售，很快就完成了交易。
此次出售由 CBRE Group 负责处理。
之所以愿意以如此巨大的亏损出售该大厦，是因为业主需向纽约库伯联盟学院（Cooper Union）支付地皮租金，而租金正在飙升。
租金从去年的775万美元上涨到今年的3250万美元，并将在2028年达到4100万美元。
与此同时，大厦本身的租金涨幅却远远不及这一水平。
尽管该大厦是纽约天际线中标志性的地标建筑，但它正面临更新的办公大楼的竞争——这些新楼拥有大面积的落地窗和各种现代化设施。
然而，即使从未去过纽约的人，也大多知道这座大厦。
它以其三角形拱顶窗（融入风格化的塔冠设计）以及顶部附近独特的鹰形滴水嘴兽（gargoyles）而闻名。
该大厦曾多次在电影中显著亮相，包括《黑衣人3》、《蜘蛛侠》、《世界末日》、《关于史蒂夫的一切》和《独立日》。
上一次出售发生在2008年金融危机爆发前夕，随后房地产价格暴跌。
不过近年来仍有不少知名摩天大楼以高价成交，例如华尔道夫酒店（Waldorf Astoria hotel），中国安邦保险于2016年以近20亿美元购得；还有芝加哥的威利斯大厦（Willis Tower，原名西尔斯大厦，曾是世界最高建筑），黑石集团（Blackstone Group, BX）于2015年以13亿美元购入。
克莱斯勒大厦在1953年之前一直是美国汽车制造商克莱斯勒公司的总部，但该大厦是以克莱斯勒公司首席执行官沃尔特·克莱斯勒（Walter Chrysler）的名字命名并由其个人持有，而非公司本身所有。
沃尔特·克莱斯勒当时立志建造世界最高建筑，与当时曼哈顿下城华尔街40号（40 Wall Street）正在建设的另一座摩天大楼展开竞争。他将大厦顶部尖塔的设计保密，在建筑内部秘密建造，直到华尔街40号完工后才公之于众。
一旦竞争对手无法再增高，克莱斯勒大厦的尖塔便被升起展示，从而赢得了“世界最高”的头衔。
'''

model = Summarizer()
result = model(body, min_length=60)
full = ''.join(result)
print(full)
"""
克莱斯勒大厦（The Chrysler Building）是纽约著名的装饰艺术风格（art deco）摩天大楼，此次将以远低于此前售价的一小部分价格出售。
该大厦在两个月前公开挂牌出售，很快就完成了交易。
之所以愿意以如此巨大的亏损出售该大厦，是因为业主需向纽约库伯联盟学院（Cooper Union）支付地皮租金，而租金正在飙升。
然而，即使从未去过纽约的人，也大多知道这座大厦。
"""

计算肘部点（Elbow）

从 bert-extractive-summarizer 版本 0.7.1 开始，你还可以计算肘部点（ELBOW）以确定最优聚类数量。以下示例展示了如何获取惯性值（inertias）列表。

from summarizer import Summarizer

body = 'Your Text here.'
model = Summarizer()
res = model.calculate_elbow(body, k_max=10)
print(res)

你也可以使用以下算法，通过肘部法找到最优句子数量。

from summarizer import Summarizer

body = 'Your Text here.'
model = Summarizer()
res = model.calculate_optimal_k(body, k_max=10)
print(res)

Summarizer 选项

model = Summarizer(
    model: 该参数用于 Hugging Face BERT 库加载模型，你可以在此提供自定义训练好的模型
    custom_model: 如果你有预训练模型，可以在此传入模型类
    custom_tokenizer: 如果你有自定义分词器（tokenizer），可以在此传入
    hidden: 必须为负数，用于指定从哪一层提取嵌入（embeddings）
    reduce_option: 可选 'mean'（均值）、'median'（中位数）或 'max'（最大值），用于对嵌入层进行池化（pooling）降维
    sentence_handler: 用于处理句子的处理器。若想使用共指消解（coreference），可实例化 CoreferenceHandler 并传入
)

model(
    body: str # 需要摘要的文本字符串
    ratio: float # 最终摘要中保留句子的比例
    min_length: int # 删除字符数少于40的句子（可通过此参数指定最小长度）
    max_length: int # 删除超过最大长度的句子
    num_sentences: 要使用的句子数量。若提供此参数，则会覆盖 ratio 参数
)

运行服务

项目提供了一个 Flask 服务及对应的 Dockerfile。运行该服务非常简单，可以通过 Makefile 使用以下两个命令：

make docker-service-build
make docker-service-run

默认将使用 bert-base-uncased 模型，该模型的表示规模较小。Docker 运行命令也支持传入多种参数以使用自定义或其他模型。例如，可以使用如下命令：

docker build -t summary-service -f Dockerfile.service ./
docker run --rm -it -p 5000:5000 summary-service:latest -model bert-large-uncased

还可以向服务器传递其他参数。以下是可用参数列表：

• -greediness：浮点数参数，用于控制 neuralcoref（神经共指消解）的贪婪程度
• -reduce：指定编码层使用的聚合统计方式（mean 均值、median 中位数、max 最大值）
• -hidden：指定用于生成 embeddings（嵌入向量）的隐藏层（默认为 -2）
• -port：指定服务监听的端口
• -host：指定服务绑定的主机地址

服务启动后，即可向 http://localhost:5000/summarize 端点发送文本摘要请求。该端点接受 text/plain 类型的请求体，内容为待摘要的原始文本。此外，也可以通过请求参数传递配置选项。支持的参数包括：

• ratio：摘要句子数量占原文句子总数的比例（默认为 0.2）
• min_length：句子被接受的最小长度（默认为 25）
• max_length：句子被接受的最大长度（默认为 500）

以下是一个请求示例：

POST http://localhost:5000/summarize?ratio=0.1

Content-type: text/plain

Body:
The Chrysler Building, the famous art deco New York skyscraper, will be sold for a small fraction of its previous sales price.
The deal, first reported by The Real Deal, was for $150 million, according to a source familiar with the deal.
Mubadala, an Abu Dhabi investment fund, purchased 90% of the building for $800 million in 2008.
Real estate firm Tishman Speyer had owned the other 10%.
The buyer is RFR Holding, a New York real estate company.
Officials with Tishman and RFR did not immediately respond to a request for comments.
It's unclear when the deal will close.
The building sold fairly quickly after being publicly placed on the market only two months ago.
The sale was handled by CBRE Group.
The incentive to sell the building at such a huge loss was due to the soaring rent the owners pay to Cooper Union, a New York college, for the land under the building.
The rent is rising from $7.75 million last year to $32.5 million this year to $41 million in 2028.
Meantime, rents in the building itself are not rising nearly that fast.
While the building is an iconic landmark in the New York skyline, it is competing against newer office towers with large floor-to-ceiling windows and all the modern amenities.
Still the building is among the best known in the city, even to people who have never been to New York.
It is famous for its triangle-shaped, vaulted windows worked into the stylized crown, along with its distinctive eagle gargoyles near the top.
It has been featured prominently in many films, including Men in Black 3, Spider-Man, Armageddon, Two Weeks Notice and Independence Day.
The previous sale took place just before the 2008 financial meltdown led to a plunge in real estate prices.
Still there have been a number of high profile skyscrapers purchased for top dollar in recent years, including the Waldorf Astoria hotel, which Chinese firm Anbang Insurance purchased in 2016 for nearly $2 billion, and the Willis Tower in Chicago, which was formerly known as Sears Tower, once the world's tallest.
Blackstone Group (BX) bought it for $1.3 billion 2015.
The Chrysler Building was the headquarters of the American automaker until 1953, but it was named for and owned by Chrysler chief Walter Chrysler, not the company itself.
Walter Chrysler had set out to build the tallest building in the world, a competition at that time with another Manhattan skyscraper under construction at 40 Wall Street at the south end of Manhattan. He kept secret the plans for the spire that would grace the top of the building, building it inside the structure and out of view of the public until 40 Wall Street was complete.
Once the competitor could rise no higher, the spire of the Chrysler building was raised into view, giving it the title.

Response:

{
    "summary": "The Chrysler Building, the famous art deco New York skyscraper, will be sold for a small fraction of its previous sales price. The buyer is RFR Holding, a New York real estate company. The incentive to sell the building at such a huge loss was due to the soaring rent the owners pay to Cooper Union, a New York college, for the land under the building."
}

bert-extractive-summarizer 快速上手指南

环境准备

• Python 版本：建议使用 Python 3.7 或更高版本
• GPU 支持（可选）：如需 GPU 加速，请确保已安装兼容的 CUDA 和 PyTorch（工具会自动检测并启用 CUDA）
• 前置依赖：
  • 若使用 Coreference（共指消解） 功能，需额外安装：

    pip install spacy neuralcoref
    python -m spacy download en_core_web_md
    

    ⚠️ 注意：neuralcoref 仅兼容 spacy <= 2.1.0（即 spacy==2.1.0），不支持新版 spaCy。

安装步骤

推荐使用国内镜像源加速安装（如清华源）：

pip install bert-extractive-summarizer -i https://pypi.tuna.tsinghua.edu.cn/simple

若需使用 SBERT（Sentence-BERT） 功能，额外安装：

pip install -U sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

最简示例

from summarizer import Summarizer

body = '你想要用 BERT 进行摘要的文本内容'
model = Summarizer()
summary = model(body)
print(summary)

指定摘要长度

• 按比例提取（如 20% 的句子）：

  result = model(body, ratio=0.2)
  

• 指定句子数量（如 3 句）：

  result = model(body, num_sentences=3)
  

💡 提示：num_sentences 优先级高于 ratio。