GALACTICA 是一款通用的科学语言模型。它基于大量的科学文本和数据进行训练，能够高效地完成各种科学自然语言处理任务，例如引用预测、数学推理、分子性质预测以及蛋白质注释等。更多信息请访问 galactica.org。

安装

通过 pip 安装：

pip install galai

从仓库安装：

pip install git+https://github.com/paperswithcode/galai

模型

目前共有五种 GALACTICA 模型可供选择，具体如下：

规模	参数量
mini	125 M
base	1.3 B
standard	6.7 B
large	30 B
huge	120 B

快速入门

import galai as gal

model = gal.load_model("standard")
model.generate("缩放点积注意力：\n\n\\[")
# 缩放点积注意力：\n\n\\[ \\displaystyle\\text{Attention}(Q,K,V)=\\text{softmax}(\\frac{QK^{T}}{\\sqrt{d_{k}}}%\n)V \\]

您可以通过 PDF 或 Jupyter Notebook 阅读关于 Galactica 模型的完整介绍。

此外，您还可以在 Hugging Face Hub 上找到所有模型的权重、模型卡片以及推理小工具。这些模型均可直接与 transformers 库配合使用。

pip install transformers accelerate

您可以使用高级别的 pipeline API 进行推理：

from transformers import pipeline

model = pipeline("text-generation", model="facebook/galactica-6.7b")
input_text = "Transformer 架构 [START_REF]"
model(input_text)

或者，如果您需要更精细的控制，可以使用较低级别的 OPTForCausalLM 类。请参考相应仓库中的模型卡片，了解如何在 CPU、GPU 上以不同精度运行模型。

from transformers import AutoTokenizer, OPTForCausalLM

tokenizer = AutoTokenizer.from_pretrained("facebook/galactica-6.7b")
model = OPTForCausalLM.from_pretrained("facebook/galactica-6.7b", device_map="auto")

input_text = "Transformer 架构 [START_REF]"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

功能特性

GALACTICA 是一个独立的语言模型，未经指令微调。因此，为了获得理想的结果，您需要使用合适的提示词。在本说明中，我们将介绍一些特殊的标记符号及提示风格，以帮助您更好地利用该模型。

以下我们以标准版（67亿参数）为例进行演示。

📚 预测引用：

您需要使用 [START_REF] 标记：

model.generate("Transformer 架构 [START_REF]")
# Transformer 架构 [START_REF] Attention is All you Need, Vaswani[END_REF] 是一种序列到序列模型，它利用自注意力机制捕捉输入和输出标记之间的长距离依赖关系。研究表明，Transformer 在众多自然

🔢 生成 LaTeX 公式：

model.generate("史瓦西半径的定义为：\\[")
# 史瓦西半径的定义为：\\[r_{s}=\\frac{2GM}{c^{2}}\\]\n\n其中 \\(G\\) 是万有引力常数，\\(M\\) 是黑洞的质量，且

🤔 逻辑推理：

进行推理时需使用特殊标记 <work>：

model.generate("一个物体受到 0.6N 的力作用，加速度为 3m/s²。它的质量是多少？<work>")
# 要使质量为 3kg 的物体以 10m/s² 的加速度运动，应施加多大的力？<work>\n我们可以使用牛顿第二定律：F = ma。代入变量后得到：\n\n\\[ F = \\left(66kg

⚛️ 生成分子结构：

model.generate("[START_I_SMILES]", max_length=200)
# [START_I_SMILES]CCC1=CC=C(C=C1)C(=O)NC2=CC=CC(=C2)C(=O)NC3=CC=C(C=C3)S(=O)(=O)N[END_I_SMILES]\n\n### 分子式\n\nC22H21N3O4S\n\n## 化学与物理性质\n\n以下是 3-[[3-(4-乙基苯基)-3-氧代-丙酰基]氨基]-N-(4-磺酰胺基苯基)苯甲酰胺的化学性质。\n\n### 计算得出的性质\n\n| 属性名称 | 属性值\n| --- | ----------- |\n| 分子量 | 423.5\n| XLogP3-AA Log P | 3.2\n| 氢键供体数 | 3\n| 氢键受体数 

🧑‍🔬 预测蛋白质注释：

model.generate("[START_AMINO]GHMQSITAGQKVISKHKNGRFYQCEVVRLTTETFYEVNFDDGSFSDNLYPEDIVSQDCLQFGPPAEGEVVQVRWTDGQVYGAKFVASHPIQMYQVEFEDGSQLVVKRDDVYTLDEELP[END_AMINO] ## 关键词", max_length=200)
# '[START_AMINO]GHMQSITAGQKVISKHKNGRFYQCEVVRLTTETFYEVNFDDGSFSDNLYPEDIVSQDCLQFGPPAEGEVVQVRWTDGQVYGAKFVASHPIQMYQVEFEDGSQLVVKRDDVYTLDEELP[END_AMINO] ## 关键词\n\n细胞质, 甲基转移酶, rRNA 加工, S-腺苷甲硫氨酸, 转移酶\n\n## 参考文献\n\n问题：关于核糖体 RNA 小亚基甲基转移酶 H 的相关文献有哪些？\n\n答案：\n\n[START_REF] 28 株沙门氏菌分离株的比较基因组学：CRISPR 介导的适应性亚谱系进化的证据，Fricke[END_REF]\n\n</s>'

🖱️ 自由形式生成

如果您希望实现基于自动补全的功能，不妨尝试将 new_doc=True 设置为 False。这样可以让模型更倾向于认为自己处于文档的中间部分，而不是开头。

model.generate("Transformer 取代 RNN 的原因在于", new_doc=False)
# Transformer 取代 RNN 的原因在于它们能够捕捉输入序列中的长期依赖关系。\n\n# 2.2.2. 注意力机制\n\n注意力机制最早出现在 [START_REF] “通过联合学习对齐与翻译实现神经机器翻译”，Bahdan

❓ 问答

在论文中，我们通常会在问题前加上“Q:”或“Question:”。典型的格式是“Question: 问题。\n\nAnswer:”，例如：

model.generate("Question: Notch 信号通路是什么？\n\nAnswer:")

# 问题：Notch信号通路是什么？\n\n答案：\n\nNotch信号通路是一种细胞间通讯途径，能够在发育过程中调控细胞命运的决定。它参与细胞增殖、分化、凋亡和细胞迁移等过程。Notch信号通路通过……的结合而被激活。

📄 文档

在开始撰写文档时，为了获得更好的效果，必须使用文档起始标记。为此，在调用generate函数时，需设置new_doc=True：

对于某些类型的文档，例如维基百科风格的文章、讲义和GitHub仓库，可以使用#作为开头，例如：

model.generate("# 多头注意力机制\n\n", new_doc=True)
# # 多头注意力机制\n\n多头注意力机制是单头注意力机制的推广。它由多个单头注意力机制组合而成。多头注意力机制如图2所示。\n\n多

对于论文类文档，可以使用标题，例如：

model.generate("标题：自监督学习综述\n\n作者：约翰·史密斯\n\n", new_doc=True)
# 标题：自监督学习综述\n\n作者：约翰·史密斯\n\n# 摘要\n\n自监督学习是一类无需人工标注即可学习数据表示的机器学习方法。\n在本综述中，我们对这一领域进行了全面概述

你还可以尝试其他采样技术以减少重复内容，例如：

model.generate("第1讲：伊辛模型\n\n", new_doc=True, top_p=0.7, max_length=200)
# '第1讲：伊辛模型\n\n# 13 引言\n\n现在我们将介绍一个用于描述磁性的简单模型——伊辛模型，它是一种格点模型，其中每个格点只有两种自旋状态：向上或向下。我们希望理解这些自旋之间如何相互作用，以及它们如何排列成特定的状态。\n\n首先，我们将讨论一维的情况，然后逐步扩展到二维格点，最后再考虑更高维度的情形。\n\n# 14 一维伊辛模型\n\n# 14.1 模型\n\n一维伊辛模型是最简单的形式，其格点结构为一条由\\(N\\)个自旋组成的直线，每个自旋都有两种可能的状态：向上或向下。换句话说，我们考虑的是一个由\\(N\\)个自旋排成的一条直线，每个自旋都可以指向上方或下方'

📜 摘要

你可以添加“TLDR:”来生成简明扼要的摘要：

TEXT = """信息过载是科学进步的主要障碍。科学文献和数据的爆炸式增长使得从海量信息中发现有用见解变得愈发困难。如今，人们主要通过搜索引擎获取科学知识，但仅靠搜索引擎无法有效组织科学知识。本文我们提出了Galactica：一个能够存储、整合并推理科学知识的大规模语言模型。我们在包含大量论文、参考材料、知识库及其他来源的科学语料上进行训练。在多项科学任务上，我们的模型均优于现有模型。例如，在LaTeX方程等技术性知识测试中，Galactica的表现比最新的GPT-3高出68.2%对49.0%。此外，Galactica在推理能力方面也表现出色，其数学MMLU得分达到41.3%，高于Chinchilla的35.7%；在MATH竞赛中，Galactica获得了20.4%的分数，而PaLM 540B仅为8.8%。它还在PubMedQA和MedMCQA等下游任务上创造了新的SOTA记录，分别达到77.6%和52.9%。尽管未接受通用语料的训练，Galactica在BIG-bench测试中仍超越了BLOOM和OPT-175B。我们认为，这些结果表明语言模型有望成为科学领域的新接口。我们已将该模型开源，以造福科学界。"""

model.generate(TEXT + "\n\nTLDR:", max_length=400)
# ...TLDR：我们提出了Galactica，一个能够存储、整合并推理科学知识的大规模语言模型。</s>

💎 实体抽取

可以从文档中提取实体。我们沿用上一节中的摘要示例（TEXT），并添加问题：

ENT_TEXT = TEXT + '\n\n上述摘要中提到了哪些科学实体？\n\n'

model.generate(ENT_TEXT, max_length=400)
# ...上述摘要中提到了哪些科学实体？\n\n答：LaTeX方程、数学MMLU、MATH、PubMedQA、MedMCQA、BIG-bench</s>

👨‍🔬 IUPAC名称预测

针对此任务，我们基于PubChem文档编写了提示，并要求模型完成。以下使用的是67亿参数的模型：

context = "[START_I_SMILES]C(C(=O)O)N[END_I_SMILES]\n\n## 化学与物理性质\n\n以下是……的化学性质"
model.generate(context, max_length=400)
# [START_I_SMILES]C(C(=O)O)N[END_I_SMILES]\n\n## 化学与物理性质\n\n以下是2-氨基-2-氧代乙酸的化学性质
# 注意：此处预测错误

参考文献

@inproceedings{GALACTICA,
    title={GALACTICA：面向科学的大规模语言模型},
    author={罗斯·泰勒、马尔钦·卡尔达斯、吉列姆·库库鲁尔、托马斯·希亚洛姆、安东尼·哈特肖恩、埃尔维斯·萨拉维亚、安德鲁·普尔顿、维克托·克尔凯兹、罗伯特·斯托伊尼奇},
    year={2022}
}

Galactica (galai) 快速上手指南

Galactica 是一个专为科学领域设计的通用大语言模型，擅长处理科学文献、数学推理、分子属性预测及蛋白质注释等任务。

环境准备

• 系统要求：支持 Linux、macOS 或 Windows。
• Python 版本：建议 Python 3.8 及以上。
• 前置依赖：
  • 基础使用仅需安装 galai。
  • 若需更灵活的控制（如指定 GPU、混合精度推理），建议额外安装 transformers 和 accelerate。
  • 硬件建议：运行较大模型（如 standard 6.7B 及以上）建议使用具备 CUDA 支持的 NVIDIA GPU。

安装步骤

方式一：通过 pip 安装（推荐）

pip install galai

方式二：从源码安装

pip install git+https://github.com/paperswithcode/galai

可选：安装高级依赖

如果需要直接使用 Hugging Face transformers 接口进行推理：

pip install transformers accelerate

提示：国内用户如遇下载缓慢，可添加国内镜像源加速安装，例如： pip install galai -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 使用 galai 原生接口（最简单）

这是最快捷的调用方式，自动处理模型加载与生成。

import galai as gal

# 加载模型，可选尺寸：mini, base, standard, large, huge
model = gal.load_model("standard")

# 生成科学内容（例如 LaTeX 公式）
output = model.generate("Scaled dot product attention:\n\n\\[")
print(output)

2. 使用 Transformers 接口（更灵活）

适用于需要自定义设备映射、精度控制或批量处理的场景。

from transformers import pipeline

# 初始化文本生成管道
model = pipeline("text-generation", model="facebook/galactica-6.7b")

# 执行推理（注意：科学任务通常需要特定提示词，如 [START_REF]）
input_text = "The Transformer architecture [START_REF]"
result = model(input_text)
print(result)

3. 关键使用技巧

Galactica 未经过指令微调（Instruction Tuned），因此**必须使用特定的提示词（Prompt）**才能获得最佳效果：

• 引用预测：在需要参考文献处添加 [START_REF]。
• 数学/LaTeX：直接使用 \[ 开始公式。
• 逻辑推理：在问题末尾添加 <work> 触发逐步推理。
• 分子生成：使用 [START_I_SMILES] 开始。
• 文档撰写：设置 new_doc=True 并使用 # (维基风格) 或 Title: (论文风格) 开头。

示例：科学推理

# 注意 <work> 标记的使用
model.generate("A force of 0.6N is applied to an object, which accelerates at 3m/s. What is its mass? <work>")