用于微调相似度学习模型的极速框架

站在巨人的肩膀上的矮子，看得更远

Quaterion 是一个用于微调相似度学习模型的框架。该框架解决了语义搜索、推荐系统、异常检测、极端分类、匹配引擎等任务中模型训练的“最后一公里”问题。

它旨在将预训练模型的性能与针对特定任务的专业化相结合，同时避免缓慢而昂贵的训练过程。

特性

• 🌀 极快的速度：借助内置的缓存机制，Quaterion 即使在 笔记本电脑 GPU 上也能以超大批次进行数千轮的训练。

• 🐈‍ 小数据友好：通过特别设计的头部层，即使只有 一天时间 就能标注完的数据集，也能让预训练模型发挥出最大效用。

• 🏗️ 可定制性：Quaterion 允许用户重新定义框架的任何部分，使其能够灵活适应大规模且复杂的训练流程。

• 🌌 可扩展性：Quaterion 构建在 PyTorch Lightning 之上，继承了其所有关于可扩展性、成本效益和可靠性的优势。

安装

简而言之：

用于训练：

pip install quaterion

用于推理服务：

pip install quaterion-models

---

Quaterion 框架由两个包组成——quaterion 和 quaterion-models。

由于并非总是能够或方便地将模型表示为 ONNX 格式（尽管也 支持），Quaterion 将可能用于模型推理的极少量模型类放在一个 独立的包 中。

这样可以避免在推理基础设施中安装繁重的训练依赖项：pip install quaterion-models。

与此同时，当您需要完整的工具集来进行模型训练和调试时，只需安装一个包即可：pip install quaterion。

文档 📓

• 快速入门 指南
• 最小可行的 示例

若想深入了解，可查看我们的端到端教程：

• 微调 NLP 模型——问答系统
• 微调 CV 模型——相似汽车搜索

框架高级功能的教程：

• 缓存教程——如何让训练更快。
• 头部层：跳跃连接——如何在微调过程中避免遗忘。
• 嵌入置信度——我如何知道模型对输出向量有把握？
• 防止向量坍塌——如何在三元组损失中避免向量空间坍塌。

社区

• 加入我们的 Discord 频道
• 关注我们的 Twitter
• 订阅我们的 新闻通讯
• 发送邮件至 info@qdrant.tech

许可证

Quaterion 采用 Apache License, Version 2.0 许可证。请参阅 许可证文件。

Quaterion 快速上手指南

Quaterion 是一个用于微调相似性学习模型（Similarity Learning）的高速框架。它专为语义搜索、推荐系统、异常检测等任务设计，旨在结合预训练模型的性能与特定任务的定制化能力，同时避免昂贵且缓慢的全量训练过程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.8 及以上
• 硬件要求：
  • 训练：推荐使用 NVIDIA GPU（支持 CUDA），但得益于其内置缓存机制，即使在笔记本电脑 GPU 上也能进行高效的大批量训练。
  • 推理：CPU 或 GPU 均可。
• 前置依赖：
  • PyTorch
  • PyTorch Lightning（Quaterion 基于此构建，安装时会自动处理）

安装步骤

Quaterion 框架分为两个包：核心训练包 quaterion 和轻量级推理包 quaterion-models。

1. 安装训练环境

如果您需要进行模型微调、调试或完整开发，请安装主包：

pip install quaterion

国内加速建议：如果下载速度较慢，建议使用清华或阿里镜像源：

pip install quaterion -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装推理环境（可选）

如果您仅需在生产环境中部署模型进行推理（无需训练依赖），可安装轻量级包：

pip install quaterion-models

基本使用

Quaterion 的核心优势在于利用缓存机制加速训练，并允许通过自定义"Head Layers"轻松适配预训练模型。以下是一个最简化的微调流程示例。

步骤 1: 导入必要的模块

from quaterion import SimilarityModel
from quaterion.dataset import DatasetColumn, GroupedDataset
from quaterion.loss import ContrastiveLoss
from quaterion.train import Trainer
from torch.utils.data import DataLoader

步骤 2: 准备数据

Quaterion 需要成对或分组的数据来进行相似性学习。假设我们有一个包含文本对的数据集：

# 模拟数据：anchor (锚点), positive (正样本), negative (负样本)
data = [
    {"anchor": "如何重置密码", "positive": "忘记密码怎么办", "negative": "如何注册账号"},
    {"anchor": "发货时间", "positive": "多久能收到货", "negative": "支持退货吗"},
    # ... 更多数据
]

# 创建数据集
dataset = GroupedDataset(
    data=data,
    columns={
        "anchor": DatasetColumn("anchor"),
        "positive": DatasetColumn("positive"),
        "negative": DatasetColumn("negative")
    }
)

dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

步骤 3: 定义模型与损失函数

加载预训练模型（如 BERT）并添加特定的头部层（Head Layer）以适应相似性任务。

# 初始化模型，这里以 HuggingFace BERT 为例
model = SimilarityModel(
    encoder_name="bert-base-uncased",
    head_type="skip_connection" # 使用跳过连接头，防止微调时遗忘预训练知识
)

# 定义损失函数，例如对比损失
loss_fn = ContrastiveLoss(margin=0.5)

步骤 4: 启动训练

利用 Quaterion 的 Trainer 进行训练。内置的缓存机制将自动优化嵌入计算速度。

trainer = Trainer(
    model=model,
    loss_function=loss_fn,
    epochs=5,
    device="cuda" # 或 "cpu"
)

# 开始训练
trainer.fit(dataloader)

训练完成后，您可以直接使用微调后的模型生成嵌入向量，用于后续的语义搜索或匹配任务。

---

更多高级教程（如缓存配置、向量防坍塌技巧等）请访问官方文档：https://quaterion.qdrant.tech