Transformer²：自适应大型语言模型 🐙

📚 [论文] | 📄 [博客]

自适应大型语言模型（LLMs）旨在解决传统微调方法所带来的挑战，这些方法通常计算成本高昂，且在处理多样化任务时缺乏灵活性。

我们非常高兴地推出 Transformer²，这是一种全新的自适应框架，它能够通过仅选择性地调整权重矩阵中的特定组件，实时适应未见过的任务。

在推理过程中，Transformer² 采用两步机制：首先，调度系统会识别任务特性；随后，利用强化学习训练得到的任务专用“专家”向量会被动态混合，从而为输入提示生成目标行为。

安装

1. 克隆仓库

git clone https://github.com/SakanaAI/self-adaptive-llms
cd self-adaptive-llms

2. 安装依赖库

conda create -n t2 python=3.11 -y
conda activate t2
pip install --upgrade pip
pip install -r requirements.txt

3. 安装任务评估工具

cd evaluation/fishfarm
pip install -e .

使用说明

我们提供了用于训练和评估的示例脚本。

请根据需求修改脚本中的参数以选择不同的模型和任务。

训练

bash scripts/train_task_expert.sh

演示

基于提示的评估

可以通过在脚本中指定 CLS_EXPERT_PATH 来加载分类专家。

bash scripts/eval_prompt_based.sh

少样本评估

bash scripts/eval_few_shot.sh

引用

如果您认为 Transformer^2 对您的研究有所帮助，请使用以下 BibTeX 格式进行引用：

@misc{sun2025transformersquaredselfadaptivellms,
      title={Transformer-Squared: 自适应大型语言模型}, 
      author={Qi Sun 和 Edoardo Cetin 和 Yujin Tang},
      year={2025},
      eprint={2501.06252},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2501.06252}, 
}

Transformer² (Self-adaptive LLMs) 快速上手指南

Transformer² 是一种创新的自适应性大语言模型框架，旨在解决传统微调方法计算成本高且静态的问题。它通过在推理时动态调整权重矩阵的奇异分量，实时适应未见过的任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (推荐 Linux)
• Python 版本: 3.11
• 依赖管理: Conda (推荐) 或 venv
• 硬件: 支持 CUDA 的 NVIDIA GPU (用于训练和高效推理)

提示：国内用户建议在安装 Python 包时使用清华或阿里镜像源以加速下载。 例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

git clone https://github.com/SakanaAI/self-adaptive-llms
cd self-adaptive-llms

2. 创建虚拟环境并安装依赖

使用 Conda 创建名为 t2 的 Python 3.11 环境，并安装核心依赖库。

conda create -n t2 python=3.11 -y
conda activate t2
pip install --upgrade pip
pip install -r requirements.txt

(国内加速建议：在最后一步添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 安装任务评估工具

安装项目自带的 fishfarm 评估模块。

cd evaluation/fishfarm
pip install -e .

(返回项目根目录可执行 cd ../..)

基本使用

本项目提供了用于训练任务专家（Task Experts）和评估模型性能的示例脚本。请根据您的实际需求修改脚本中的参数（如模型路径、任务类型等）。

1. 训练任务专家

运行以下脚本启动训练流程，系统将利用强化学习训练特定任务的“专家”向量。

bash scripts/train_task_expert.sh

2. 模型评估

基于提示词的评估 (Prompt-based)

适用于分类任务专家。使用前请在脚本中指定 CLS_EXPERT_PATH 参数指向训练好的专家模型路径。

bash scripts/eval_prompt_based.sh

少样本评估 (Few-shots)

运行以下脚本进行少样本学习能力评估。

bash scripts/eval_few_shot.sh

注意：运行前请确保已下载相应的基座模型权重，并根据 scripts/ 目录下的脚本注释配置正确的模型路径和任务参数。