AliceMind

AliceMind：阿里巴巴达摩院机器智能实验室的编码器-解码器模型集合

本仓库提供了由阿里巴巴达摩院机器智能实验室开发的预训练编码器-解码器模型及其相关优化技术。

AliceMind 系列包括：

• 预训练模型：
  • 发布首个通过模态协作增强 LLM 和 MLLM 的多模态大语言模型：mPLUG-Owl2（CVPR 2024）
  • 发布首个无 OCR 的多模态大语言模型，用于通用文档理解：mPLUG-DocOwl（EMNLP 2023）
  • 发布首个也是最大的公开中文视频-语言预训练数据集及基准：Youku-mPLUG，以及名为 mPLUG-video 的中文视频大语言模型。
  • 面向大型多模态语言模型的、采用 模块化设计 的全新训练范式：mPLUG-Owl
  • 面向数字人的大规模中文开放域对话系统：ChatPLUG
  • 一个跨文本、图像和视频的模块化多模态基础模型：mPLUG-2（ICML 2023）
  • 大规模视觉-语言理解和生成模型：mPLUG（EMNLP 2022）
  • 大规模中文理解和生成模型：PLUG
  • 表格预训练模型：SDCUP（审稿中）
  • 具有多粒度输入的中文语言理解模型：LatticeBERT（NAACL 2021）
  • 结构化语言模型：StructuralLM（ACL 2021）
  • 跨模态语言模型：StructVBERT（CVPR 2020 VQA 挑战赛亚军）
  • 跨语言语言模型：VECO（ACL 2021）
  • 生成式语言模型：PALM（EMNLP 2020）
  • 语言理解模型：StructBERT（ICLR 2020）
• 微调方法：
  • 参数高效的稀疏化方法 PST（IJCAI 2022）
  • 高效且具有泛化能力的微调方法 ChildTuning（EMNLP 2021）
• 模型压缩：
  • 语言模型压缩方法 ContrastivePruning（AAAI 2022）

新闻

• 2023年11月9日：mPLUG-Owl2，首个通过模态协作增强 LLM 和 MLLM 的多模态大语言模型，已被 CVPR 2024 接受。
• 2023年7月7日：mPLUG-DocOwl，首个无 OCR 的多模态大语言模型，用于通用文档理解，已被 EMNLP 2023 接受。
• 2023年6月8日：Youku-mPLUG，发布了首个也是最大的公开中文视频-语言预训练数据集及基准，以及名为 mPLUG-video 的中文视频大语言模型。
• 2023年4月27日：mPLUG-Owl，一种面向大型多模态语言模型的模块化设计新训练范式发布。
• 2023年4月25日：mPLUG-2 被 ICML 2023 接受。
• 2023年4月16日：ChatPLUG，面向数字人应用的中文开放域对话系统发布。
• 2022年10月：mPLUG 被 EMNLP 2022 接受。
• 2022年5月：PST 被 IJCAI 2022 接受。
• 2022年4月：SOFA 建模工具包发布，支持标准化代码和直接在 Transformers 中使用这些模型与技术！
• 2021年12月：ContrastivePruning 被 AAAI 2022 接受。
• 2021年10月：ChildTuning 被 EMNLP 2021 接受。
• 2021年9月：首个中文表格预训练模型 SDCUP 发布！
• 2021年5月：VECO 和 StructuralLM 被 ACL 2021 接受。
• 2021年3月：AliceMind 正式发布！

预训练模型

• mPLUG-Owl（2023年4月27日）：一种面向大型多模态语言模型的模块化设计新训练范式。在学习视觉知识的同时，支持由不同模态组成的多轮对话。展现出多图像关联、场景文本理解以及基于视觉的文档理解等能力。发布了与视觉相关的指令评估数据集OwlEval。mPLUG-Owl：模块化赋能大型语言模型的多模态能力

• ChatPLUG（2023年4月16日）：一款面向数字人应用的中文开放域对话系统，通过统一的互联网增强格式对多种对话任务进行指令微调。不同于其他专注于大规模预训练及扩大模型规模或对话语料库的开放域对话模型，我们旨在通过互联网增强的指令微调，构建一个功能强大且实用、具备多样化技能并具有良好多任务泛化的数字人对话系统。ChatPLUG：面向数字人的互联网增强指令微调开放域生成式对话系统

• mPLUG（2022年9月1日）：用于视觉—语言理解和生成的大规模预训练模型。mPLUG在大规模图文对上以端到端方式同时采用判别式和生成式目标进行预训练。它在广泛的视觉—语言下游任务中取得了最先进的性能，包括图像字幕生成、图文检索、视觉定位和视觉问答等。mPLUG：通过跨模态跳跃连接实现高效的多模态学习（EMNLP 2022）

• PLUG（2022年9月1日）：用于理解和生成的大规模中文预训练模型。PLUG（27B）是一款面向语言理解和生成的大规模中文预训练模型。其训练分为两个阶段：第一阶段为24层的StructBERT编码器，第二阶段为24–6层的PALM编码器—解码器。

• SDCUP（2021年9月6日）：用于表格理解的预训练模型。我们设计了一种基于模式依赖的预训练目标，以在表格预训练的表征学习中引入期望的归纳偏置。进一步提出了一种基于模式感知的课程学习方法，以缓解噪声影响，并按照由易到难的方式高效地从预训练数据中学习。在SQUALL和Spider数据集上的实验结果表明，与多种基线相比，我们的预训练目标和课程学习方法均具有效性。“SDCUP：基于模式依赖的课程式预训练用于表格语义解析”（审稿中）

• LatticeBERT（2021年3月15日）：我们提出了一种针对中文的新型预训练范式——Lattice-BERT，该模型显式地将词级表示与字符级表示相结合，从而能够以多粒度方式建模句子。“Lattice-BERT：在中文预训练语言模型中利用多粒度表示”（NAACL 2021）

• StructuralLM（2021年3月15日）：用于文档—图像理解的预训练模型。我们提出了一种新的预训练方法——StructuralLM，可联合利用扫描文档中的单元格和版面信息。预训练后的StructuralLM在不同类型下游任务中均取得了新的最先进成果。“StructuralLM：用于表单理解的结构化预训练”（ACL 2021）

• StructVBERT（2021年3月15日）：用于视觉—语言理解的预训练模型。我们提出了一种新的单流视觉—语言预训练方案，结合多阶段渐进式预训练和多任务学习。StructVBERT获得了2020年VQA挑战赛亚军，并在2020年6月的VQA公开测试标准基准上取得了SOTA结果。“演讲幻灯片”（CVPR 2020 VQA挑战赛亚军）

• VECO v0（2021年3月15日）：用于跨语言（x）自然语言理解（x-NLU）和生成（x-NLG）的预训练模型。VECO（v0）在XTREME基准的各种跨语言理解任务中取得了新的SOTA结果，涵盖文本分类、序列标注、问答和句子检索等任务。对于跨语言生成任务，它在WMT14英德和英法翻译数据集上也超越了所有现有跨语言模型及最先进的Transformer变体，BLEU得分提升高达1~2点。“VECO：用于跨语言理解和生成的可变编码器—解码器预训练”（ACL 2021）

• PALM（2021年3月15日）：用于**自然语言生成（NLG）**的预训练模型。我们提出了一种新颖的方案，即在一个大型未标注语料库上联合预训练自编码和自回归语言模型，专门用于根据上下文条件生成新文本。该模型在多个下游任务中取得了新的SOTA结果。“PALM：用于上下文条件生成的自编码与自回归语言模型预训练”（EMNLP 2020）

• StructBERT（2021年3月15日）：用于**自然语言理解（NLU）**的预训练模型。我们通过在预训练中融入语言结构，将BERT扩展为一种新模型——StructBERT。具体而言，我们使用两项辅助任务对StructBERT进行预训练，以充分利用单词和句子的顺序，分别在词级和句级层面利用语言结构。“StructBERT：将语言结构融入预训练以实现深度语言理解”（ICLR 2020）

微调方法

• ChildTuning（2021年10月25日）：为缓解大规模PLM微调中的过拟合问题并提升泛化能力，我们提出了一种简单却有效的微调技术——ChildTuning，该方法仅在微调过程中更新子网络，通过策略性地屏蔽非子网络的梯度来实现。“在大型语言模型中培养‘孩子’：迈向高效且可泛化的微调”（EMNLP 2021）

模型压缩

• ContrastivePruning（2021年12月17日）： ContrAstive Pruning (CAP) 是一种 在预训练与微调范式下的通用剪枝框架，旨在剪枝过程中同时保留任务特定知识和任务无关知识。CAP 被设计为一个通用框架，兼容结构化剪枝和非结构化剪枝。通过对比学习的统一视角，CAP 鼓励剪枝后的模型分别从预训练模型、剪枝过程中的快照（中间模型）以及微调后的模型中学习。“从稠密到稀疏：用于更好预训练语言模型压缩的对比剪枝”（AAAI 2022）

• PST（2022年5月23日）： 参数高效的稀疏训练（PST）旨在下游任务的稀疏感知训练过程中减少可训练参数的数量。它结合了无数据和数据驱动两种标准，以高效且准确地衡量权重的重要性，并深入研究数据驱动权重重要性的内在冗余性，从而提炼出低秩性和结构性这两个显著特征，使稀疏训练既节省资源又节约参数。“大型语言模型微调中的参数高效稀疏性”（IJCAI 2022）

建模工具包

• SOFA SOFA 的目标是方便用户使用和分发来自阿里巴巴达摩院 AliceMind 项目的预训练语言模型。此外，项目中的详细示例也让任何终端用户都能轻松访问这些模型。

联系方式

AliceMind 官方网站：https://nlp.aliyun.com/portal#/alice

AliceMind 开放平台：https://alicemind.aliyuncs.com

如果您需要帮助或在使用 ALICE 时遇到问题，请提交 GitHub 问题。

如需更多信息，您可以通过钉钉加入 AliceMind 用户群 与我们联系。钉钉群号为 35738533。

其他商务沟通请联系 nlp-support@list.alibaba-inc.com

许可证

AliceMind 根据 Apache 2.0 许可证 发布。

版权所有 © 1999–2020 阿里巴巴集团控股有限公司。

本软件根据 Apache 许可证第 2.0 版（“许可证”）授权使用；
除非符合许可证的规定，否则不得使用本文件。
您可以在以下链接获取许可证副本：

     http://www.apache.org/licenses/LICENSE-2.0

除非适用法律另有规定或双方另有约定，否则本软件按“原样”分发，
不提供任何形式的保证或条件。有关权限和限制的具体内容，请参阅许可证。

AliceMind 快速上手指南

AliceMind 是阿里巴巴达摩院机器智能技术实验室（MinD Lab）推出的开源项目，汇集了多种预训练编码器 - 解码器模型及相关优化技术。本项目涵盖了从多模态大模型（如 mPLUG-Owl2、mPLUG-DocOwl）到中文语言理解与生成模型（如 PLUG、StructBERT）的完整生态，并提供高效的微调（ChildTuning）和模型压缩（ContrastivePruning）方案。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。
• Python 版本: Python 3.7 或更高版本。
• 深度学习框架: PyTorch 1.8.0+ (建议根据具体模型文档确认版本兼容性)。
• 硬件要求:
  • 推理：建议配备 NVIDIA GPU (显存 >= 8GB)，部分大模型需要更大显存或多卡环境。
  • 训练/微调：建议配备多张高性能 NVIDIA GPU (如 A100/V100)。
• 前置依赖:
  • git
  • pip 或 conda

提示：由于 AliceMind 包含多个独立子项目（如 mPLUG-Owl, ChatPLUG, PLUG 等），不同模型的具体依赖可能略有差异。建议进入具体模型目录后，优先查看该目录下的 requirements.txt。

安装步骤

1. 克隆仓库

使用 git 克隆 AliceMind 主仓库：

git clone https://github.com/alibaba/AliceMind.git
cd AliceMind

国内加速：如果访问 GitHub 较慢，可以使用 Gitee 镜像（如有）或通过配置代理加速。

git clone https://gitee.com/mirrors/AliceMind.git  # 示例镜像地址，请以实际可用镜像为准

2. 创建虚拟环境 (推荐)

建议使用 conda 创建独立的 Python 环境：

conda create -n alicemind python=3.8
conda activate alicemind

3. 安装基础依赖

安装 PyTorch 及其他通用依赖。以下命令以 CUDA 11.8 为例，请根据您的显卡驱动调整：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

4. 安装特定模型依赖

AliceMind 采用模块化设计，不同模型位于不同子目录。请进入您想要使用的模型目录安装专属依赖。

示例：安装 mPLUG-Owl 相关依赖

cd mPLUG-Owl
pip install -r requirements.txt

示例：安装 ChildTuning 微调工具依赖

cd ChildTuning
pip install -r requirements.txt

注意：部分最新多模态模型（如 mPLUG-Owl2, mPLUG-DocOwl）已迁移至独立的 X-PLUG 组织仓库。如需使用这些最新模型，请直接克隆对应仓库：

git clone https://github.com/X-PLUG/mPLUG-Owl.git
cd mPLUG-Owl/mPLUG-Owl2
pip install -r requirements.txt

基本使用

AliceMind 的不同模型使用方式略有不同，以下提供两个典型场景的最简使用示例。

场景一：使用 PLUG 进行中文文本生成

假设您已下载好 PLUG 模型权重，以下是一个简单的加载与生成示例（基于 Transformers 接口）：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

# 1. 加载分词器和模型 (路径替换为本地模型路径)
model_path = "./PLUG" 
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSeq2SeqLM.from_pretrained(model_path).to("cuda")

# 2. 准备输入文本
input_text = "杭州是一座美丽的城市，"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")

# 3. 生成文本
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=50)

# 4. 解码输出
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

场景二：使用 ChildTuning 进行高效微调

ChildTuning 是一种通用的微调策略，可应用于多种预训练模型以减少过拟合。以下展示如何在训练脚本中启用 ChildTuning 模式（伪代码逻辑）：

# 假设您正在使用 HuggingFace Trainer 或自定义训练循环
# 引入 ChildTuning 相关逻辑 (需参考 ChildTuning 目录下的具体实现)

from childtuning import ChildTuningOptimizer

# 1. 定义普通优化器
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)

# 2. 包装为 ChildTuning 优化器
# reserve_rate: 保留梯度的比例，例如 0.2 表示只更新 20% 的参数
child_optimizer = ChildTuningOptimizer(optimizer, reserve_rate=0.2)

# 3. 在训练步骤中使用 child_optimizer 进行 step
for batch in dataloader:
    loss = compute_loss(model, batch)
    loss.backward()
    
    # 使用 ChildTuning 进行梯度掩码和更新
    child_optimizer.step()
    child_optimizer.zero_grad()

场景三：运行 mPLUG-Owl2 多模态对话 (需前往 X-PLUG 仓库)

对于最新的多模态模型，通常提供专门的推理脚本：

# 进入 mPLUG-Owl2 目录
cd ../mPLUG-Owl/mPLUG-Owl2

# 运行推理脚本 (需指定模型路径和图片路径)
python inference.py \
    --model_path ./pretrained/mplug-owl2-llama2-7b \
    --image_path ./images/example.jpg \
    --query "请描述这张图片中的内容。"

提示：更多详细的使用案例、数据集准备及分布式训练命令，请参阅各子项目目录下的 README.md 文件。