aka.ms/GeneralAI

招聘

我们正在招聘各层级人才（包括全职研究员和实习生）！如果您对与我们一起从事基础模型（即大规模预训练模型）以及通用人工智能、自然语言处理、机器翻译、语音、文档智能和多模态人工智能相关的工作感兴趣，请将您的简历发送至 fuwei@microsoft.com。

基础架构

TorchScale - 一套基础架构库 (repo)

开展基础研究，以开发用于基础模型和人工智能的新架构，重点在于建模通用性和能力，以及训练的稳定性和效率。

稳定性 - DeepNet：将Transformer扩展到1,000层及以上

通用性 - Foundation Transformers (Magneto)：朝着真正跨任务和跨模态的通用建模迈进（包括语言、视觉、语音和多模态）

功能性 - 一种可外推长度的 Transformer

效率与可迁移性 - X-MoE：可扩展且可微调的稀疏专家混合（MoE）

模型架构的革命

BitNet：用于大型语言模型的1位Transformer

RetNet：保留网络：大型语言模型中Transformer的继任者

LongNet：将Transformer扩展至10亿个标记

基础模型

多模态LLM的发展历程

Kosmos-2.5：一个多模态通识模型

Kosmos-2：将多模态大型语言模型与世界连接起来

Kosmos-1：一个多模态大型语言模型（MLLM）

MetaLM：语言模型是通用接口

大融合 - 跨任务（预测性和生成性）、语言（100多种语言）和模态（语言、图像、音频、版面/格式+语言、视觉+语言、音频+语言等）的大规模自监督预训练。

语言与多语言

UniLM：统一的语言理解和生成预训练

InfoXLM/XLM-E：面向100多种语言的多语言/跨语言预训练模型

DeltaLM/mT6：面向100多种语言的语言生成和翻译的编码器-解码器预训练

MiniLM：小型快速的语言理解和生成预训练模型

AdaLM：预训练模型的领域、语言和任务适应

EdgeLM(NEW): 边缘/客户端设备上的小型预训练模型

SimLM (NEW): 大规模的相似度匹配预训练

E5 (NEW): 文本嵌入

MiniLLM (NEW): 大型语言模型的知识蒸馏

视觉

BEiT/BEiT-2：面向视觉的生成式自监督预训练 / 图像Transformer的BERT预训练

DiT：面向文档图像Transformer的自监督预训练

TextDiffuser/TextDiffuser-2 (NEW): 扩散模型作为文本画家

语音

WavLM：面向全栈任务的语音预训练

VALL-E：用于TTS的神经编解码语言模型

多模态（X + 语言）

LayoutLM/LayoutLMv2/LayoutLMv3：多模态（文本+版面/格式+图像）的文档基础模型，用于文档智能（例如扫描文档、PDF等）。

LayoutXLM：多模态（文本+版面/格式+图像）的文档基础模型，适用于多语言文档智能。

MarkupLM：面向视觉丰富文档理解的标记语言模型预训练

XDoc：统一的跨格式文档理解预训练

UniSpeech：面向ASR的自监督学习和有监督学习的统一预训练

UniSpeech-SAT：具有说话人感知的通用语音表示学习预训练

SpeechT5：面向口语语言处理的编码器-解码器预训练

SpeechLM：利用未配对文本数据增强的语音预训练

VLMo：统一的视觉-语言预训练

VL-BEiT (NEW): 生成式视觉-语言预训练——BEiT向多模态的演进

BEiT-3 (NEW): 一款通用的多模态基础模型，也是跨越任务、语言和模态的大规模预训练大融合进程中的一个重要里程碑。

工具包

s2s-ft：序列到序列微调工具包

激进解码 (NEW): 无损且高效的序列到序列解码算法

应用

TrOCR：基于 Transformer 的 OCR，附带预训练模型

LayoutReader：用于阅读顺序检测的文本与版面布局预训练

XLM-T：多语言 NMT，配备预训练的跨语言编码器

链接

LLMOps (仓库)

用于借助大语言模型和多模态大语言模型实现 AI 能力的通用技术。

RedStone (仓库)

为大型语言模型整理通用、代码、数学及问答数据。

新闻

• 2024年12月：RedStone 发布！
• 2023年12月：LongNet 和 LongViT 发布
• [模型发布] 2023年12月：TextDiffuser-2 模型、代码及 demo。
• 2023年9月：Kosmos-2.5 - 一种多模态文本理解模型，用于对密集文本图像的机器阅读。
• [模型发布] 2023年5月：TextDiffuser 模型和代码。
• [模型发布] 2023年3月：BEiT-3 预训练模型和代码。
• 2023年3月：Kosmos-1 - 一种多模态大型语言模型 (MLLM)，能够感知多种模态，在上下文中学习（即少样本学习），并遵循指令（即零样本学习）。
• 2023年1月：VALL-E 是一种基于语言模型的文本到语音合成 (TTS) 方法，实现了最先进的零样本 TTS 性能。请访问 https://aka.ms/valle 查看我们的演示。
• [模型发布] 2023年1月：E5 - 基于弱监督对比预训练的文本嵌入。
• 2022年11月：TorchScale 0.1.1 发布！
• 2022年11月：TrOCR 被 AAAI 2023 接受。
• [模型发布] 2022年11月：XDoc BASE 模型，用于跨格式文档理解。
• [模型发布] 2022年9月：TrOCR BASE 和 LARGE 模型，用于场景文本识别 (STR)。
• [模型发布] 2022年9月：BEiT v2 代码和预训练模型。
• 2022年8月：BEiT-3 - 一种通用多模态基础模型，可在视觉和视觉-语言任务上均达到最先进的迁移性能。
• 2022年7月：SimLM - 大规模自监督预训练，用于相似度匹配。
• 2022年6月：DiT 和 LayoutLMv3 被 ACM Multimedia 2022 接受。
• 2022年6月：MetaLM - 语言模型是基础模型的通用接口（语言/多语言、视觉、语音和多模态）。
• 2022年6月：VL-BEiT - 双向多模态 Transformer，从头开始训练，采用统一的预训练任务、共享骨干网络和单阶段训练，同时支持视觉和视觉-语言任务。
• [模型发布] 2022年6月：LayoutLMv3 中文版 - LayoutLMv3 的中文版本。
• [代码发布] 2022年5月：Aggressive Decoding - 序列到序列生成的无损加速。
• 2022年4月：大规模 Transformer = DeepNet + X-MoE。
• [模型发布] 2022年4月：LayoutLMv3 - 使用统一的文本和图像掩码进行文档 AI 的预训练。
• [模型发布] 2022年3月：EdgeFormer - 参数高效的设备端序列到序列生成 Transformer。
• [模型发布] 2022年3月：DiT - 自监督文档图像 Transformer。演示：文档布局分析、文档图像分类。
• 2022年1月：BEiT 被 ICLR 2022 以口头报告形式接受（在3391篇论文中仅54篇）。
• [模型发布] 2021年12月16日：TrOCR small 模型，适用于手写和印刷文本，推理速度提升3倍。
• 2021年11月24日：VLMo 在 VQA Challenge 上成为新的 SOTA。
• 2021年11月：大规模多语言翻译：10000种语言对及以上。
• [模型发布] 2021年11月：MarkupLM - 文本和标记语言（如 HTML/XML）的预训练。
• [模型发布] 2021年11月：VLMo - 结合 BEiT 的统一视觉-语言预训练。
• 2021年10月：WavLM Large 在 SUPERB 基准测试中达到最先进的性能。
• [模型发布] 2021年10月：WavLM - 大规模自监督预训练的语音模型。
• [模型发布] 2021年10月：TrOCR 已上线 HuggingFace。
• 2021年9月28日：T-ULRv5（又名 XLM-E/InfoXLM) 在 XTREME 排行榜上成为 SOTA。// 博客
• [模型发布] 2021年9月：LayoutLM-cased 已上线 HuggingFace。
• [模型发布] 2021年9月：TrOCR - 基于 Transformer 的 OCR，使用预训练的 BEiT 和 RoBERTa 模型。
• 2021年8月：LayoutLMv2 和 LayoutXLM 已上线 HuggingFace。
• [模型发布] 2021年8月：LayoutReader - 基于 LayoutLM 构建，用于改进通用阅读顺序检测。
• [模型发布] 2021年8月：DeltaLM - 用于语言生成和翻译的编码器-解码器预训练。
• 2021年8月：BEiT 已上线 HuggingFace。
• [模型发布] 2021年7月：BEiT - 向 CV 领域的 BERT 时刻迈进。
• [模型发布] 2021年6月：LayoutLMv2、LayoutXLM、MiniLMv2 和 AdaLM。
• 2021年5月：LayoutLMv2、InfoXLMv2、MiniLMv2、UniLMv3 和 AdaLM 被 ACL 2021 接受。
• 2021年4月：LayoutXLM 即将推出，它将 LayoutLM 扩展至多语言支持！同时引入了一个多语言表单理解基准 XFUND，其中包括用7种语言（中文、日语、西班牙语、法语、意大利语、德语、葡萄牙语）标注了关键-值对的表单。
• 2021年3月：InfoXLM 被 NAACL 2021 接受。
• 2020年12月29日：LayoutLMv2 即将问世，它将在包括 DocVQA 和 SROIE 在内的各种文档 AI 任务上达到新的 SOTA。
• 2020年10月8日：T-ULRv2（又称 InfoXLM）在 XTREME 排行榜上成为 SOTA。// 博客
• 2020年9月：MiniLM 被 NeurIPS 2020 接受。
• 2020年7月16日：InfoXLM（多语言 UniLM） arXiv。
• 2020年6月：UniLMv2 被 ICML 2020 接受；LayoutLM 被 KDD 2020 接受。
• 2020年4月5日：多语言 MiniLM 发布！
• 2019年9月：UniLMv1 被 NeurIPS 2019 接受。

许可证

本项目采用根目录下LICENSE文件中所载明的许可证进行授权。部分源代码基于huggingface/transformers项目。

微软开源行为准则

联系方式

如在使用预训练模型时遇到任何问题或需要帮助，请提交GitHub Issue。

其他沟通事宜请联系Furu Wei（fuwei@microsoft.com）。

UniLM 快速上手指南

UniLM 是微软研究院推出的大规模自监督预训练模型库，涵盖语言、视觉、语音及多模态任务。本指南将帮助您快速搭建环境并运行基础示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 Windows (WSL2 推荐)。
• Python: 版本 3.8 或更高。
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行大型模型)，并安装对应的 CUDA 驱动。
• 前置依赖:
  • PyTorch (建议 1.10+)
  • Transformers (Hugging Face)
  • Git

国内加速建议： 建议使用清华或阿里镜像源加速 Python 包和模型下载：

• Pip 镜像：https://pypi.tuna.tsinghua.edu.cn/simple
• Hugging Face 镜像：设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 创建虚拟环境（推荐）

python -m venv unilm_env
source unilm_env/bin/activate  # Windows 用户请使用: unilm_env\Scripts\activate

2. 安装 PyTorch

请访问 PyTorch 官网 获取适合您 CUDA 版本的安装命令。例如：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 克隆 UniLM 仓库

git clone https://github.com/microsoft/unilm.git
cd unilm

4. 安装依赖库

根据您具体想使用的子模块（如 BEiT, LayoutLM, UniLM 等），依赖可能略有不同。通用安装方式如下：

# 安装基础依赖
pip install -r requirements.txt

# 如果特定子目录有独立要求，进入对应目录安装
# 例如安装 BEiT 相关依赖：
cd beit
pip install timm opencv-python
cd ..

注意：部分高级架构（如 TorchScale）可能需要单独安装：

pip install torchscale

基本使用

UniLM 包含多个独立的模型项目。以下以 BEiT (视觉基础模型) 和 UniLM (语言理解与生成) 为例展示最简单的使用方法。

示例 1：使用 BEiT 进行图像特征提取

BEiT 是一个基于 Masked Image Modeling 的视觉预训练模型。

import torch
from PIL import Image
import requests
from transformers import BeitFeatureExtractor, BeitModel

# 加载预处理器和模型
model_name = "microsoft/beit-base-patch16-224"
feature_extractor = BeitFeatureExtractor.from_pretrained(model_name)
model = BeitModel.from_pretrained(model_name)

# 准备图像
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# 预处理并推理
inputs = feature_extractor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
    last_hidden_states = outputs.last_hidden_state

print(f"输出特征维度: {last_hidden_states.shape}")

示例 2：使用 UniLM 进行文本生成

UniLM 统一了语言理解和生成任务。以下展示使用序列到序列（Seq2Seq）微调工具 s2s-ft 的逻辑示例（需先下载具体检查点）。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 以 DeltaLM 或类似的 UniLM 变体为例
model_name = "microsoft/deltalm-large" 
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

input_text = "Translate to Chinese: Hello, how are you?"
inputs = tokenizer(input_text, return_tensors="pt")

# 生成
outputs = model.generate(**inputs, max_length=50)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(result)

示例 3：使用 LayoutLMv3 处理文档

针对扫描文档或 PDF 的多模态理解。

from transformers import LayoutLMv3Processor, LayoutLMv3ForTokenClassification
from PIL import Image

# 加载模型
processor = LayoutLMv3Processor.from_pretrained("microsoft/layoutlmv3-base")
model = LayoutLMv3ForTokenClassification.from_pretrained("microsoft/layoutlmv3-base")

# 准备数据 (需要图像、words、boxes)
# 此处仅为伪代码示意，实际需配合 OCR 工具获取 words 和 boxes
image = Image.open("document.png").convert("RGB")
words = ["Invoice", "Date", "2023"]
boxes = [[10, 10, 50, 30], [60, 10, 100, 30], [110, 10, 150, 30]] 

encoding = processor(image, words, boxes=boxes, return_tensors="pt")

# 推理
outputs = model(**encoding)

提示：对于更复杂的训练任务（如从头预训练或大规模微调），请参考各子目录（如 unilm/, beit/, layoutlmv3/）下的 README.md 获取具体的训练脚本和参数配置。