LMOps

LMOps是一项关于构建基于基础模型的AI产品的基础研究与技术的研究计划，尤其专注于利用大语言模型和生成式AI模型来实现AI能力的通用技术。

• 更好的提示词：自动提示优化、Promptist、可扩展提示词、通用提示检索、LLM检索器、上下文示范选择
• 更长的上下文：结构化提示、可外推长度的Transformer
• LLM对齐：通过LLM反馈进行对齐
• LLM加速器（更快的推理）：LLM无损加速
• LLM定制化：将LLM适配到特定领域
• 基础理论：理解上下文学习

链接

• microsoft/unilm：跨任务、跨语言、跨模态的大规模自监督预训练
• microsoft/torchscale：任意规模的Transformer

新闻

• [论文发布] 2023年11月：基于交叉熵差值的上下文示范选择（EMNLP 2023）
• [论文发布] 2023年10月：Tuna：使用大语言模型反馈进行指令微调（EMNLP 2023）
• [论文发布] 2023年10月：利用“梯度下降”和束搜索进行自动提示优化（EMNLP 2023）
• [论文发布] 2023年10月：UPRISE：用于改进零样本评估的通用提示检索（EMNLP 2023）
• [论文发布] 2023年7月：为大语言模型学习检索上下文示例
• [论文发布] 2023年4月：参考式推理：大语言模型的无损加速
• [论文发布] 2022年12月：为什么GPT能在上下文中学习？语言模型实际上以元优化器的身份进行微调
• [论文、模型及演示发布] 2022年12月：优化文本到图像生成的提示词
• [论文与代码发布] 2022年12月：结构化提示：将上下文学习扩展到1,000个示例
• [论文发布] 2022年11月：语言模型的可扩展提示词

提示智能

促进语言模型提示的先进技术。

Promptist：用于自动提示优化的强化学习

[论文] 优化文本到图像生成的提示词

• 语言模型充当提示接口，将用户输入优化为模型偏好的提示。

• 通过强化学习训练一个语言模型，实现自动提示优化。

结构化提示：以高效方式处理长序列提示

[论文] 结构化提示：将上下文学习扩展到1,000个示例

• 示例用法：

1. 在GPT中将（许多）检索到的（长）文档作为上下文前置。

2. 将上下文学习扩展到大量示范示例。

X-Prompt：超越自然语言的可扩展提示，用于描述性指令

[论文] 语言模型的可扩展提示词

• 可扩展的接口允许用户通过非自然语言方式向LLM发出精细的指示。

• 通过上下文引导的想象词汇学习，实现通用可用性。

LLMA：LLM加速器

利用参考文献加速LLM推理

[论文] 参考式推理：大语言模型的无损加速

• LLM的输出通常与某些参考文献（例如检索到的文档）存在显著重叠。

• LLMA通过将参考文献中的文本片段复制并验证后插入LLM输入，从而无损地加速LLM的推理过程。

• 适用于检索增强生成和多轮对话等重要LLM场景。

• 在不增加额外模型的情况下，可实现2~3倍的速度提升。

LLM的基础理解

理解上下文学习

[论文] 为什么GPT能在上下文中学习？语言模型实际上以元优化器的身份进行微调

• 根据示范示例，GPT通过前向计算产生用于上下文学习（ICL）的元梯度。ICL的工作原理是通过注意力机制将这些元梯度应用到模型上。

• ICL的元优化过程与显式地通过反向传播梯度更新模型参数的微调具有双重关系。

• 我们可以将优化算法（如带有动量的SGD）转化为相应的Transformer架构。

招聘：aka.ms/GeneralAI

我们正在招聘各层级人才（包括全职研究员和实习生）！如果您对与我们一起从事基础模型（即大规模预训练模型）以及AGI、NLP、MT、语音、文档AI和多模态AI相关工作感兴趣，请将您的简历发送至fuwei@microsoft.com。

许可证

本项目遵循根目录LICENSE文件中的许可协议。

微软开源行为准则

联系方式

如在使用预训练模型时遇到任何问题或需要帮助，请提交GitHub问题。其他沟通事宜请联系Furu Wei（fuwei@microsoft.com）。

LMOps 快速上手指南

LMOps 是微软发起的一项研究计划，专注于利用基础模型（特别是大语言模型 LLM 和生成式 AI）构建 AI 产品的核心技术与基础研究。它并非一个单一的 Python 库，而是一系列前沿算法、论文实现和技术方案的集合，涵盖提示词优化、长上下文处理、推理加速及模型对齐等领域。

注意：由于 LMOps 包含多个独立的研究项目（如 Promptist, Structured Prompting, LLMA 等），每个项目通常有独立的代码仓库或论文实现。本指南将指导你如何获取相关资源并运行核心示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.8 或更高版本。
• 硬件要求:
  • 运行大多数 LLM 相关实验需要 NVIDIA GPU。
  • 显存建议：至少 16GB VRAM（用于运行较大的模型如 GPT-2 Large 或 OPT），部分轻量级实验可在 8GB VRAM 上运行。
• 前置依赖:
  • Git
  • PyTorch (建议 1.10+，需匹配 CUDA 版本)
  • Hugging Face Transformers
  • DeepSpeed (可选，用于大规模训练/推理加速)

国内加速建议：

• PyTorch 安装: 推荐使用清华或中科大镜像源。
• Hugging Face 模型下载: 建议配置 HF_ENDPOINT 环境变量使用国内镜像，或使用 modelscope 进行模型映射。

# 设置 Hugging Face 国内镜像 (以阿里云为例)
export HF_ENDPOINT=https://hf-mirror.com

安装步骤

由于 LMOps 是研究合集，你需要克隆主仓库并根据具体子项目安装依赖。以下是通用安装流程：

1. 克隆仓库

   git clone https://github.com/microsoft/LMOps.git
   cd LMOps
   

2. 创建虚拟环境

   python -m venv lmops-env
   source lmops-env/bin/activate  # Windows 用户使用: lmops-env\Scripts\activate
   

3. 安装基础依赖 根据项目根目录或具体子文件夹的 requirements.txt 进行安装。若根目录无统一文件，请先安装核心深度学习栈：

   # 使用国内源加速安装
   pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   pip install transformers datasets accelerate sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 获取特定技术实现 LMOps 中的许多技术（如 Promptist 或 LLMA）链接到了具体的论文代码或微软的其他仓库（如 microsoft/unilm）。

   例如，若要体验 Promptist (自动提示词优化)，需参考其独立项目页面或论文提供的代码链接。对于 LLMA (推理加速)，通常需要结合具体的检索增强生成 (RAG) 框架使用。

   建议访问 LMOps GitHub Issues 或具体论文链接获取最新的具体模块代码实现。

基本使用

LMOps 的核心价值在于其提出的算法思想。以下以 Structured Prompting（结构化提示词，用于处理长上下文）为例，展示如何在代码中应用其核心理念。

示例：使用结构化提示词扩展上下文

该技术支持将大量检索到的文档作为上下文输入给模型，突破传统上下文长度限制。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 1. 加载预训练模型 (例如 OPT 或 GPT-2)
model_name = "facebook/opt-1.3b"  # 可替换为其他支持的模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")

# 2. 准备长上下文数据 (模拟检索到的多个文档)
retrieved_docs = [
    "Document 1: The quick brown fox jumps over the lazy dog.",
    "Document 2: Artificial Intelligence is transforming the world.",
    # ... 可以添加数百个这样的文档
] * 50  # 模拟大量上下文

# 3. 构建结构化 Prompt
# LMOps 的核心在于高效地组织这些上下文，而不是简单的字符串拼接
# 这里演示基本的拼接逻辑，实际研究中可能涉及特殊的 Attention Mask 或分块策略
context = "\n".join(retrieved_docs)
query = "Question: What is transforming the world?"
input_text = f"Context:\n{context}\n\n{query}"

# 4.  Tokenize 并生成
inputs = tokenizer(input_text, return_tensors="pt", truncation=False).to("cuda")

# 注意：如果序列过长，需配合模型支持的最大长度或使用滑动窗口机制
if inputs.input_ids.shape[1] > model.config.max_position_embeddings:
    print(f"Warning: Input length {inputs.input_ids.shape[1]} exceeds model limit.")
    # 在实际 LMOps 实现中，此处会调用特定的长序列处理逻辑 (如 Length-Extrapolatable Transformers)

with torch.no_grad():
    outputs = model.generate(
        inputs.input_ids, 
        max_new_tokens=50, 
        do_sample=True, 
        temperature=0.7
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

进阶：推理加速 (LLMA)

若需使用 Lossless Acceleration 技术，核心逻辑是在推理过程中利用参考文本（如检索文档）直接复制并验证文本片段，从而跳过部分自回归生成步骤。这通常需要修改推理循环或使用专门的推理后端。

# 伪代码概念演示：Inference with Reference
# 实际实现需参考论文 "Inference with Reference: Lossless Acceleration of Large Language Models"

def accelerated_generate(model, input_ids, reference_texts):
    """
    在生成过程中，检查参考文本中是否存在匹配的后续片段。
    如果存在且验证通过，直接复制该片段，显著减少推理步数。
    """
    # 具体实现涉及复杂的 Token 匹配与验证逻辑
    pass 

下一步建议： 深入阅读 LMOps 列表中链接的 arXiv 论文（如 Automatic Prompt Optimization, UPRISE 等），以获取各细分领域最准确的代码实现和实验细节。