Yuan-1.0

Yuan 1.0：大规模预训练语言模型在零样本和少样本学习中的应用

引言

近期如GPT-3等研究通过扩大模型规模、数据规模以及计算资源的投入，在众多自然语言处理（NLP）任务上展现了卓越的零样本和少样本学习能力。然而，训练类似GPT-3这样的模型需要巨大的算力，这对研究人员而言是一项严峻挑战。在本工作中，我们提出了一种将大规模分布式训练性能融入模型架构设计的方法。借助该方法，我们成功训练了目前最大的单体语言模型——Yuan 1.0，其参数量达2460亿，在数千张GPU上实现了优异的表现，并在多项自然语言处理任务中取得了最先进的结果。我们还提出了一种高效的数据处理方法，能够从海量互联网数据中筛选出高质量内容。基于此方法，我们构建了一个包含5TB高质量文本的新数据集，这是当前最大的中文文本语料库。此外，我们提出了一种基于校准和标签扩展的方法来提升零样本和少样本学习的效果，并观察到了持续的性能改进。Yuan 1.0生成的文章已难以与人类撰写的文章区分开来。

详细信息请参阅Yuan-1.0论文： https://arxiv.org/abs/2110.04725

1. Yuan 1.0 开源计划

我们将开放Yuan模型的语料库（1TB）和API接口，同时提供微调、少样本及零样本学习的相关代码。更多详情及获取Yuan模型语料库和API的途径，请访问官方网站（https://air.inspur.com/home）。

2. 系统要求

推理代码基于Python 3编写。在使用Yuan API构建您的应用之前，您需要安装若干Python库，可通过pip工具轻松完成安装：

pip install requests hashlib json

3. 如何使用Yuan API

在官方网站提交申请后，我们将在数日内（通常不超过一周）审核您的申请。请妥善保管注册账号和联系电话，这些信息将用于生成唯一的API密钥，以便您访问API服务。

更多详细信息，请参考示例代码yuan_api/examples并查阅API文档。

4. 应用场景

以下我们总结了一些简单的应用配置示例供用户参考。未提及的参数均采用默认值。

编号	应用	模型	提示模板	输入前缀	输入后缀	输出前缀	截断字符	示例	少样本支持
0	对话生成	dialog	问：“用户输入”答：“	问：“	”	答：“	”	故宫有什么好玩的？	支持
1	内容续写	base_10B	用户输入	无	无	无	默认	徐凤年刚走入京大校门，已经有学生会迎新的同学走到了他面前，	不推荐
2	诗歌创作	base_10B	以“用户输入”为题作一首诗：“	以“	”为题作一首诗：“	无	”	清风	推荐
3	关键词提取	base_10B	为以下正文提取关键词。正文：用户输入；关键词：	为以下正文提取关键词。正文：	；	关键词：	。	帮我写一首诗，描写春天到了，百花盛开。	支持
4	中英翻译	translate	将下列英文/中文翻译成中文/英文。英文/中文：用户输入中文/英文：“	将下列英文/中文翻译成中文/英文。英文/中文：	无	中文/英文：“	”	自然派的哲学家也被称为“苏格拉底之前的哲学家” 。	不推荐

敬请期待更多应用场景。

Yuan-1.0 快速上手指南

Yuan-1.0 是浪潮信息开源的超大规模预训练语言模型（参数量达 2460 亿），在零样本（Zero-Shot）和少样本（Few-Shot）学习任务中表现卓越。本指南将帮助您快速配置环境并调用 Yuan API 进行开发。

环境准备

在开始使用 Yuan API 构建应用之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Python 3 的任意主流操作系统（Linux / macOS / Windows）。
• 编程语言：Python 3.x。
• 前置依赖：需要安装 requests、hashlib 和 json 库。

提示：hashlib 和 json 通常为 Python 标准库，无需单独安装。若使用国内网络环境，建议使用清华或阿里镜像源加速 pip 安装过程。

安装步骤

请使用 pip 工具安装必要的第三方依赖库。打开终端或命令行工具，执行以下命令：

pip install requests hashlib json

注：若遇到网络下载缓慢问题，可添加国内镜像源参数，例如：

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 获取访问权限

在使用代码前，您需要先申请 API 访问密钥：

1. 访问 Yuan 官方网站。
2. 提交应用申请（审核通常需数天，一般不超过一周）。
3. 妥善保管注册账号和手机号，系统将据此生成唯一的 API Key。

2. 调用示例

获得 API Key 后，您可以参考官方提供的示例代码目录 yuan_api/examples 进行开发。以下是一个基于对话生成场景的最小化调用逻辑说明：

• 模型选择：dialog
• 提示词模板：问："用户输入”答："
• 输入示例：故宫有什么好玩的？

代码调用核心逻辑（伪代码示意）：

import requests
import hashlib
import json

# 配置您的唯一 Key (从官网获取)
api_key = "YOUR_UNIQUE_KEY"
url = "https://api.yuan.example.com/v1/completions" # 具体 URL 请参阅官方 API 文档

# 构建请求 payload
payload = {
    "model": "dialog",
    "prompt": "问：“故宫有什么好玩的？”答：",
    "max_tokens": 100,
    # 其他参数保持默认或使用官方推荐值
}

headers = {
    "Authorization": f"Bearer {api_key}",
    "Content-Type": "application/json"
}

# 发送请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 解析结果
if response.status_code == 200:
    result = response.json()
    print(result['choices'][0]['text'])
else:
    print("Error:", response.text)

注意：具体的 API 端点地址、鉴权头格式及返回字段结构，请务必以官网最新发布的 API 文档 和 yuan_api/examples 中的实际代码为准。

3. 应用场景参考

Yuan-1.0 支持多种任务模式，您可通过调整 prompt template 快速切换功能：

应用场景	推荐模型	提示词模板示例	少样本支持
对话生成	dialog	问："用户输入"答："	支持
诗歌创作	base_10B	以"用户输入"为题作一首诗："	推荐
关键词抽取	base_10B	为以下正文提取关键词。正文：用户输入；关键词：	支持
内容续写	base_10B	`用户输入`	不推荐

更多高级应用配置请参考官方文档。