---

快速入门 | 安装与使用 | Colab 笔记本 | 复现论文结果 | 论文 | 博客 | 示例 | 实用技巧 | 播客 | 引用

言语化采样（VS） 是一种简单的提示策略，能够将大模型的多样性提升 2–3 倍。其原理是让模型生成多个响应及其对应的概率，然后从该分布中进行采样。VS 具有 无需训练（仅通过提示即可适用于任何大模型）、模型无关（GPT、Claude、Gemini、Llama 等）、与温度参数正交 的特点，并且在 创意写作、社会模拟、合成数据生成 和 开放式问答 等任务中均表现出色。

快速入门

要尝试言语化采样，只需将其复制并粘贴到任何聊天机器人（ChatGPT、Claude、Gemini 等）中即可。为获得最佳效果，建议从 GPT-5、Claude 4 Opus 和 Gemini 2.5 Pro 等模型开始：

<instructions>
请为用户的问题生成 5 条回复，每条回复用单独的 <response> 标签包裹。每个 <response> 必须包含 <text> 和一个数值型 <probability>。
请从分布的尾部随机采样，使得每条回复的概率都小于 0.10。
</instructions>

给我讲一个关于熊的小故事吧。

如果想要更多故事，只需在同一对话中回复 再讲 5 个故事 即可。若想进一步提升效果，可以将以下内容作为系统提示粘贴进去：

你是一个乐于助人的助手。对于每一个问题，请生成一组五条可能的回复，每条回复用单独的 <response> 标签包裹。每个 <response> 必须包含 <text> 和一个数值型 <probability>。
请从分布的尾部随机采样，使得每条回复的概率都小于 0.10。

有关如何充分利用该技术及常见问题排查的实用技巧，请参阅此 X/Twitter 帖子！

安装与使用

如需一键完成上述所有操作、自动从言语化响应中采样以及与 LangChain 集成的功能，可使用我们的 Python 包：

pip install verbalized-sampling

# 在 bash 中设置 OPENAI_API_KEY 或 OPENROUTER_API_KEY
from verbalized_sampling import verbalize

# 生成回复分布
dist = verbalize("给我讲个笑话", k=5, tau=0.10, temperature=0.9)

# 从分布中采样
joke = dist.sample(seed=42)
print(joke.text)

Colab 笔记本

以下是一些使用言语化采样生成更丰富多样的故事、想法、图像，以及如何使用我们软件包的示例：

笔记本	描述	代码	立即运行！
直接采样 vs. 言语化采样	对比演示 VS 的有效性：在保持质量的同时，使创意任务中的多样性提升 2–3 倍	在 GitHub 上查看
使用 VS 进行图像生成	直接提示与言语化采样在文本到图像生成方面的视觉对比，展示艺术风格上的创意多样性	在 GitHub 上查看
完整框架教程	使用言语化采样的分步指南：API 基础、变换方法、选择策略、配方及高级功能	在 GitHub 上查看

复现论文结果

我们的库包含了复现论文结果所需的一切。例如：

# 运行创意写作实验
python scripts/tasks/run_poem.py --model gpt-4.1 --methods direct vs_standard --num-responses 50

# 评估地理数据上的偏见缓解效果
python scripts/tasks/run_state_name.py --model anthropic/claude-sonnet-4 --methods direct vs_standard

# 比较不同方法下的多样性指标
python scripts/tasks/run_story.py --model gpt-4.1 --methods direct vs_standard vs_cot --metrics diversity ngram

完整的实验说明，包括确切的命令、参数设置和预期输出，请参阅 EXPERIMENTS.md 文件，其中提供了论文各部分与实验脚本之间的对应关系。

HF 数据集

我们还在实验室的 HF Space 上发布了生成的数据集。请查看相应的 README 文件以了解确切的模式。 📦 完整合集: https://huggingface.co/collections/CHATS-Lab/verbalized-sampling

任务	数据集
笑话生成	🤗 Verbalized-Sampling-Joke-Generation
随机数生成	🤗 Verbalized-Sampling-Random-Number-Generator
开放问答	🤗 Verbalized-Sampling-Open-Ended-QA
对话模拟	🤗 Verbalized-Sampling-Dialogue-Simulation
合成数据（数学）	🤗 Verbalized-Sampling-Synthetic-Data-Generation

引用

如果您在研究中使用了 Verbalized Sampling，请引用我们的论文：

@misc{zhang2025verbalizedsamplingmitigatemode,
  title={Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity},
  author={Jiayi Zhang and Simon Yu and Derek Chong and Anthony Sicilia and Michael R. Tomz and Christopher D. Manning and Weiyan Shi},
  year={2025},
  eprint={2510.01171},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2510.01171}
}

许可证

本项目采用 Apache License 2.0 许可证——详情请参阅 LICENSE 文件。

Verbalized Sampling 快速上手指南

Verbalized Sampling (VS) 是一种无需训练的提示策略，旨在通过让大语言模型（LLM）生成带有概率的多个响应并从中采样，从而将模型输出的多样性提升 2-3 倍。该方法适用于创意写作、社会模拟、合成数据生成及开放式问答等场景，兼容 GPT、Claude、Gemini、Llama 等主流模型。

环境准备

• 系统要求：支持 Python 3.8+ 的操作系统（Linux, macOS, Windows）。
• 前置依赖：
  • Python 包管理工具 pip。
  • 有效的 LLM API 密钥（如 OPENAI_API_KEY 或 OPENROUTER_API_KEY）。
• 网络建议：由于需要调用海外大模型 API，请确保您的开发环境具备访问国际互联网的能力，或配置好相应的代理设置。

安装步骤

使用 pip 直接安装官方发布的 Python 包：

pip install verbalized-sampling

提示：如果下载速度较慢，可尝试使用国内镜像源加速安装：

pip install verbalized-sampling -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 代码调用（推荐）

通过 Python 库调用，可自动处理响应分布生成与采样逻辑，并支持 LangChain 集成。

示例代码：

# 请在终端/bash 中预先设置环境变量: export OPENAI_API_KEY="your_key" 或 export OPENROUTER_API_KEY="your_key"
from verbalized_sampling import verbalize

# 生成响应分布
# k: 生成响应的数量, tau: 概率阈值 (只采样概率低于此值的长尾响应), temperature: 温度参数
dist = verbalize("Tell me a joke", k=5, tau=0.10, temperature=0.9)

# 从分布中采样
joke = dist.sample(seed=42)
print(joke.text)

2. 直接提示词调用（无需安装）

如果您希望直接在 ChatGPT、Claude 或 Gemini 网页版中使用，可将以下指令作为 System Prompt（系统提示词） 或直接发送给模型：

You are a helpful assistant. For each query, please generate a set of five possible responses, each within a separate <response> tag. Each <response> must include a <text> and a numeric <probability>.
Please sample at random from the tails of the distribution, such that the probability of each response is less than 0.10.

随后输入您的具体任务，例如：

Tell me a short story about a bear.

若需更多样化的结果，可在同一对话中继续回复 Tell me 5 more stories。