SAMMO (📘用户指南)

一个灵活且易于使用的库，用于运行和优化大型语言模型（LLMs）的提示词。

🎉 最新消息

• 2024年11月13日：将 Markdown 转换为提示词程序：SAMMO express 的首个版本发布
• 2024年11月1日：使用 CSS 选择器查询和修改提示词程序！
• 2024年10月15日：SAMMO 现在支持结构化输出！

如何开始

请访问 用户指南 获取示例、操作指南和 API 参考。

只想快速了解一下？试试 Binder 上的实时演示。

仅安装库

pip install sammo

安装并运行教程

先决条件

• Python 3.9+

以下命令将安装 sammo 和 jupyter，并启动 Jupyter Notebook。建议您在安装软件包之前创建并激活一个虚拟环境。

pip install sammo jupyter

# 克隆 sammo 到本地目录
git clone https://github.com/microsoft/sammo.git
cd sammo

# 启动 Jupyter Notebook 并打开教程目录
jupyter notebook --notebook-dir docs/tutorials

示例

此示例展示了使用 SAMMO 优化提示词是多么简单。完整示例请参阅 用户指南。

runner = OpenAIChat(model_id="gpt-3.5-turbo", api_config=API_CONFIG)
PROMPT_IN_MARKDOWN = """
# 指令 <!-- #instr -->
将以下用户查询转换为 SQL 查询。

# 表
Users:
- user_id (INTEGER, PRIMARY KEY)
- name (TEXT)
- age (INTEGER)
- city (TEXT)

# 完成以下内容
输入: {{{input}}}
输出:
"""

spp = MarkdownParser(PROMPT_IN_MARKDOWN).get_sammo_program()
mutation_operators = BagOfMutators(
    Output(GenerateText(spp)),
    Paraphrase("#instr"),
    Rewrite("#instr", "使这段文字更加详细。\n\n {{{{text}}}}")
)
prompt_optimizer = BeamSearch(runner, mutation_operators, accuracy)
prompt_optimizer.fit(d_train)
prompt_optimizer.show_report()

使用场景

SAMMO 旨在支持：

• 高效的数据标注：通过打包和解析多个数据点到单个提示中，支持小批量处理。
• 提示词原型设计与工程：可重用的组件和提示词结构，可快速构建和测试新的提示词。
• 指令优化：优化指令以在特定任务上取得更好的效果。
• 提示词压缩：在保持性能的同时压缩提示词。
• 大规模提示词执行：开箱即用的并行化和速率限制功能，使您能够并行且大规模地运行大量查询，而不会使 LLM API 过载。

如果您希望构建以下内容，SAMMO 的适用性较低：

• 交互式、基于代理的 LLM 应用程序（→ 请查看 AutoGen）
• 交互式、生产就绪的 LLM 应用程序（→ 请查看 LangChain）

许可证

本项目采用 MIT 许可证。

若要引用本文，您可以使用以下 BibTeX 条目：

@inproceedings{schnabel-neville-2024-symbolic,
    title = "符号提示词程序搜索：一种结构感知的高效编译时提示词优化方法",
    author = "Schnabel, Tobias and Neville, Jennifer",
    booktitle = "计算语言学协会研究成果：EMNLP 2024",
    year = "2024",
    url = "https://aclanthology.org/2024.findings-emnlp.37",
    pages = "670--686"
}

作者

SAMMO 由 Tobias Schnabel 编写。

贡献

本项目欢迎贡献和建议。大多数贡献都需要您同意一份贡献者许可协议（CLA），声明您有权并将您的贡献权利授予我们。有关详情，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于使用我们 CLA 的所有仓库，您只需完成一次此步骤。

本项目已采纳 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答，或如有任何其他疑问或意见，请联系 opencode@microsoft.com。

SAMMO 快速上手指南

SAMMO 是一个灵活且易用的 Python 库，专为大型语言模型（LLM）的提示词（Prompt）运行与优化而设计。它支持结构化输出、基于 CSS 选择器的提示词修改以及自动化指令优化。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.9 或更高版本
• 前置依赖：建议先创建并激活虚拟环境（virtualenv 或 conda），以避免依赖冲突。

安装步骤

1. 仅安装库

如果您只需在现有项目中使用 SAMMO，可直接通过 pip 安装：

pip install sammo

提示：国内用户若遇到下载速度慢的问题，可使用清华或阿里镜像源： pip install sammo -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装并运行教程示例

若您希望查看官方提供的 Jupyter Notebook 教程以深入了解功能，请执行以下步骤：

# 安装 sammo 和 jupyter
pip install sammo jupyter

# 克隆仓库到本地
git clone https://github.com/microsoft/sammo.git
cd sammo

# 启动 Jupyter Notebook 并打开教程目录
jupyter notebook --notebook-dir docs/tutorials

基本使用

以下示例展示了如何使用 SAMMO 定义一个基于 Markdown 的提示词程序，并利用束搜索（Beam Search）自动优化指令以提升任务准确率。

from sammo.runners import OpenAIChat
from sammo.parsers import MarkdownParser
from sammo.mutators import BagOfMutators, Output, GenerateText, Paraphrase, Rewrite
from sammo.optimizers import BeamSearch

# 初始化 LLM 运行器 (需配置 API_CONFIG)
runner = OpenAIChat(model_id="gpt-3.5-turbo", api_config=API_CONFIG)

# 定义 Markdown 格式的提示词模板
PROMPT_IN_MARKDOWN = """
# Instructions <!-- #instr -->
Convert the following user queries into a SQL query.

# Table
Users:
- user_id (INTEGER, PRIMARY KEY)
- name (TEXT)
- age (INTEGER)
- city (TEXT)

# Complete this
Input: {{{input}}}
Output:
"""

# 解析 Markdown 生成 SAMMO 程序
spp = MarkdownParser(PROMPT_IN_MARKDOWN).get_sammo_program()

# 定义变异算子（用于优化过程中的策略）
mutation_operators = BagOfMutators(
    Output(GenerateText(spp)),
    Paraphrase("#instr"),
    Rewrite("#instr", "Make this more verbose.\n\n {{{{text}}}}")
)

# 初始化优化器
prompt_optimizer = BeamSearch(runner, mutation_operators, accuracy)

# 使用训练数据进行拟合优化
prompt_optimizer.fit(d_train)

# 展示优化报告
prompt_optimizer.show_report()

核心功能说明：

• Markdown 解析：直接将带有注释标记（如 <!-- #instr -->）的 Markdown 转换为可优化的程序结构。
• 自动化优化：通过 BeamSearch 结合多种变异算子（如改写、释义），自动寻找在特定数据集上表现最佳的提示词。
• 适用场景：高效数据标注、提示词工程原型设计、指令优化及提示词压缩。

注意：SAMMO 专注于提示词的编译时优化与批量执行。如果您需要构建交互式 Agent 应用或生产级聊天机器人，建议参考 AutoGen 或 LangChain。