simpleaichat

from simpleaichat import AIChat

ai = AIChat(system="根据用户提供的项目名称，撰写一份精美的 GitHub README。")
ai("simpleaichat")

simpleaichat 是一个 Python 包，旨在以最少的代码复杂度和强大的功能，轻松地与 ChatGPT、GPT-4 等聊天应用进行交互。该工具专为高效、低成本地使用 ChatGPT 而设计，同时在现代 AI 技巧方面远超大多数实现方式：

• 仅需几行代码即可创建并运行对话！
• 优化的工作流程可最大限度减少使用的 token 数量，从而降低费用并缩短响应时间。
• 可同时运行多个独立的对话。
• 代码库极简：无需深入理解底层细节！
• 支持流式回复以及工具调用。
• 提供异步支持，包括流式传输和工具调用。
• 如有需要，还可构建更复杂但清晰的工作流，例如智能体。（演示即将推出！）
• 即将支持更多聊天模型（如 PaLM、Claude）！

以下是几个有趣且可玩的示例，展示 simpleaichat 的强大功能：

• 创建一个 Python 编程助手，完全避免不必要的输出，使生成速度提升 5 倍，成本仅为原来的三分之一。（Colab）
• 让 simpleaichat 按照 ChatGPT 使用指南，提供 内联提示。（Colab）
• 使用异步接口，在接收一条 AI 消息的时间内，同时进行 多轮对话。（Colab）
• 利用 高级结构化数据模型，创建属于你自己的桌面角色扮演游戏（TTRPG）设定与战役。（Colab）

安装

您可以通过 PyPI 安装 simpleaichat：

pip3 install simpleaichat

快速趣味演示

使用 simpleaichat，您可以非常迅速地体验聊天应用！首先，您需要获取 OpenAI API 密钥，然后只需一行代码：

from simpleaichat import AIChat

AIChat(api_key="sk-...")

如此一来，您便可以直接进入一个交互式聊天界面！

这个 AI 聊天模拟了 OpenAI 官网应用的行为，只不过是在您的本地计算机上运行！

您也可以通过在工作目录下创建一个包含 OPENAI_API_KEY 字段的 .env 文件来存储 API 密钥（推荐），或者直接将环境变量 OPENAI_API_KEY 设置为您的 API 密钥。

那么，如何创建自定义对话呢？这就更有趣了！只需输入您想与之交谈的任何人物、地点或事物——无论是虚构的还是真实的——即可！

AIChat("GLaDOS")  # 假设已通过上述方法加载 API 密钥

但这还不是全部！您还可以通过额外的指令精确控制他们的行为！

AIChat("GLaDOS", "以《宋飞正传》独白的风格说话")

AIChat("麦当劳叔叔", "只用表情符号交流")

想要立即来一场社交互动吗？安装 simpleaichat 后，您甚至可以直接从命令行启动这些对话！

simpleaichat
simpleaichat "GlaDOS"
simpleaichat "GLaDOS" "以《宋飞正传》独白的风格说话"

构建基于 AI 的应用

与早期 GPT-3 不同的是，新一代聊天型应用引入了系统提示这一新特性：这是一种能够引导整个对话中 AI 行为的特殊类型提示。事实上，上面的聊天演示实际上都暗含了 系统提示技巧！OpenAI 还发布了官方指南 系统提示最佳实践，帮助开发者构建 AI 应用。

对于开发者而言，您可以通过显式指定系统提示，或关闭控制台模式，来实例化 AIChat 类的程序化对象。

ai = AIChat(system="您是一位乐于助人的助手。")
ai = AIChat(console=False)  # 与上相同

您还可以传递 model 参数，例如如果您有权访问 GPT-4，则可以设置为 model="gpt-4"；如果使用具有更大上下文窗口的 ChatGPT，则可以设置为 model="gpt-3.5-turbo-16k"。

随后，您可以向新的 ai 对象输入用户问题，它会返回并保存来自 ChatGPT 的回复：

response = ai("加州的首都是哪里？")
print(response)

加州的首都是萨克拉门托。

此外，如果文本生成速度较慢，您还可以通过生成器按 token 流式获取回复：

for chunk in ai.stream("加州的首都是哪里？", params={"max_tokens": 5}):
    response_td = chunk["response"]  # 字典包含新增 token 的“delta”及完整回复
    print(response_td)

加
加利
加利福
加利福尼亚
加利福尼亚州
加利福尼亚州是

再次调用 ai 对象将继续对话，并自动整合之前的对话内容。

response = ai("它是什么时候建立的？")
print(response)

萨克拉门托成立于 1850 年 2 月 27 日。

您还可以将聊天会话保存为 CSV 或 JSON 格式，并在以后加载。不过，API 密钥不会被保存，因此在加载时仍需提供。

ai.save_session()  # 保存为 CSV，仅保存消息
ai.save_session(format="json", minify=True)  # 保存为 JSON

ai.load_session("my.csv")
ai.load_session("my.json")

函数

许多由风投支持的热门 ChatGPT 应用其实并未真正利用模型的“聊天”功能。相反，它们只是将系统提示或首次用户提示当作一种自然语言编程的方式。您可以通过在生成文本时传递新的系统提示，并不保存生成的消息，来模仿这种行为。

AIChat 类管理的是聊天 会话，这意味着您可以同时进行多个独立的对话或函数调用！上述示例使用的是默认会话，但您可以通过在调用 ai 时指定 id 来创建新的会话。

json = '{"title": "一个整数数组", "array": [-1, 0, 1]}'
functions = [
             "将用户提供的 JSON 格式化为 YAML。",
             "根据用户提供的 JSON 写一首打油诗。",
             "将用户提供的 JSON 从英语翻译成法语。"
            ]
params = {"temperature": 0.0, "max_tokens": 100}  # 温度为 0.0 时，结果是确定性的

# 我们通过 `id` 对函数进行命名空间划分，这样就不会影响其他对话。
# 在会话创建时设置的参数将应用于该会话中的所有生成内容，
# 但你也可以为每次生成单独更改这些参数，就像这里的 `system` 提示一样。
ai = AIChat(id="function", params=params, save_messages=False)
for function in functions:
    output = ai(json, id="function", system=function)
    print(output)

标题: "一个整数数组。"
数组:
  - -1
  - 0
  - 1

一个整数数组多么整齐，
数值之妙无人能及，
从负一到正一，
范围真是有趣极，
这份 JSON 真是美妙无比！

{"titre": "Un tableau d'entiers.", "tableau": [-1, 0, 1]}

ChatGPT 的新版本还支持“函数调用”，但该功能真正的优势在于它能够支持结构化输入和/或输出，这为各种应用场景打开了大门！simpleaichat 简化了工作流程，让你只需传递 input_schema 和/或 output_schema 即可。

你可以使用 pydantic 的 BaseModel 来构建模式。

from pydantic import BaseModel, Field

ai = AIChat(
    console=False,
    save_messages=False,  # 使用模式 I/O 时，消息永远不会被保存
    model="gpt-3.5-turbo-0613",
    params={"temperature": 0.0},
)

class get_event_metadata(BaseModel):
    """活动信息"""

    description: str = Field(description="活动描述")
    city: str = Field(description="活动举办城市")
    year: int = Field(description="活动举办年份")
    month: str = Field(description="活动举办月份")

# 返回一个字典，键的顺序与模式中定义的一致
ai("首款 iPhone 发布会", output_schema=get_event_metadata)

{'description': '首款 iPhone 是由苹果公司发布的。',
 'city': '旧金山',
 'year': 2007,
 'month': '一月'}

更多关于模式功能的详细演示，请参阅 TTRPG 生成器笔记本。

工具

与 ChatGPT 交互的最新方式之一是让模型使用“工具”。正如 LangChain 所推广的那样，工具使模型能够决定何时调用自定义函数，这些函数不仅可以扩展聊天 AI 本身的功能，还可以用于从互联网上检索聊天 AI 训练数据中未包含的最新信息。这种工作流程类似于 ChatGPT 插件。

解析模型输出以调用工具通常需要一些复杂的操作，但 simpleaichat 使用了一个巧妙的技巧 (a neat trick)，使其快速且可靠！此外，指定的工具会返回一个 context，供 ChatGPT 在最终响应中参考；你指定的工具还可以返回一个字典，其中可以填充任意元数据，用于调试和后处理。每次生成都会返回一个包含 response 和所用 tool 函数的字典，这可用于构建类似 LangChain 风格代理的工作流，例如递归地向模型提供输入，直到模型判断不再需要使用任何工具为止。

你需要指定带有文档字符串的函数，以便为 AI 提供选择工具的提示：

from simpleaichat.utils import wikipedia_search, wikipedia_search_lookup

# 这里使用维基百科搜索 API。
# 搜索结果具有不确定性，效果可能因人而异。
def search(query):
    """搜索互联网。"""
    wiki_matches = wikipedia_search(query, n=3)
    return {"context": ", ".join(wiki_matches), "titles": wiki_matches}

def lookup(query):
    """查找有关某个主题的更多信息。"""
    page = wikipedia_search_lookup(query, sentences=3)
    return page

params = {"temperature": 0.0, "max_tokens": 100}
ai = AIChat(params=params, console=False)

ai("旧金山旅游景点", tools=[search, lookup])

{'context': "渔人码头、旧金山、美国的旅游景点、伦巴底街（旧金山）",
 'titles': ["渔人码头、旧金山",
  '美国的旅游景点',
  '伦巴底街（旧金山）'],
 'tool': 'search',
 'response': '旧金山有许多热门的旅游景点，包括渔人码头和伦巴底街。渔人码头是一个热闹的海滨地区，以其海鲜餐厅、纪念品商店和海狮观赏而闻名。另一方面，伦巴底街是一条著名的蜿蜒街道，拥有八个急转弯，吸引了来自世界各地的游客。对于任何访问旧金山的人来说，这两个景点都是必去之地。'}

ai("伦巴底街？", tools=[search, lookup])

{'context': '伦巴底街是加利福尼亚州旧金山的一条东西向街道，因其一段陡峭的单行路段上有八个急转弯而闻名。这条街道从要塞区向东延伸至滨水区（在电报山处有一段中断），其西部大部分路段是一条重要的交通干道，被指定为美国101号公路的一部分。而那条著名的单行路段，号称“世界上最曲折的街道”，位于俄罗斯山社区的东部路段。',
 'tool': 'lookup',
 'response': '伦巴底街是加利福尼亚州旧金山一条著名的街道，以其陡峭的单行路段上的八个急转弯而闻名。它从要塞区一直延伸到滨水区，在电报山处有一段中断。该街道的西部路段是一条重要的交通干道，被指定为美国101号公路的一部分；而那条著名的单行路段，号称“世界上最曲折的街道”，则位于俄罗斯山社区的东部路段。'}

ai("谢谢你的帮助！", tools=[search, lookup])

{'response': '不客气！如果您还有任何问题或需要进一步的帮助，请随时提问。',
 'tool': None}

其他说明

• 与之前的 gpt-2-simple 一样，发布 simpleaichat 的主要动机在于进一步 democratize ChatGPT 的访问权限，并为非技术人员提供更多透明度，了解基于聊天 AI 的应用在底层是如何工作的，尤其是在关于其能力的媒体 misinformation 极其普遍的情况下。这一想法源于我在 BuzzFeed 工作时的实际经验：在长期使用流行的 LangChain 后，我发现一个更简单的实现不仅更容易维护，而且生成效果也更好。在阅读了一个充满类似抱怨的 Hacker News 帖子 后，我开始将开发重点转向 simpleaichat，这表明对于现代 AI 技巧来说，一个更易用的界面确实具有价值。
  • simpleaichat 在可能的情况下非常有意识地避免将功能与常见用例（例如 Tools）耦合在一起，以防止因难以实现项目文档中未明确提及的功能而导致的软件 lock-in。simpleaichat 的理念是提供良好的演示示例，然后让用户的创造力和业务需求占据主导地位，而不是像 LangChain 那样被迫将圆柱塞进方孔。
  • simpleaichat 确实简化了与聊天 AI 的交互，但它并未试图解决大型语言模型在互联网上训练所固有的常见技术和伦理问题，包括 prompt injection 和无意的 plagiarism。用户在使用 simpleaichat 时应保持良好的判断力。任何违反 OpenAI 使用政策 的 simpleaichat 使用场景（包括 jailbreaking）均不被支持。
  • simpleaichat 故意没有采用“Agent”这一用于工具工作流的逻辑隐喻，因为它已经成为一个与本源严重脱节的 AI 虚热词汇。如果需要，你可以通过一个 while 循环来模拟 Agent 工作流，而无需太多额外代码，同时还具备更高的灵活性，比如调试能力。
• 会话管理器实现了一些合理的安全默认设置，例如默认使用 UUID 作为会话 ID、以尽量减少意外泄露的方式存储认证信息，以及通过 Pydantic 进行类型强制。不过，您的最终用户应用程序仍需注意潜在的安全问题。
• 尽管 OpenAI 的文档指出，系统提示的效果不如以类似方式构建的用户提示，但根据我的经验，它在维持规则或 persona 方面仍然表现得更好。
• 许多流行的提示示例都采用了更具对话性的风格，而这里的示例提示则更加简洁和命令式。提示工程的这一方面仍在不断发展，但根据我的经验，命令形式的提示在 ChatGPT 上表现更好，且 token 效率更高。这也是 simpleaichat 允许用户指定系统提示（并明确指出默认用法）而非依赖于历史最佳实践的原因。
• 异步操作的 token 计数目前不受支持，因为 OpenAI 在流式响应时不会返回 token 计数。总体而言，不同用例下的 token 计数和实际用量之间可能存在一些不同步；我正在努力对这些情况进行分类。
• 除明确标注的示例外，本 README 中没有任何内容是由 AI 生成的。开头的代码示例只是一个玩笑，但它确实是一个太好的真实应用场景！

路线图

• 支持 PaLM Chat（Bard）和 Anthropic Claude
• 基于 Textual 构建一个更具趣味性和功能性的 CLI 聊天应用
• 提供一个在 Web 应用中使用 simpleaichat 的简单示例
• 提供一个以无状态方式使用 simpleaichat 的简单示例（例如 AWS Lambda 函数）

维护者/创建者

Max Woolf (@minimaxir)

Max 的开源项目由他的 Patreon 和 GitHub Sponsors 支持。如果您觉得这个项目有所帮助，欢迎向 Patreon 捐款，您的每一份支持都将得到妥善利用。

许可证

MIT

simpleaichat 快速上手指南

simpleaichat 是一个轻量级 Python 库，旨在以极简的代码与 ChatGPT、GPT-4 等聊天模型进行交互。它专注于优化 Token 使用以降低成本和延迟，同时支持流式输出、异步调用、工具调用（Tools）及结构化数据输出等高级功能。

环境准备

• 操作系统：Windows、macOS 或 Linux
• Python 版本：Python 3.8 及以上
• 前置依赖：
  • OpenAI API Key（需提前在 OpenAI 平台 获取）
  • 可选依赖：若使用工具调用中的维基百科搜索等功能，需确保网络可访问相关 API。

提示：建议将 API Key 配置为环境变量 OPENAI_API_KEY 或存入当前目录的 .env 文件中（字段名为 OPENAI_API_KEY），以避免在代码中硬编码密钥。

安装步骤

通过 PyPI 直接安装：

pip3 install simpleaichat

国内加速建议：如遇下载缓慢，可使用清华或阿里镜像源安装：

pip3 install simpleaichat -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 启动交互式聊天

最简单的用法是直接在终端启动一个类似官方网页版的交互式聊天窗口：

simpleaichat

你也可以指定角色和行为规范（例如扮演 GLaDOS 并用《宋飞正传》风格说话）：

simpleaichat "GLaDOS" "Speak in the style of a Seinfeld monologue"

2. 在 Python 脚本中使用

导入库并初始化 AIChat 对象，即可开始对话。以下示例展示如何设置系统提示并获取回复：

from simpleaichat import AIChat

ai = AIChat(system="You are a helpful assistant.")
response = ai("What is the capital of California?")
print(response)

输出：

The capital of California is Sacramento.

3. 流式输出（Streaming）

如果需要实时看到生成过程（降低等待感知延迟），可以使用流式模式：

for chunk in ai.stream("What is the capital of California?", params={"max_tokens": 5}):
    response_td = chunk["response"]
    print(response_td, end="", flush=True)

4. 多轮对话上下文

AIChat 实例会自动维护对话历史，后续调用会包含之前的上下文：

response = ai("When was it founded?")
print(response)

输出：

Sacramento was founded on February 27, 1850.

5. 保存与加载会话

你可以将会话保存为 CSV 或 JSON 文件，以便稍后恢复（注意：API Key 不会被保存）：

ai.save_session(format="json", minify=True)
ai.load_session("my.json")

---

通过以上步骤，你即可快速利用 simpleaichat 构建高效的 AI 聊天应用。更多高级功能（如 Function Calling、Schema 结构化输出、Agent 工作流等）请参考官方示例笔记。