文档： https://llmflows.readthedocs.io
PyPI： https://pypi.org/project/llmflows
Twitter： https://twitter.com/LLMFlows
Substack： https://llmflows.substack.com

🤖 关于 LLM Flows

LLMFlows 是一个用于构建简单、明确且透明的大型语言模型（LLM）应用的框架，例如聊天机器人、问答系统和智能代理。

其核心提供了一组极简的抽象层，使您能够利用 LLM 和向量存储，构建结构良好、清晰明确的应用程序，而不会出现隐藏的提示或 LLM 调用。LLM Flows 确保每个组件都完全透明，从而简化了监控、维护和调试工作。

📦 安装

pip install llmflows

🧭 理念

简单

我们的目标是构建一个简单、文档完善且抽象层次最少的框架，让用户能够在不牺牲功能性的前提下，轻松构建灵活的 LLM 驱动应用。

明确

我们希望创建一个明确的 API，使用户能够编写整洁易读的代码，同时轻松实现复杂的 LLM 流程交互。LLMFlows 的类赋予用户完全的控制权，不存在任何隐藏的提示或 LLM 调用。

透明

我们致力于帮助用户对其 LLM 驱动的应用程序拥有完全的透明度，通过提供可追踪的流程和每个组件的完整信息，从而便于监控、维护和调试。

▶️ 实时演示

请查看 LLM-99——一个使用 LLM 以通俗易懂的语言解释超导体的演示应用。该应用基于 LLMFlows 和 FastAPI 构建，并使用 Pinecone 存储从维基百科文章中生成的文档嵌入。您可以在我们的 示例文件夹 中找到此演示应用及其他示例的源代码。

🧪 入门指南

LLMs

LLMs 是 LLMFlows 中的主要抽象之一。LLM 类是对 OpenAI 等 LLM API 的封装，提供了配置和调用这些 API 的方法、失败重试机制以及响应格式化功能。

from llmflows.llms import OpenAI

llm = OpenAI(api_key="<your-openai-api-key>")

result, call_data, model_config = llm.generate(
   prompt="为一首80年代摇滚歌曲生成一个酷炫的标题"
)

PromptTemplates

PromptTemplate 类允许我们创建包含变量的字符串，这些变量可以在稍后动态填充。一旦创建了提示模板对象，只需提供所需的变量即可生成实际的提示。

from llmflows.llms import OpenAI
from llmflows.prompts import PromptTemplate


prompt_template = PromptTemplate(
    prompt="为一首关于{topic}的90年代嘻哈歌曲生成一个标题。"
)
llm_prompt = prompt_template.get_prompt(topic="友谊")

print(llm_prompt)

llm = OpenAI(api_key="<your-openai-api-key>")
song_title = llm.generate(llm_prompt)

print(song_title)

Chat LLMs

与仅需提示即可生成文本的普通 LLM 不同，聊天 LLM 需要会话历史记录。会话历史记录以用户和助手之间消息列表的形式表示。该历史记录会被发送给模型，并基于此生成新消息。

LLMFlows 提供 MessageHistory 类来管理聊天 LLM 所需的会话历史记录。

您可以使用 OpenAIChat 和 MessageHistory 类构建一个简单的聊天机器人：

from llmflows.llms import OpenAIChat, MessageHistory

llm = OpenAIChat(api_key="<your-openai-api-key>")
message_history = MessageHistory()

while True:
    user_message = input("你：")
    message_history.add_user_message(user_message)

    llm_response, call_data, model_config = llm.generate(message_history)
    message_history.add_ai_message(llm_response)

    print(f"LLM：{llm_response}")

LLM Flows

在现实世界中，许多应用程序往往更为复杂，提示和 LLM 调用之间可能存在依赖关系。例如：

当您需要构建具有复杂依赖关系的应用程序时，可以使用 Flow 和 Flowstep 类。LLMFlows 会自动解析依赖关系，并确保每个流程步骤仅在其所有依赖项满足时才会执行：

from llmflows.flows import Flow, FlowStep
from llmflows.llms import OpenAI
from llmflows.prompts import PromptTemplate

openai_llm = OpenAI(api_key="<your-openai-api-key>")

# 创建提示模板
title_template = PromptTemplate("关于{topic}的好电影标题是什么？")
song_template = PromptTemplate(
    "名为{movie_title}的电影配乐中，一个好的歌名是什么？"
)
characters_template = PromptTemplate(
    "名为{movie_title}的电影中有哪两位主要角色？"
)
lyrics_template = PromptTemplate(
    "请为名为{song_title}的电影歌曲创作歌词。主要角色是{main_characters}。"
)

# 创建流程步骤
movie_title_flowstep = FlowStep(
    name="电影标题流程步骤",
    llm=openai_llm,
    prompt_template=title_template,
    output_key="movie_title",
)

song_title_flowstep = FlowStep(
    name="歌曲标题流程步骤",
    llm=openai_llm,
    prompt_template=song_template,
    output_key="song_title",
)

characters_flowstep = FlowStep(
    name="角色流程步骤",
    llm=openai_llm,
    prompt_template=characters_template,
    output_key="main_characters",
)

song_lyrics_flowstep = FlowStep(
    name="歌曲歌词流程步骤",
    llm=openai_llm,
    prompt_template=lyrics_template,
    output_key="song_lyrics",
)

# 连接流程步骤
movie_title_flowstep.connect(song_title_flowstep, characters_flowstep, song_lyrics_flowstep)
song_title_flowstep.connect(song_lyrics_flowstep)
characters_flowstep.connect(song_lyrics_flowstep)

# 创建并运行流程
soundtrack_flow = Flow(movie_title_flowstep)
results = soundtrack_flow.start(topic="友谊", verbose=True)

异步流程

有时，如果所有依赖项都已满足，多个流程步骤可以并行运行。针对这种情况，LLMFlows 提供了异步类，通过并行执行那些已经具备所有必要输入的流程步骤，从而提升复杂流程的运行效率。

...

movie_title_flowstep = AsyncFlowStep(
    name="电影标题流程步骤",
    llm=openai_llm,
    prompt_template=title_template,
    output_key="movie_title",
)

song_title_flowstep = FlowStep(
    name="歌曲标题流程步骤",
    llm=openai_llm,
    prompt_template=song_template,
    output_key="song_title",
)

characters_flowstep = AsyncFlowStep(
    name="角色流程步骤",
    llm=openai_llm,
    prompt_template=characters_template,
    output_key="main_characters",
)

song_lyrics_flowstep = AsyncFlowStep(
    name="歌曲歌词流程步骤",
    llm=openai_llm,
    prompt_template=lyrics_template,
    output_key="song_lyrics",
)

...

如需更多示例，例如集成向量数据库、构建问答应用、智能体和 Web 应用程序，请访问我们的 文档 或查看仓库中的 示例文件夹。

🛠️ 功能特性

大语言模型

• 使用 OpenAI 的 ChatGPT 等大语言模型生成自然语言文本。
• 轻松配置 LLM 类，选择特定的模型、参数和设置。
• 在模型调用失败时自动重试，确保与 LLM 的交互可靠稳定。

提示模板

• 使用提示模板创建动态提示，实现灵活且可定制的文本生成。
• 在提示中定义变量，以根据具体输入生成定制化的提示字符串。

流程与流程步骤

• 通过流程和流程步骤组织 LLM 应用程序，为 LLM 交互提供清晰、有序的框架。
• 连接各个流程步骤，将输出作为输入传递，实现无缝的数据流动，并保持 LLM 流程的透明性。
• 利用异步流程，在所有输入可用时并行运行 LLM，优化性能和效率。
• 将自定义字符串处理函数直接嵌入到流程中，无需完全依赖 LLM 调用即可实现专门的文本转换。

向量存储集成

• 使用 VectorStoreFlowStep 集成 Pinecone 等向量数据库，实现高效、可扩展的向量嵌入存储与检索。
• 利用向量数据库无缝存储和查询向量数据，轻松与基于 LLM 的应用程序集成。

回调函数

• 在流程步骤的不同阶段执行回调函数，支持更高级的自定义、日志记录、追踪或其他特定集成。
• 通过回调全面控制和监控基于 LLM 的应用程序，确保对执行过程有清晰的了解。

明确的 API 与完全透明

借助 LLMFlows，您可以完全掌控应用程序的构建过程，不存在任何隐藏的提示或预设行为。

此外，LLMFlows 还可以帮助您回答以下问题：

• 某个特定的流程步骤是什么时候运行的？
• 它花费了多少时间？
• 输入变量有哪些？
• 提示模板是什么？
• 实际的提示内容是什么样的？
• 模型的具体配置是怎样的？
• 请求重试了多少次？
• API 返回的原始数据是什么？
• 使用了多少个 token？
• 最终结果是什么？

📚 用户指南

简介
LLM 流程
异步流程
向量存储
问答系统
流程中的向量存储
功能型流程步骤
回调函数
结合 FastAPI 的 LLM 流程
智能体

▶️ 示例

用户指南中使用的所有示例都可以在仓库的 examples 文件夹 中找到。

📃 许可证

LLMFlows 采用 MIT 许可证。更多信息请参阅 LICENCE。

❤️ 您能如何帮助我们？

感谢您花时间阅读我们的 README！如果您喜欢这个项目，请考虑给它点个赞、分享给朋友或在社交媒体上推广。

如果您已经尝试过 LLMFlows 并遇到任何问题、提出宝贵意见或建议，欢迎随时提交 issue 或与我们联系。

如果您觉得 LLMFlows 很有趣，并有意参与贡献，请查阅 CONTRIBUTING.md。

✉️ 联系方式

如果您想与我们取得联系，请随时通过以下社交媒体平台联系我们：

Threads
LinkedIn
Twitter

我非常期待您的来信！

LLMFlows 快速上手指南

LLMFlows 是一个用于构建简单、显式且透明的 LLM（大语言模型）应用的框架。它通过最小化的抽象层，帮助开发者轻松创建聊天机器人、问答系统及智能体，同时确保所有提示词（Prompt）和模型调用完全可见，便于监控与调试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.8 或更高版本
• 前置依赖：
  • pip 包管理工具
  • OpenAI API Key（用于调用大模型）

国内加速建议： 如果直接访问 PyPI 速度较慢，推荐使用国内镜像源进行安装。

• 清华大学镜像源：https://pypi.tuna.tsinghua.edu.cn/simple
• 阿里云镜像源：https://mirrors.aliyun.com/pypi/simple/

安装步骤

使用 pip 安装 LLMFlows。

标准安装：

pip install llmflows

使用国内镜像源安装（推荐）：

pip install llmflows -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是三个最核心的使用场景，帮助您快速入门。

1. 基础文本生成 (LLMs)

使用 OpenAI 类包装器调用大模型生成文本。

from llmflows.llms import OpenAI

# 初始化 LLM，请替换为您的真实 API Key
llm = OpenAI(api_key="<your-openai-api-key>")

# 生成内容
result, call_data, model_config = llm.generate(
   prompt="Generate a cool title for an 80s rock song"
)

print(result)

2. 动态提示词模板 (PromptTemplates)

使用 PromptTemplate 创建包含变量的动态提示词，便于灵活控制输入。

from llmflows.llms import OpenAI
from llmflows.prompts import PromptTemplate

# 定义模板
prompt_template = PromptTemplate(
    prompt="Generate a title for a 90s hip-hop song about {topic}."
)

# 填充变量生成实际提示词
llm_prompt = prompt_template.get_prompt(topic="friendship")

# 调用 LLM
llm = OpenAI(api_key="<your-openai-api-key>")
song_title = llm.generate(llm_prompt)

print(song_title)

3. 构建多步骤工作流 (LLM Flows)

对于复杂的应用场景，可以使用 Flow 和 FlowStep 将多个 LLM 调用串联起来。框架会自动处理依赖关系，确保按顺序执行。

以下示例展示了一个生成电影标题、角色、歌曲名及歌词的完整流程：

from llmflows.flows import Flow, FlowStep
from llmflows.llms import OpenAI
from llmflows.prompts import PromptTemplate

openai_llm = OpenAI(api_key="<your-openai-api-key>")

# 1. 创建提示词模板
title_template = PromptTemplate("What is a good title of a movie about {topic}?")
song_template = PromptTemplate(
    "What is a good song title of a soundtrack for a movie called {movie_title}?"
)
characters_template = PromptTemplate(
    "What are two main characters for a movie called {movie_title}?"
)
lyrics_template = PromptTemplate(
    "Write lyrics of a movie song called {song_title}. The main characters are "
    "{main_characters}"
)

# 2. 创建流程步骤 (FlowSteps)
movie_title_flowstep = FlowStep(
    name="Movie Title Flowstep",
    llm=openai_llm,
    prompt_template=title_template,
    output_key="movie_title",
)

song_title_flowstep = FlowStep(
    name="Song Title Flowstep",
    llm=openai_llm,
    prompt_template=song_template,
    output_key="song_title",
)

characters_flowstep = FlowStep(
    name="Characters Flowstep",
    llm=openai_llm,
    prompt_template=characters_template,
    output_key="main_characters",
)

song_lyrics_flowstep = FlowStep(
    name="Song Lyrics Flowstep",
    llm=openai_llm,
    prompt_template=lyrics_template,
    output_key="song_lyrics",
)

# 3. 连接步骤以定义依赖关系
# 电影标题是后续所有步骤的依赖
movie_title_flowstep.connect(song_title_flowstep, characters_flowstep, song_lyrics_flowstep)
# 歌曲标题和角色是歌词步骤的依赖
song_title_flowstep.connect(song_lyrics_flowstep)
characters_flowstep.connect(song_lyrics_flowstep)

# 4. 创建并运行工作流
soundtrack_flow = Flow(movie_title_flowstep)

# 启动流程，传入初始变量 topic
results = soundtrack_flow.start(topic="friendship", verbose=True)

# 查看最终结果
print(results)

通过以上步骤，您即可利用 LLMFlows 构建结构清晰、可追踪的 LLM 应用。更多高级功能（如异步流、向量数据库集成等）请参考官方文档。