Langcorn

LangCorn 是一个 API 服务器，使您能够轻松地部署 LangChain 模型和流水线，借助 FastAPI 的强大功能，提供健壮且高效的体验。

特性

• 轻松部署 LangChain 模型和流水线
• 即用型认证功能
• 高性能的 FastAPI 框架用于处理请求
• 可扩展且稳健的语言处理应用解决方案
• 支持自定义流水线和处理流程
• 文档完善的 RESTful API 端点
• 异步处理以实现更快的响应时间

📦 安装

要开始使用 LangCorn，只需使用 pip 安装该包：

pip install langcorn

⛓️ 快速入门

示例 LLM 流水线 ex1.py

import os

from langchain import LLMMathChain, OpenAI

os.environ["OPENAI_API_KEY"] = os.environ.get("OPENAI_API_KEY", "sk-********")

llm = OpenAI(temperature=0)
chain = LLMMathChain(llm=llm, verbose=True)

运行您的 LangCorn FastAPI 服务器：

langcorn server examples.ex1:chain


[INFO] 2023-04-18 14:34:56.32 | api:create_service:75 | 创建服务
[INFO] 2023-04-18 14:34:57.51 | api:create_service:85 | lang_app='examples.ex1:chain':LLMChain(['product'])
[INFO] 2023-04-18 14:34:57.51 | api:create_service:104 | 提供服务
[INFO] 2023-04-18 14:34:57.51 | api:create_service:106 | 端点：/docs
[INFO] 2023-04-18 14:34:57.51 | api:create_service:106 | 端点：/examples.ex1/run
INFO:     已启动服务器进程 [27843]
INFO:     等待应用程序启动。
INFO:     应用程序启动完成。
INFO:     Uvicorn 正在 http://127.0.0.1:8718 上运行（按 CTRL+C 退出）

或者作为另一种选择：

python -m langcorn server examples.ex1:chain

运行多个流水线

python -m langcorn server examples.ex1:chain examples.ex2:chain


[INFO] 2023-04-18 14:35:21.11 | api:create_service:75 | 创建服务
[INFO] 2023-04-18 14:35:21.82 | api:create_service:85 | lang_app='examples.ex1:chain':LLMChain(['product'])
[INFO] 2023-04-18 14:35:21.82 | api:create_service:85 | lang_app='examples.ex2:chain':SimpleSequentialChain(['input'])
[INFO] 2023-04-18 14:35:21.82 | api:create_service:104 | 提供服务
[INFO] 2023-04-18 14:35:21.82 | api:create_service:106 | 端点：/docs
[INFO] 2023-04-18 14:35:21.82 | api:create_service:106 | 端点：/examples.ex1/run
[INFO] 2023-04-18 14:35:21.82 | api:create_service:106 | 端点：/examples.ex2/run
INFO:     已启动服务器进程 [27863]
INFO:     等待应用程序启动。
INFO:     应用程序启动完成。
INFO:     Uvicorn 正在 http://127.0.0.1:8718 上运行（按 CTRL+C 退出）

导入必要的包并创建您的 FastAPI 应用程序：

from fastapi import FastAPI
from langcorn import create_service

app:FastAPI = create_service("examples.ex1:chain")

多个流水线

from fastapi import FastAPI
from langcorn import create_service

app:FastAPI = create_service("examples.ex2:chain", "examples.ex1:chain")

或

from fastapi import FastAPI
from langcorn import create_service

app: FastAPI = create_service(
    "examples.ex1:chain",
    "examples.ex2:chain",
    "examples.ex3:chain",
    "examples.ex4:sequential_chain",
    "examples.ex5:conversation",
    "examples.ex6:conversation_with_summary",
    "examples.ex7_agent:agent",
)

运行您的 LangCorn FastAPI 服务器：

uvicorn main:app --host 0.0.0.0 --port 8000

现在，您的 LangChain 模型和流水线可以通过 LangCorn API 服务器访问。

文档

自动提供的 FastAPI 文档 实时示例 托管在 Vercel 上。

认证

可以通过指定 auth_token 添加静态 API 令牌认证：

python langcorn server examples.ex1:chain examples.ex2:chain --auth_token=api-secret-value

或

app:FastAPI = create_service("examples.ex1:chain", auth_token="api-secret-value")

自定义 API 密钥

POST http://0.0.0.0:3000/examples.ex6/run
X-LLM-API-KEY: sk-******
Content-Type: application/json

处理记忆

{
  "history": "string",
  "input": "什么是大脑？",
  "memory": [
    {
      "type": "human",
      "data": {
        "content": "什么是记忆？",
        "additional_kwargs": {}
      }
    },
    {
      "type": "ai",
      "data": {
        "content": "记忆是大脑存储、保留和回忆信息的能力。它是记住过去的经验、事实和事件的能力。它也是学习和记住新信息的能力。",
        "additional_kwargs": {}
      }
    }
  ]
}

响应：

{
  "output": "大脑是人体中负责控制思维、记忆、情感和行为的器官。它由数十亿个神经元组成，这些神经元通过电信号和化学信号相互交流。它是体内最复杂的器官，负责我们所有的有意识和无意识行为。",
  "error": "",
  "memory": [
    {
      "type": "human",
      "data": {
        "content": "什么是记忆？",
        "additional_kwargs": {}
      }
    },
    {
      "type": "ai",
      "data": {
        "content": "记忆是大脑存储、保留和回忆信息的能力。它是记住过去的经验、事实和事件的能力。它也是学习和记住新信息的能力。",
        "additional_kwargs": {}
      }
    },
    {
      "type": "human",
      "data": {
        "content": "什么是大脑？",
        "additional_kwargs": {}
      }
    },
    {
      "type": "ai",
      "data": {
        "content": "大脑是人体中负责控制思维、记忆、情感和行为的器官。它由数十亿个神经元组成，这些神经元通过电信号和化学信号相互交流。它是体内最复杂的器官，负责我们所有的有意识和无意识行为。",
        "additional_kwargs": {}
      }
    }
  ]
}

LLM 参数

用于在每个请求中覆盖默认的 LLM 参数

POST http://0.0.0.0:3000/examples.ex1/run
X-LLM-API-KEY: sk-******
X-LLM-TEMPERATURE: 0.7
X-MAX-TOKENS: 256
X-MODEL-NAME: gpt5
Content-Type: application/json

自定义运行函数

请参阅 ex12.py

chain = LLMChain(llm=llm, prompt=prompt, verbose=True)


# 仅指定输入变量来运行链。


def run(query: str) -> Joke:
    output = chain.run(query)
    return parser.parse(output)

app: FastAPI = create_service("examples.ex12:run")

文档

如需了解更多关于如何使用 LangCorn 的详细信息，包括高级功能和自定义选项，请参阅官方文档。

👋 贡献

欢迎为 LangCorn 做出贡献！如果您想参与贡献，请按照以下步骤操作：

• 在 GitHub 上 fork 该仓库
• 为您的更改创建一个新分支
• 将更改提交到新分支
• 将更改推送到您 fork 的仓库
• 向 LangCorn 主仓库发起 pull 请求

在贡献之前，请先阅读贡献指南。

许可证

LangCorn 采用 MIT 许可证发布。

LangCorn 快速上手指南

LangCorn 是一个基于 FastAPI 构建的 API 服务器，旨在让你轻松部署和运行 LangChain 模型及流水线（Pipelines）。它支持异步处理、自定义流水线以及开箱即用的认证功能。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.8 及以上版本
• 前置依赖：
  • 已安装 pip 包管理工具
  • 已配置好 LangChain 所需的模型密钥（如 OPENAI_API_KEY）

安装步骤

使用 pip 直接安装 LangCorn：

pip install langcorn

提示：国内用户若下载缓慢，可使用清华或阿里镜像源加速安装：

pip install langcorn -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 准备 LangChain 代码

首先，创建一个 Python 文件（例如 ex1.py），定义你的 LangChain 模型或流水线。

import os
from langchain import LLMMathChain, OpenAI

# 设置 API Key，优先读取环境变量
os.environ["OPENAI_API_KEY"] = os.environ.get("OPENAI_API_KEY", "sk-********")

llm = OpenAI(temperature=0)
chain = LLMMathChain(llm=llm, verbose=True)

2. 启动 API 服务

你可以直接使用命令行启动 LangCorn 服务器，指向刚才定义的变量（格式为 文件名:变量名）：

langcorn server ex1:chain

或者作为 Python 模块运行：

python -m langcorn server ex1:chain

启动成功后，终端将显示类似以下日志，表明服务正在运行（默认端口 8718）：

INFO:     Uvicorn running on http://127.0.0.1:8718 (Press CTRL+C to quit)

此时，你可以通过浏览器访问 http://127.0.0.1:8718/docs 查看自动生成的 Swagger API 文档并进行测试。

3. 进阶：在代码中集成

如果你希望将 LangCorn 集成到现有的 FastAPI 项目中，可以使用 create_service 函数：

from fastapi import FastAPI
from langcorn import create_service

# 单个流水线
app: FastAPI = create_service("ex1:chain")

# 或多个流水线
# app: FastAPI = create_service("ex1:chain", "ex2:chain")

然后使用 Uvicorn 启动服务：

uvicorn main:app --host 0.0.0.0 --port 8000

4. 调用示例

服务启动后，你可以通过 POST 请求调用模型。如果需要传递历史记忆（Memory），Payload 格式如下：

{
  "history": "string",
  "input": "What is brain?",
  "memory": [
    {
      "type": "human",
      "data": {
        "content": "What is memory?",
        "additional_kwargs": {}
      }
    },
    {
      "type": "ai",
      "data": {
        "content": "Memory is the ability of the brain...",
        "additional_kwargs": {}
      }
    }
  ]
}

你也可以通过 HTTP Header 动态覆盖 LLM 参数（如温度、最大 Token 数等）：

POST http://0.0.0.0:8718/ex1/run
X-LLM-API-KEY: sk-******
X-LLM-TEMPERATURE: 0.7
X-MAX-TOKENS: 256
Content-Type: application/json