AIConfig - 开源的生产级 AI 应用程序构建框架

     
文档

AIConfig 是一个框架，旨在简化生成式 AI 应用程序的生产部署。它将生成式 AI 的提示、模型及模型参数以可序列化为 JSON 的配置形式进行管理，这些配置可以进行版本控制、评估和监控，并且可以在本地编辑器中打开以实现快速原型开发。

通过这种方式，您可以将生成式 AI 的行为与应用程序代码分离存储并迭代，从而提供一个更加流畅的 AI 开发工作流。

更多背景信息请见此处。

快速入门

对于 VS Code 用户：

• 安装 AIConfig Editor VS Code 扩展

如果您不使用 VS Code，请按照以下步骤操作：

1. pip3 install python-aiconfig
2. export OPENAI_API_KEY='your-key'
3. aiconfig edit

入门教程

请查看完整的 入门教程。

安装

# Python 安装：
pip3 install python-aiconfig
# 或者使用 poetry：poetry add python-aiconfig

# Node.js 安装：
npm install aiconfig
# 或者使用 yarn：yarn add aiconfig

注意： 即使您计划在应用程序代码中使用 Node SDK 与您的 AIConfig 进行交互，也需要安装 Python 版本的 AIConfig 包，才能使用 AIConfig 编辑器来创建和迭代提示。

您必须指定您的 OpenAI API 密钥。打开终端并添加以下命令，将 ‘your-api-key-here’ 替换为您的 API 密钥：export OPENAI_API_KEY='your-api-key-here'。

在 VS Code 中打开 AIConfig 编辑器

AIConfig 编辑器 可帮助您直观地创建和编辑以 AIConfig 形式存储的提示和模型参数。

1. 安装 VS Code 的 AIConfig 编辑器插件
2. 在 VS Code 中打开 travel.aiconfig.json 文件。这将自动在 VS Code 中打开 AIConfig 编辑器。

在编辑器中运行提示

借助 AIConfig 编辑器，您可以创建和运行包含复杂链式调用和变量的提示。编辑器会每 15 秒自动保存一次，您也可以手动点击“保存”按钮。您的更改将反映在 AIConfig 的 JSON 文件中。以下是使用该编辑器创建的提示链示例：

对应的 AIConfig JSON 文件：

{
  "name": "纽约旅行计划",
  "description": "使用 ChatGPT 和 AIConfig 的勇敢探险家",
  "schema_version": "latest",
  "metadata": {
    "models": {
      "gpt-3.5-turbo": {
        "model": "gpt-3.5-turbo",
        "top_p": 1,
        "temperature": 1
      },
      "gpt-4": {
        "model": "gpt-4",
        "max_tokens": 3000
      }
    },
    "default_model": "gpt-3.5-turbo"
  },
  "prompts": [
    {
      "name": "获取活动",
      "input": "告诉我纽约有哪些有趣的景点可以去玩。"
    },
    {
      "name": "生成行程",
      "input": "根据 {{order_by}} 对这些活动进行排序并生成行程：{{get_activities.output}}。",
      "metadata": {
        "model": "gpt-4",
        "parameters": {
          "order_by": "地理位置"
        }
      }
    }
  ]
}

使用 AIConfig SDK

您可以使用 Python 或 Node SDK，在应用程序代码中运行由 AIConfig 编辑器生成的 AIConfig 中的提示。下面展示了 Python SDK 的用法。

# 加载您的 AIConfig
from aiconfig import AIConfigRuntime, InferenceOptions
import asyncio

config = AIConfigRuntime.load("travel.aiconfig.json")

# 设置流式输出
inference_options = InferenceOptions(stream=True)

# 运行提示
async def gen_nyc_itinerary():
  gen_itinerary_response = await config.run("gen_itinerary", params = {"order_by" : "location"}, options=inference_options, run_with_dependencies=True)

asyncio.run(gen_nyc_itinerary())

# 将 AIConfig 保存到磁盘，并序列化模型运行的输出
config.save('updated_travel.aiconfig.json', include_outputs=True)

编辑您的 AIConfig

您可以使用 AIConfig 编辑器快速迭代和编辑您的 AIConfig。

1. 打开终端
2. 运行以下命令：aiconfig edit --aiconfig-path=travel.aiconfig.json

一个新的标签页将在您的默认浏览器中打开 AIConfig 编辑器，地址为 http://localhost:8080/，其中包含了来自 travel.aiconfig.json 的提示、链式逻辑和设置。编辑器会每 15 秒自动保存一次，您也可以手动点击“保存”按钮。您的更改将反映在 AIConfig 文件中。

为什么这很重要？

如今，应用程序代码通常与生成式 AI 的设置紧密耦合——提示、参数以及特定于模型的逻辑都混杂在应用代码中。

• 这导致了更高的复杂性
• 使得迭代提示或轻松尝试不同模型变得困难
• 难以评估提示和模型的表现

而 AIConfig 通过将提示、模型参数和特定于模型的逻辑从您的应用程序中分离出来，有助于降低复杂性。

• 简化了应用程序代码——只需调用 config.run()
• 您可以将 aiconfig 打开在开发环境中快速迭代
• 对 aiconfig 进行版本控制和评估——它是您应用程序中的 AI 资产。

功能特性

• 提示作为配置：采用标准化的 JSON 格式，将提示和模型设置存储在源代码控制系统中。
• 提示编辑器：使用AIConfig 编辑器快速原型设计并迭代您的提示和模型设置。
• 模型无关且多模态 SDK：提供 Python 和 Node.js SDK，以便在您的应用代码中使用 aiconfig。AIConfig 被设计为模型无关和多模态的，因此您可以将其扩展以支持任何生成式 AI 模型，包括文本、图像和音频。
• 可扩展性：您可以扩展 AIConfig 以支持任意模型及您自定义的端点。
• 协作开发：AIConfig 使不同人员能够同时处理提示和应用程序开发，并通过共享 aiconfig 工件实现协同合作。

使用场景

AIConfig 让您轻松应对复杂的提示链、多种模型以及高级的生成式 AI 工作流。您可以从以下示例入手，并在 /cookbooks 中找到更多内容：

• 结合 ChromaDB 的 RAG
• 使用 OpenAI 进行函数调用
• 命令行聊天机器人
• 提示路由
• 多大模型一致性
• LLaMA Guard：LLM 安全防护机制
• 验证链

架构

• AIConfig 架构

支持的模型

AIConfig 开箱即用地支持以下模型。请参阅相关示例：

• OpenAI 模型（GPT-3、GPT-3.5、GPT-4、DALL-E 3）
• Gemini
• LLaMA
• LLaMA Guard
• Google PaLM 模型（PaLM 聊天）
• Hugging Face 文本生成任务模型（如 Mistral-7B）

如果您需要使用未开箱即用的模型，可以为其实现一个 ModelParser。有关如何在 AIConfig 中支持新模型的说明，请参阅此处。

可扩展性

AIConfig 旨在根据您的具体用例进行定制和扩展。详细信息请参阅可扩展性指南。

目前，有三种核心方式可以扩展 AIConfig：

1. 支持其他模型——定义 ModelParser 扩展
2. 回调事件处理器——用于追踪与监控
3. 自定义元数据——在 aiconfig 中保存自定义字段

参与 AIConfig 的贡献

我们正在快速推进 AIConfig 的开发！我们欢迎 PR 贡献以及改进项目的建议。

• 加入 Discord 社区讨论——#aiconfig 频道
• 提交功能请求问题
• 阅读我们的贡献指南

最新动态

我们目前每周都会发布 pypi 和 npm 包的新版本标签。热修复则会在完成后立即发布。

• 变更日志：查看我们的最新更新。
• 路线图：了解我们接下来的开发计划——欢迎您参与贡献。请参阅我们的[贡献指南](<(https://aiconfig.lastmileai.dev/docs/contributing/)>）。

AIConfig 快速上手指南

AIConfig 是一个开源框架，旨在帮助开发者构建生产级的生成式 AI 应用。它将提示词（Prompts）、模型选择及参数配置管理为可版本控制的 JSON 文件，实现提示词逻辑与应用代码的分离，便于迭代、评估和协作。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 环境：Python 3.8+（推荐使用虚拟环境）
• Node.js 环境（可选）：如果您计划使用 Node.js SDK
• API 密钥：您需要拥有相关大模型的 API Key（例如 OpenAI API Key）
• 编辑器（推荐）：Visual Studio Code（用于使用可视化编辑器）

安装步骤

您可以根据项目语言选择安装 Python 或 Node.js 版本的 SDK。注意：即使您计划在应用代码中使用 Node SDK，也建议安装 Python 包以便使用命令行编辑工具。

1. 安装 Python SDK

pip3 install python-aiconfig
# 或者使用 poetry
poetry add python-aiconfig

2. 安装 Node.js SDK（可选）

npm install aiconfig
# 或者使用 yarn
yarn add aiconfig

3. 配置 API 密钥

在终端中设置您的环境变量（以 OpenAI 为例）：

export OPENAI_API_KEY='your-api-key-here'

(请将 'your-api-key-here' 替换为您真实的 API 密钥)

4. 安装 VS Code 扩展（推荐）

为了获得最佳的可视化编辑体验，建议在 VS Code 中安装官方扩展：

• 扩展名称：AIConfig Editor
• 市场链接：VS Code Marketplace

基本使用

方法一：使用命令行编辑器快速原型开发

这是最快捷的开始方式，可以直接在浏览器或 VS Code 中可视化地创建和调试提示词链。

1. 在终端运行以下命令启动编辑器：

   aiconfig edit
   

   系统将在默认浏览器中打开 http://localhost:8080/，或在已安装扩展的 VS Code 中直接打开编辑界面。

2. 在编辑器中：

   • 创建新的 Prompt。
   • 配置模型参数（如 temperature, top_p 等）。
   • 设置提示词链（Chain），引用上游节点的输出（例如 {{previous_node.output}}）。
   • 点击运行按钮测试效果，更改会自动保存为 .aiconfig.json 文件。

方法二：在代码中调用配置

创建一个名为 travel.aiconfig.json 的文件（可通过上述编辑器生成，或手动编写），然后在您的 Python 应用中加载并运行它。

示例代码 (Python):

from aiconfig import AIConfigRuntime, InferenceOptions
import asyncio

# 1. 加载配置文件
config = AIConfigRuntime.load("travel.aiconfig.json")

# 2. 配置流式输出选项（可选）
inference_options = InferenceOptions(stream=True)

# 3. 运行特定的 Prompt
async def gen_nyc_itinerary():
  # 运行名为 "gen_itinerary" 的 prompt，传入动态参数
  response = await config.run(
      "gen_itinerary", 
      params={"order_by": "location"}, 
      options=inference_options, 
      run_with_dependencies=True
  )
  print(response)

# 执行异步函数
asyncio.run(gen_nyc_itinerary())

# 4. 保存结果（将模型输出序列化回 JSON 文件）
config.save('updated_travel.aiconfig.json', include_outputs=True)

示例配置文件结构 (travel.aiconfig.json):

{
  "name": "NYC Trip Planner",
  "schema_version": "latest",
  "metadata": {
    "models": {
      "gpt-3.5-turbo": {
        "model": "gpt-3.5-turbo",
        "temperature": 1
      }
    },
    "default_model": "gpt-3.5-turbo"
  },
  "prompts": [
    {
      "name": "get_activities",
      "input": "Tell me 10 fun attractions to do in NYC."
    },
    {
      "name": "gen_itinerary",
      "input": "Generate an itinerary ordered by {{order_by}} for these activities: {{get_activities.output}}.",
      "metadata": {
        "model": "gpt-4"
      }
    }
  ]
}

通过以上步骤，您即可将复杂的提示词逻辑从代码中解耦，利用 JSON 配置文件进行版本管理和快速迭代。