用于 AI 开发的 TypeScript 框架

Axflow 是一套用于构建健壮的自然语言驱动应用的模块集合。这些模块可以逐步引入，从而提供一种模块化且可扩展的解决方案。 当它们协同工作时，便构成了一个用于开发 AI 应用的端到端框架。

模块

• @axflow/models — 一个无依赖、模块化的 SDK，用于构建健壮的自然语言应用。包含 React hooks 和流式处理工具，让构建 AI 应用变得轻而易举。
• axgen — 一个用于将您的数据连接到大型语言模型的框架
• axeval — 一个用于评估 LLM 输出质量的框架

除了上述模块之外，我们还在开发以下模块：

• extract: 一个用于高效数据处理的库，尤其擅长从任意来源加载、转换和分块文档。对于需要为向量搜索加载和预处理数据的应用来说非常有用。
• serve: 一个用于运行任何 LLM 模型（开源或其他）的服务框架。它还将提供用户限流、分析和日志记录等中间件选项。
• finetune: 一个专注于模型微调的库。

文档

目标

Axflow 致力于将与 LLM 交互的复杂范式拆解为易于管理且直观的组件。 我们的库采用代码优先的方法，强调灵活性和开发者控制的重要性。 作为一款基础框架，Axflow 赋予开发者无缝构建更高级别的 TypeScript AI 功能和产品的能力。

示例

这里有一个开源 UI 示例，展示了我们的第一个模块 axgen 的功能，并附有简短视频演示。

许可证

MIT

Axflow 快速上手指南

Axflow 是一个用于构建稳健自然语言应用的 TypeScript 框架。它采用模块化设计，允许开发者按需引入功能，从基础 SDK 到端到端的应用开发框架，提供高度的灵活性和控制力。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, macOS, 或 Linux
• Node.js：建议安装 LTS 版本 (v18 或更高)
• 包管理器：npm, yarn, 或 pnpm
• 前置知识：熟悉 TypeScript 和异步编程

安装步骤

Axflow 由多个独立的模块组成，您可以根据项目需求选择安装。

1. 初始化项目

如果您还没有项目，请先初始化一个 TypeScript 项目：

mkdir my-axflow-app
cd my-axflow-app
npm init -y
npm install typescript @types/node --save-dev
npx tsc --init

2. 安装核心模块

根据您的需求安装相应的模块（以下以 npm 为例）：

• @axflow/models (核心 SDK，包含 React Hooks 和流式工具):

  npm install @axflow/models
  

• axgen (连接数据与大语言模型的框架):

  npm install axgen
  

• axeval (评估 LLM 输出质量的框架):

  npm install axeval
  

提示：国内开发者若遇到下载速度慢的问题，可配置淘宝镜像源： npm config set registry https://registry.npmmirror.com

基本使用

以下是使用 @axflow/models 进行简单文本生成的最小化示例。该模块零依赖，旨在让构建 AI 应用变得简单。

示例：调用模型生成文本

创建一个 index.ts 文件：

import { Model } from '@axflow/models';

// 定义一个简单的模型调用逻辑
async function generateContent() {
  // 实例化模型 (此处以伪代码展示，具体实现需配合具体提供商如 OpenAI 等)
  // Axflow 的设计允许你灵活组合不同的模型后端
  const model = new Model({
    provider: 'openai', 
    apiKey: process.env.OPENAI_API_KEY,
    model: 'gpt-3.5-turbo'
  });

  const response = await model.generate({
    messages: [
      { role: 'user', content: '用一句话介绍 Axflow。' }
    ],
    stream: false
  });

  console.log(response.content);
}

generateContent().catch(console.error);

结合 axgen 连接数据

如果您需要让模型基于特定数据回答（RAG 场景），可以使用 axgen：

import { Generator } from 'axgen';

async function runGeneration() {
  const generator = new Generator({
    // 配置数据源和模型
    dataSource: './my-docs', 
    modelConfig: { provider: 'openai', apiKey: process.env.OPENAI_API_KEY }
  });

  const result = await generator.query('总结文档中的关键技术点');
  console.log(result);
}

下一步

• 访问官方文档获取更多详细 API 说明：https://docs.axflow.dev
• 查看开源 UI 示例项目了解完整应用架构：axflow/original-demo-ui