LLM API 引擎

在几秒钟内构建并部署由 AI 驱动的 API。该项目允许您使用自然语言描述，借助 LLM 和网络爬虫技术，从网站中提取结构化数据，并创建自定义 API。

特性

• 🤖 自然语言 API 创建 - 用简单的英语描述您的数据需求
• 🔄 使用 OpenAI 自动生成 Schema
• 🌐 基于 Firecrawl 的智能网页抓取
• ⚡ 定时抓取实现数据实时更新
• 🚀 即时 API 部署
• 📊 结构化数据输出并进行 JSON Schema 验证
• 💾 基于 Redis 的缓存与存储

架构

LLM API 引擎的设计注重灵活性：

1. API 构建器：Next.js 应用程序作为构建界面，用于创建和配置您的端点。
2. 可消费端点：一旦创建，您的 API 端点可以在任何地方部署和使用：
   • Cloudflare Workers（文档即将发布）
   • Vercel Edge Functions
   • AWS Lambda
   • 任何能够处理 HTTP 请求的平台

这种解耦架构意味着您可以：

• 仅使用 Next.js 应用来创建和管理端点
• 将可消费端点单独部署以获得最佳性能
• 独立于管理界面扩展您的 API 使用规模

技术栈

• 前端：Next.js 14、React 18、TailwindCSS
• APIs：OpenAI、Firecrawl、Upstash Redis
• 数据验证：Zod
• 动画：Framer Motion
• 部署：Vercel

开始使用

先决条件

• Node.js 18+
• npm/yarn/pnpm
• Upstash Redis 账户
• OpenAI API 密钥
• Firecrawl API 密钥

安装

1. 克隆仓库：

git clone https://github.com/developersdigest/llm-api-engine.git
cd llm-api-engine

2. 安装依赖项：

npm install

3. 创建一个包含以下变量的 .env 文件：

OPENAI_API_KEY=your_openai_key
NEXT_PUBLIC_FIRECRAWL_API_KEY=your_firecrawl_key
SERPER_API_KEY=your_serper_key
UPSTASH_REDIS_REST_URL=your_redis_url
UPSTASH_REDIS_REST_TOKEN=your_redis_token
NEXT_PUBLIC_API_ROUTE=http://localhost:3000  # 您的 API 基础 URL

4. 运行开发服务器：

npm run dev

打开 http://localhost:3000 查看应用程序。

部署选项

LLM API 引擎采用模块化架构，将 API 构建界面与实际 API 端点分离。这意味着您可以：

1. 仅使用构建界面

   • 部署 Next.js 应用程序来进行 API 创建和管理
   • 使用它生成和测试您的 API 配置
   • 将配置存储在 Redis 中以便日后使用

2. 独立 API 部署

   • 获取生成的路由配置，并将其部署到任何地方
   • 在您喜欢的框架中实现这些路由：

     // Hono 示例
     import { Hono } from 'hono'
     const app = new Hono()
     
     app.get('/api/results/:endpoint', async (c) => {
       const data = await redis.get(`api/results/${c.req.param('endpoint')}`)
       return c.json(data)
     })
     

   • 可选框架：
     • Cloudflare Workers with Hono
     • Express.js 独立服务器
     • AWS Lambda with API Gateway
     • 任何 HTTP 服务器框架

3. 混合方案

   • 使用构建器进行配置
   • 将端点单独部署以获得最佳性能
   • 通过 Redis 保持配置同步

这种灵活性使您能够：

• 独立扩展 API 端点
• 选择最适合您需求的部署平台
• 优化成本和性能
• 完全掌控您的 API 基础设施

使用方法

1. 描述您的 API：输入您想要提取的数据的自然语言描述
2. 生成 Schema：系统会自动为您生成 JSON Schema
3. 配置数据源：选择要从中提取数据的网站
4. 部署：立即获得包含结构化数据的 API 端点

示例

# 创建一个用于提取公司信息的 API
curl -X POST "https://your-domain.com/api/deploy" \
  -H "Content-Type: application/json" \
  -d '{
    "query": "提取公司名称、收入和员工人数",
    "urls": ["https://example.com/company"],
    "schedule": "0 5 * * *"
  }'

API 文档

端点

• POST /api/generate-schema - 根据描述生成 JSON Schema
• POST /api/extract - 从 URLs 提取数据
• POST /api/deploy - 部署一个新的 API 端点
• GET /api/routes - 列出所有已部署的路由
• GET /api/results/:endpoint - 获取特定端点的结果

CRON 实现（即将推出）

LLM API 引擎将支持通过多种 CRON 实现进行自动化数据更新：

1. Vercel Cron Jobs（免费层）

   • 利用 Vercel 内置的 CRON 功能
   • 免费层每天包含 1 次执行
   • 通过 vercel.json 配置：

   {
     "crons": [{
       "path": "/api/cron/update",
       "schedule": "0 0 * * *"
     }]
   }
   

2. Upstash QStash（替代方案）

   • 可靠的调度服务，提供更频繁的更新
   • 更好地控制执行时间
   • 基于 Webhook 的触发机制

3. GitHub Actions 工作流

   • 对于开源项目来说是一个免费的替代方案
   • 灵活的调度选项
   • 直接与您的仓库集成

根据以下因素选择最适合您的实现方式：

• 所需的更新频率
• 预算限制
• 基础设施偏好

敬请期待每种方案的详细实施指南！

API 使用示例

要从您部署的端点获取数据：

curl -X GET "${API_ROUTE}/api/results/nvidia-market-cap" \
  -H "Authorization: Bearer sk_your_api_key" \
  -H "Content-Type: application/json"

API 将返回如下格式的数据：

{
  "success": true,
  "data": {
    // 您提取的数据在此处
  },
  "lastUpdated": "2024-01-01T00:00:00.000Z",
  "sources": [
    "https://example.com/source1",
    "https://example.com/source2"
  ]
}

贡献

1. 分支仓库
2. 创建功能分支 (git checkout -b feature/amazing-feature)
3. 提交更改 (git commit -m '添加惊人功能')
4. 推送到分支 (git push origin feature/amazing-feature)
5. 打开拉取请求

许可证

本项目采用 MIT 许可证授权 - 详情请参阅 LICENSE 文件。

致谢

• 使用 Next.js 构建
• 由 OpenAI 提供支持
• 网页抓取由 Firecrawl 完成
• 数据存储由 Upstash 提供

路线图

🚧 开发中：CRON 功能

目前正在实现定时数据提取功能，计划包含以下特性：

• 使用 Vercel 实现后端 CRON 任务
• 速率限制和重试机制
• 并发抓取的任务队列
• 定时任务管理仪表板
• 任务历史记录与监控
• 失败任务的邮件通知

llm-api-engine

LLM API Engine 快速上手指南

LLM API Engine 是一个允许你通过自然语言描述快速构建和部署 AI 驱动 API 的工具。它能利用大语言模型（LLM）和网络爬虫技术，从网站中提取结构化数据并自动生成 API 端点。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 运行时环境: Node.js 18 或更高版本
• 包管理器: npm, yarn 或 pnpm
• 必需账号与密钥:
  • Upstash Redis: 用于数据缓存和存储（需获取 REST URL 和 Token）
  • OpenAI: 用于生成数据 Schema（需获取 API Key）
  • Firecrawl: 用于智能网页抓取（需获取 API Key）
  • Serper: 用于搜索功能（需获取 API Key，可选但推荐）

安装步骤

1. 克隆项目

将代码仓库克隆到本地并进入项目目录：

git clone https://github.com/developersdigest/llm-api-engine.git
cd llm-api-engine

2. 安装依赖

使用包管理器安装项目所需依赖（国内用户如遇网络问题，可配置淘宝镜像源）：

npm install
# 或者使用国内镜像加速
npm install --registry=https://registry.npmmirror.com

3. 配置环境变量

在项目根目录下创建 .env 文件，并填入你的密钥信息：

OPENAI_API_KEY=your_openai_key
NEXT_PUBLIC_FIRECRAWL_API_KEY=your_firecrawl_key
SERPER_API_KEY=your_serper_key
UPSTASH_REDIS_REST_URL=your_redis_url
UPSTASH_REDIS_REST_TOKEN=your_redis_token
NEXT_PUBLIC_API_ROUTE=http://localhost:3000

注意: NEXT_PUBLIC_API_ROUTE 默认为本地地址，若部署到云端请修改为对应的域名。

4. 启动开发服务器

运行以下命令启动应用：

npm run dev

启动成功后，在浏览器中访问 http://localhost:3000 即可看到操作界面。

基本使用

该工具的核心流程是：描述需求 -> 生成 Schema -> 配置来源 -> 获取 API。

图形化界面操作

1. 描述 API: 在界面输入框中用自然语言（支持英文描述效果最佳）描述你需要提取的数据，例如："Extract company name, revenue, and employee count"（提取公司名称、收入和员工数量）。
2. 生成 Schema: 系统会自动调用 OpenAI 生成对应的 JSON Schema。
3. 配置来源: 输入需要抓取的目标网站 URL。
4. 部署: 点击部署，系统将立即生成一个可用的 API 端点。

命令行调用示例

你也可以直接通过 API 接口部署一个新的端点。以下示例展示如何创建一个定时抓取公司信息的 API：

curl -X POST "http://localhost:3000/api/deploy" \
  -H "Content-Type: application/json" \
  -d '{
    "query": "Extract company name, revenue, and employee count",
    "urls": ["https://example.com/company"],
    "schedule": "0 5 * * *"
  }'

部署完成后，通过以下命令获取提取到的结构化数据：

curl -X GET "http://localhost:3000/api/results/nvidia-market-cap" \
  -H "Authorization: Bearer sk_your_api_key" \
  -H "Content-Type: application/json"

返回数据格式示例：

{
  "success": true,
  "data": {
    "companyName": "Example Corp",
    "revenue": "$10M",
    "employeeCount": 50
  },
  "lastUpdated": "2024-01-01T00:00:00.000Z",
  "sources": [
    "https://example.com/company"
  ]
}

架构提示

该项目采用解耦架构。你可以仅使用提供的 Next.js 应用作为“构建器”来管理和生成配置，而将实际的生产环境 API 端点独立部署在 Cloudflare Workers、AWS Lambda 或 Vercel Edge Functions 上，以实现最佳性能和扩展性。