LlamaFarm - 面向每个人的边缘人工智能

在您自己的硬件上实现企业级 AI 功能。无需云端。

LlamaFarm 是一个完全在您的硬件上运行的开源 AI 平台。您可以构建 RAG 应用程序、训练自定义分类器、检测异常并进行文档处理——所有这些都在本地完成，确保完全的隐私。

• 🔒 完全隐私 — 您的数据永远不会离开您的设备
• 💰 无 API 费用 — 使用开源模型，无需按 token 计费
• 🌐 离线可用 — 下载模型后即可在没有互联网的情况下工作
• ⚡ 硬件优化 — 自动支持 Apple Silicon、NVIDIA 和 AMD 的 GPU/NPU 加速

桌面应用下载

立即开始使用，无需命令行：

平台	下载
Mac (通用)	下载
Windows	下载
Linux (x86_64)	下载
Linux (ARM64)	下载

---

您可以构建什么？

功能	描述
RAG（检索增强生成）	导入 PDF、文档、CSV 文件，并通过 AI 进行查询
自定义分类器	使用 SetFit，仅需 8–16 个示例即可训练文本分类器
异常检测	12 种以上的算法，适用于批量和流式异常检测
工具调用（MCP）	通过模型上下文协议将模型连接到外部工具
OCR & 文档提取	从图像和 PDF 中提取文本和结构化数据
命名实体识别	查找人物、组织和地点
多模型运行时	可在 Ollama、OpenAI、vLLM 或本地 GGUF 模型之间切换

视频演示（90 秒）： https://youtu.be/W7MHGyN0MdQ

---

快速入门

选项 1：桌面应用

下载上述桌面应用并运行即可。无需额外设置。

选项 2：CLI + 开发模式

1. 安装 CLI

   macOS / Linux：

   curl -fsSL https://raw.githubusercontent.com/llama-farm/llamafarm/main/install.sh | bash
   

   Windows（PowerShell）：

   irm https://raw.githubusercontent.com/llama-farm/llamafarm/main/install.ps1 | iex
   

   或直接从 发布页面 下载。

2. 创建并运行项目

   lf init my-project      # 生成 llamafarm.yaml
   lf start                # 启动服务并打开 Designer UI
   

3. 与您的 AI 对话

   lf chat                           # 交互式聊天
   lf chat "Hello, LlamaFarm!"       # 单次消息
   

Designer 网页界面可在 http://localhost:14345 访问。

选项 3：从源代码开发

git clone https://github.com/llama-farm/llamafarm.git
cd llamafarm

# 全局安装 Nx 并初始化工作区
npm install -g nx
nx init --useDotNxInstallation --interactive=false  # 第一次克隆时必须执行

# 启动所有服务（每个服务在一个单独的终端中运行）
nx start server           # FastAPI 服务器（端口 14345）
nx start rag              # 用于文档处理的 RAG 工作进程
nx start universal-runtime # 机器学习模型、OCR、嵌入等（端口 11540）

---

架构

LlamaFarm 由三个主要服务组成：

服务	端口	用途
服务器	14345	FastAPI REST API、Designer 网页界面、项目管理
RAG 工作进程	-	Celery 工作进程，用于异步文档处理
通用运行时	11540	机器学习模型推理、嵌入、OCR、异常检测

所有配置都存储在 llamafarm.yaml 中，不存在分散的设置或隐藏的默认值。

---

运行时选项

通用运行时（推荐）

通用运行时提供对 HuggingFace 模型以及专用机器学习功能的访问：

• 文本生成 - 任何 HuggingFace 文本模型
• 嵌入 - sentence-transformers 等嵌入模型
• OCR - 从图像/PDF 中提取文本（Surya、EasyOCR、PaddleOCR、Tesseract）
• 文档提取 - 通过视觉模型提取表格、发票、收据等
• 文本分类 - 通过 SetFit 使用预训练或自定义模型
• 命名实体识别 - 提取人物、组织、地点
• 重排序 - 使用交叉编码器提高 RAG 质量
• 异常检测 - 隔离森林、单类 SVM、局部异常因子、自编码器

runtime:
  models:
    default:
      provider: universal
      model: Qwen/Qwen2.5-1.5B-Instruct
      base_url: http://127.0.0.1:11540/v1

Ollama

简单设置，支持 GGUF 模型，并具备 CPU/GPU 加速：

runtime:
  models:
    default:
      provider: ollama
      model: qwen3:8b
      base_url: http://localhost:11434/v1

OpenAI 兼容

可与 vLLM、Together、Mistral API 或任何 OpenAI 兼容的端点配合使用：

runtime:
  models:
    default:
      provider: openai
      model: gpt-4o
      base_url: https://api.openai.com/v1
      api_key: ${OPENAI_API_KEY}

---

核心工作流程

CLI 命令

任务	命令
初始化项目	lf init my-project
启动服务	lf start
交互式聊天	lf chat
单次消息	lf chat "Your question"
列出模型	lf models list
使用特定模型	lf chat --model powerful "Question"
创建数据集	lf datasets create -s pdf_ingest -b main_db research
上传文件（默认自动处理）	lf datasets upload research ./docs/*.pdf
手动处理数据集（如果跳过了自动处理）	lf datasets process research
查询 RAG	lf rag query --database main_db "Your query"
检查 RAG 健康状况	lf rag health

RAG 流程

1. 创建数据集，关联处理策略和数据库
2. 上传文件（PDF、DOCX、Markdown、TXT）——除非您指定 --no-process，否则会自动处理
3. 手动处理 仅在您有意跳过自动处理时进行（例如大批量文件）
4. 查询 使用语义搜索，并可选择性地过滤元数据

lf datasets create -s default -b main_db research
lf datasets upload research ./papers/*.pdf                 # 默认自动处理

# 对于大型批次：
# lf 数据集上传 research ./papers/*.pdf --no-process
# lf 数据集处理 research
lf rag 查询 --database main_db "主要发现是什么？"

Designer Web UI

Designer 的地址为 http://localhost:14345，提供以下功能：

• 项目管理，包括简报和快速操作
• 可视化数据集管理，支持拖放上传
• 数据库与 RAG 配置，内置查询测试功能
• 提示工程，支持模板变量和测试
• 交互式聊天，可切换 RAG 模式并显示检索到的上下文
• 配置编辑器，具备语法高亮、验证和自动补全功能
• 在任何部分均可在可视化 Designer 和原始 YAML 模式之间切换

详细信息请参阅 Designer 功能指南。

---

配置

llamafarm.yaml 是每个项目的权威配置文件：

version: v1
name: my-assistant
namespace: default

# 多模型配置
runtime:
  default_model: fast

  models:
    fast:
      description: "快速本地模型"
      provider: universal
      model: Qwen/Qwen2.5-1.5B-Instruct
      base_url: http://127.0.0.1:11540/v1

    powerful:
      description: "更强大的模型"
      provider: universal
      model: Qwen/Qwen2.5-7B-Instruct
      base_url: http://127.0.0.1:11540/v1

# 系统提示
prompts:
  - name: default
    messages:
      - role: system
        content: 你是一位乐于助人的助手。

# RAG 配置
rag:
  databases:
    - name: main_db
      type: ChromaStore
      default_embedding_strategy: default_embeddings
      default_retrieval_strategy: semantic_search
      embedding_strategies:
        - name: default_embeddings
          type: UniversalEmbedder
          config:
            model: sentence-transformers/all-MiniLM-L6-v2
            base_url: http://127.0.0.1:11540/v1
      retrieval_strategies:
        - name: semantic_search
          type: BasicSimilarityStrategy
          config:
            top_k: 5

  data_processing_strategies:
    - name: default
      parsers:
        - type: PDFParser_LlamaIndex
          config:
            chunk_size: 1000
            chunk_overlap: 100
        - type: MarkdownParser_Python
          config:
            chunk_size: 1000
      extractors: []

# 数据集定义
datasets:
  - name: research
    data_processing_strategy: default
    database: main_db

环境变量替换

使用 ${VAR} 语法从 .env 文件中注入密钥：

runtime:
  models:
    openai:
      api_key: ${OPENAI_API_KEY}
      # 使用默认值：${OPENAI_API_KEY:-sk-default}
      # 从特定文件加载：${file:.env.production:API_KEY}

完整参考请参阅 配置指南。

---

REST API

LlamaFarm 提供与 OpenAI 兼容的 REST API：

聊天完成

curl -X POST http://localhost:14345/v1/projects/default/my-project/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "你好"}],
    "stream": false,
    "rag_enabled": true
  }'

RAG 查询

curl -X POST http://localhost:14345/v1/projects/default/my-project/rag/query \
  -H "Content-Type: application/json" \
  -d '{
    "query": "需求是什么？",
    "database": "main_db",
    "top_k": 5
  }'

所有端点请参阅 API 参考。

---

专业 ML 能力

Universal Runtime 提供了超越聊天的功能：

OCR 与文档提取

curl -X POST http://localhost:14345/v1/vision/ocr \
  -F "file=@document.pdf" \
  -F "model=surya"

异常检测

LlamaFarm 支持 PyOD 提供的 12 种以上异常检测算法，涵盖批处理和流式两种模式。

# 基于正常数据训练
curl -X POST http://localhost:14345/v1/ml/anomaly/fit \
  -H "Content-Type: application/json" \
  -d '{"model": "sensor-detector", "backend": "ecod", "data": [[22.1], [23.5], ...]}'

# 检测异常
curl -X POST http://localhost:14345/v1/ml/anomaly/detect \
  -H "Content-Type: application/json" \
  -d '{"model": "sensor-detector", "data": [[22.0], [100.0], [23.0]], "threshold": 0.5}'

# 流式检测（处理冷启动、自动重新训练、滑动窗口）
curl -X POST http://localhost:14345/v1/ml/anomaly/stream \
  -H "Content-Type: application/json" \
  -d '{"model": "live-sensor", "data": {"temperature": 72.5}, "backend": "ecod"}'

可用后端： ecod（推荐）、isolation_forest、one_class_svm、local_outlier_factor、autoencoder、hbos、copod、knn、mcd、cblof、suod、loda

文本分类与 NER

完整文档请参阅 模型指南。

工具调用（MCP）

通过模型上下文协议（MCP）使模型能够访问外部工具：

# 在 llamafarm.yaml 中
mcp:
  servers:
    - name: filesystem
      transport: stdio
      command: npx
      args: ['-y', '@modelcontextprotocol/server-filesystem', '/data']

runtime:
  models:
    - name: assistant
      provider: ollama
      model: llama3.1:8b
      mcp_servers: [filesystem]

LlamaFarm 还将其自身 API 作为 MCP 工具公开，供 Claude Desktop、Cursor 等 MCP 客户端使用。详细信息请参阅 工具调用指南。

---

示例

示例	描述	位置
RAG 示例
大型复杂 PDF	数百万字的规划条例	examples/large_complex_rag/
多个小文件	FDA 来往信函	examples/many_small_file_rag/
混合格式	PDF、Markdown、HTML、文本和代码	examples/mixed_format_rag/
快速笔记	小文件快速烟雾测试	examples/quick_rag/
异常检测
快速入门	最简单的异常检测示例	examples/anomaly/01_quick_start.py
欺诈检测	训练、保存、加载模型	examples/anomaly/02_fraud_detection.py
流式传感器	物联网监控与滚动特征	examples/anomaly/03_streaming_sensors.py
后端比较	比较所有 12 种算法	examples/anomaly/04_backend_comparison.py
用例
FDA 信函助手	法规文件分析	examples/fda_rag/
政府规划	大型条例文件	examples/gov_rag/

设置说明和完整列表请参阅 examples/README.md。

---

行业用例

LlamaFarm 广泛应用于各行业，用于文档分析、监控和欺诈检测：

• 制药与治疗 — 分析 FDA 来函，跟踪监管问题
• 物联网传感器监控 — 实时流式异常检测，并支持自动重新训练
• 金融欺诈检测 — 基于速度和行为模式的多阶段欺诈检测

---

开发与测试

# Python 服务器测试
cd server && uv sync && uv run --group test python -m pytest

# CLI 测试
cd cli && go test ./...

# RAG 测试
cd rag && uv sync && uv run pytest tests/

# 通用运行时测试
cd runtimes/universal && uv sync && uv run pytest tests/

# 构建文档
nx build docs

---

可扩展性

• 添加运行时：通过实现提供商支持并更新架构来完成
• 添加向量存储：通过实现存储后端（Chroma、Qdrant 等）来完成
• 添加解析器：用于处理新的文件格式（PDF、DOCX、HTML、CSV 等）
• 添加提取器：用于自定义元数据提取
• 添加 CLI 命令：在 cli/cmd/ 目录下添加

有关详细步骤，请参阅扩展指南。

---

社区与支持

• Discord — 与团队及社区交流
• GitHub Issues — 用于报告 bug 和提出功能需求
• Discussions — 用于分享想法和提案
• 贡献指南 — 关于代码风格和贡献流程的说明

---

许可证

采用 Apache 2.0 许可证授权。感谢名单请参见 CREDITS。

---

本地构建，随处部署，掌控您的 AI。

LlamaFarm 快速上手指南

LlamaFarm 是一个完全在本地运行的开源 AI 平台，支持构建 RAG 应用、训练自定义分类器、异常检测及文档处理。数据无需上传云端，确保隐私安全，且支持离线运行。

环境准备

系统要求

• 操作系统：macOS (Universal), Windows, Linux (x86_64 / ARM64)
• 硬件加速：自动支持 Apple Silicon, NVIDIA GPU, AMD GPU
• 内存建议：运行大模型建议 16GB+ 内存（小模型可在 8GB 运行）

前置依赖（仅 CLI/源码模式需要）

若使用桌面版可跳过此步。若使用命令行或开发模式，请确保安装：

• Python: 3.10+
• Go: 1.24+ (部分底层组件需要)
• Node.js & npm: 用于源码构建
• Nx: 全局安装 (npm install -g nx)

国内加速提示：

• Python 包安装建议使用清华源：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package>
• HuggingFace 模型下载若受阻，可配置 HF_ENDPOINT=https://hf-mirror.com 环境变量。

---

安装步骤

推荐优先使用桌面应用，零配置即可启动。开发者可选择 CLI 或 源码 模式。

方式一：桌面应用（推荐新手）

直接下载对应系统的安装包并运行，无需命令行操作：

• Mac: 下载 DMG
• Windows: 下载 EXE
• Linux: 下载 AppImage

方式二：命令行工具 (CLI)

适合集成到工作流或无图形界面服务器。

macOS / Linux:

curl -fsSL https://raw.githubusercontent.com/llama-farm/llamafarm/main/install.sh | bash

Windows (PowerShell):

irm https://raw.githubusercontent.com/llama-farm/llamafarm/main/install.ps1 | iex

方式三：源码开发模式

适合贡献代码或深度定制。

git clone https://github.com/llama-farm/llamafarm.git
cd llamafarm

# 初始化 Nx 工作区
npm install -g nx
nx init --useDotNxInstallation --interactive=false

# 启动服务（需在三个独立终端分别运行）
nx start server           # FastAPI 服务 (端口 14345)
nx start rag              # RAG 文档处理 worker
nx start universal-runtime # ML 推理引擎 (端口 11540)

---

基本使用

以下以 CLI 模式 为例，演示如何初始化项目、上传文档并进行问答。

1. 初始化并启动项目

创建新项目并启动本地服务（会自动打开 Designer Web UI）：

lf init my-project
lf start

启动后，可在浏览器访问 http://localhost:14345 使用可视化界面。

2. 创建数据集并上传文档

构建一个名为 research 的数据集，关联默认处理策略和数据库，并上传 PDF 文件（默认自动解析）：

# 创建数据集
lf datasets create -s default -b main_db research

# 上传文件（自动进行 OCR 和分块处理）
lf datasets upload research ./docs/*.pdf

3. 进行 RAG 问答

对已上传的文档库进行语义搜索和问答：

lf rag query --database main_db "这篇文档的核心发现是什么？"

4. 通用聊天测试

不依赖文档，直接与本地模型对话：

# 交互式对话
lf chat

# 单次消息
lf chat "你好，LlamaFarm！"

# 指定特定模型对话
lf chat --model powerful "解释一下量子纠缠"

5. 配置多模型（可选）

编辑项目根目录下的 llamafarm.yaml 可切换模型提供商（如 Ollama, OpenAI, 或本地 Universal Runtime）：

runtime:
  models:
    default:
      provider: universal
      model: Qwen/Qwen2.5-1.5B-Instruct
      base_url: http://127.0.0.1:11540/v1

修改配置后，重启服务即可生效。