AIKit ✨

AIKit 是一个功能全面的平台，可帮助您快速启动、托管、部署、构建和微调大型语言模型（LLMs）。

AIKit 提供三大核心功能：

• 推理：AIKit 使用 LocalAI，它支持广泛的推理能力和多种格式。LocalAI 提供与 OpenAI API 兼容的即插即用式 REST API，因此您可以使用任何兼容 OpenAI API 的客户端，例如 Kubectl AI、Chatbot-UI 等，向开源 LLM 发送请求！

• 微调：AIKit 提供可扩展的微调界面。它支持 Unsloth，带来快速、内存高效且简便的微调体验。

• OCI 打包：将模型打包为 OCI 工件，以便通过任何符合 OCI 标准的注册表进行分发。支持 CNCF ModelPack 规范以及通用工件打包。

👉 如需完整文档，请访问 AIKit 官网！

特性

• 🐳 无需 GPU、互联网连接或额外工具，只需 Docker 或 Podman 即可！
• 🤏 镜像体积极小，采用定制的 chiseled 镜像，漏洞更少、攻击面更小。
• 🎵 支持 微调
• 📦 支持 OCI 打包，可将模型作为 OCI 工件分发。
• 🚀 易于使用的声明式配置，适用于 推理 和 微调。
• ✨ 与 OpenAI API 兼容，可配合任何兼容 OpenAI API 的客户端使用。
• 📸 支持 多模态模型。
• 🖼️ 支持 图像生成。
• 🦙 支持 GGUF（llama，来自 gggerganov/llama.cpp）和 GGML（llama-ggml，同样来自 gggerganov/llama.cpp）模型。
• 🚢 已准备好用于 Kubernetes 部署。
• 📚 单一镜像即可支持多种模型。
• 🖥️ 支持 AMD64 和 ARM64 CPU，并可通过 NVIDIA GPU 实现 GPU 加速推理。
• 🔐 通过 SBOM、Provenance 认证和签名镜像，确保 供应链安全。
• 🌈 支持气隙环境，可使用自托管、本地或任何远程容器注册表来存储模型镜像，以在边缘端进行推理。

快速入门

您可以在本地机器上无需 GPU 的情况下快速开始使用 AIKit！

docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b

运行后，访问 http://localhost:8080/chat，即可进入 Web UI！

API

AIKit 提供与 OpenAI API 兼容的端点，因此您可以使用任何兼容 OpenAI API 的客户端向开源 LLM 发送请求！

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "用一句话解释 Kubernetes"}]
  }'

输出应类似于：

{
  // ...
    "model": "llama-3.1-8b-instruct",
    "choices": [
        {
            "index": 0,
            "finish_reason": "stop",
            "message": {
                "role": "assistant",
                "content": "Kubernetes 是一个开源的容器编排系统，能够自动化应用程序和服务的部署、扩展与管理，使开发者可以专注于编写代码，而无需操心基础设施的运维。"
            }
        }
    ],
  // ...
}

就是这样！🎉 该 API 与 OpenAI 兼容，因此可直接替代任何兼容 OpenAI API 的客户端。

预制模型

AIKit 自带预制模型，开箱即用！

如果其中未包含您所需的特定模型，您也可以随时 创建自己的镜像，并将其托管在您选择的容器注册表中！

CPU

[!NOTE] AIKit 支持 AMD64 和 ARM64 两种 CPU 架构。您可以在任一架构上运行相同的命令，Docker 会自动拉取适合您 CPU 的正确镜像。

根据您的 CPU 功能，AIKit 会自动选择最优化的指令集。

模型	优化	参数	命令	模型名称	许可证
🦙 Llama 3.2	指令	1B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.2:1b	llama-3.2-1b-instruct	Llama
🦙 Llama 3.2	指令	3B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.2:3b	llama-3.2-3b-instruct	Llama
🦙 Llama 3.1	指令	8B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b	llama-3.1-8b-instruct	Llama
🦙 Llama 3.3	指令	70B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.3:70b	llama-3.3-70b-instruct	Llama
Ⓜ️ Mixtral	指令	8x7B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/mixtral:8x7b	mixtral-8x7b-instruct	Apache
🅿️ Phi 4	指令	14B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/phi4:14b	phi-4-14b-instruct	MIT
🔡 Gemma 2	指令	2B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/gemma2:2b	gemma-2-2b-instruct	Gemma
QwQ		32B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwq:32b	qwq-32b	Apache 2.0
⌨️ Codestral 0.1	代码	22B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/codestral:22b	codestral-22b	MNLP
🤖 GPT-OSS		20B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/gpt-oss:20b	gpt-oss-20b	Apache 2.0
🤖 GPT-OSS		120B	docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/gpt-oss:120b	gpt-oss-120b	Apache 2.0

NVIDIA CUDA

[!注意] 要启用 GPU 加速，请参阅 GPU 加速。

请注意，CPU 和 GPU 部分之间的唯一区别是用于启用 GPU 加速的命令中的 --gpus all 标志。

模型	优化	参数	命令	模型名称	许可证
🦙 Llama 3.2	指令	1B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.2:1b	llama-3.2-1b-instruct	Llama
🦙 Llama 3.2	指令	3B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.2:3b	llama-3.2-3b-instruct	Llama
🦙 Llama 3.1	指令	8B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b	llama-3.1-8b-instruct	Llama
🦙 Llama 3.3	指令	70B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.3:70b	llama-3.3-70b-instruct	Llama
Ⓜ️ Mixtral	指令	8x7B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/mixtral:8x7b	mixtral-8x7b-instruct	Apache
🅿️ Phi 4	指令	14B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/phi4:14b	phi-4-14b-instruct	MIT
🔡 Gemma 2	指令	2B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/gemma2:2b	gemma-2-2b-instruct	Gemma
QwQ		32B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/qwq:32b	qwq-32b	Apache 2.0
⌨️ Codestral 0.1	代码	22B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/codestral:22b	codestral-22b	MNLP
📸 Flux 1 Dev	文本到图像	12B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/flux1:dev	flux-1-dev	FLUX.1 [dev] 非商业许可
🤖 GPT-OSS		20B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/gpt-oss:20b	gpt-oss-20b	Apache 2.0
🤖 GPT-OSS		120B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/gpt-oss:120b	gpt-oss-120b	Apache 2.0

Apple Silicon（实验性）

[!注意] 要在 Apple Silicon 上启用 GPU 加速，请参阅 Podman Desktop 文档。有关更多信息，请参阅 GPU 加速。

Apple Silicon 是一种 实验性 运行时环境，未来可能会发生变化。此运行时环境仅适用于 Apple Silicon，无法在其他架构上正常工作，包括 Intel Mac。

Apple Silicon 仅支持 gguf 模型。

模型	优化	参数	命令	模型名称	许可证
🦙 Llama 3.2	指令	1B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/kaito-project/aikit/applesilicon/llama3.2:1b	llama-3.2-1b-instruct	Llama
🦙 Llama 3.2	指令	3B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/kaito-project/aikit/applesilicon/llama3.2:3b	llama-3.2-3b-instruct	Llama
🦙 Llama 3.1	指令	8B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/kaito-project/aikit/applesilicon/llama3.1:8b	llama-3.1-8b-instruct	Llama
🅿️ Phi 4	指令	14B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/kaito-project/aikit/applesilicon/phi4:14b	phi-4-14b-instruct	MIT
🔡 Gemma 2	指令	2B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/kaito-project/aikit/applesilicon/gemma2:2b	gemma-2-2b-instruct	Gemma

贡献

想为 AIKit 做贡献吗？请查看我们的 贡献指南，了解开发设置、测试说明和贡献规范。

下一步是什么？

👉 欲了解更多关于如何微调模型或创建自有图像的信息，请访问 AIKit 官网！

AIKit 快速上手指南

AIKit 是一个综合平台，旨在帮助用户快速托管、部署、构建和微调大型语言模型（LLM）。它基于 LocalAI 提供兼容 OpenAI API 的推理服务，支持无需 GPU 即可在本地运行多种主流模型。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows（需安装 Docker Desktop）。
• 架构支持：自动适配 AMD64 (x86_64) 和 ARM64 (如 Apple Silicon, Raspberry Pi) 架构。
• 前置依赖：
  • 必须安装 Docker 或 Podman。
  • 可选：若需 GPU 加速推理，需安装 NVIDIA 驱动及 Docker GPU 运行时支持。
• 网络要求：首次运行需联网拉取镜像，后续支持离线（Air-gapped）环境运行。

注意：AIKit 无需额外安装 Python 环境、CUDA 工具包或其他 AI 框架，所有依赖已封装在容器镜像中。

安装步骤

AIKit 采用容器化交付，无需传统“安装”过程，只需拉取并运行对应的 Docker 镜像即可。

1. 基础运行（CPU 模式）

无需 GPU，直接在本地启动一个 Llama 3.1 8B 模型服务：

docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b

2. GPU 加速运行（NVIDIA CUDA）

若主机配备 NVIDIA GPU，只需添加 --gpus all 参数即可启用硬件加速：

docker run -d --rm --gpus all -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b

提示：Docker 会自动根据当前 CPU 架构（AMD64/ARM64）拉取匹配的镜像版本。

基本使用

启动容器后，AIKit 将提供 Web 界面和兼容 OpenAI 标准的 API 接口。

1. 访问 Web 界面

在浏览器中打开以下地址，即可通过图形化界面与模型对话：

http://localhost:8080/chat

2. 调用 API

AIKit 完全兼容 OpenAI API 格式，可直接使用任何支持 OpenAI 协议的客户端（如 Chatbot-UI、Kubectl AI 等）或发送 HTTP 请求。

示例命令：

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  }'

预期返回示例：

{
  // ...
    "model": "llama-3.1-8b-instruct",
    "choices": [
        {
            "index": 0,
            "finish_reason": "stop",
            "message": {
                "role": "assistant",
                "content": "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ],
  // ...
}

3. 更多预置模型

除了 Llama 3.1，AIKit 还支持一键运行 Mixtral, Phi-4, Gemma, Codestral 等多种模型。只需替换镜像标签即可，例如运行 Phi-4：

docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/phi4:14b

详细模型列表及对应命令请参考官方文档或项目 README 中的"Pre-made Models"章节。