TaskingAI

TaskingAI 是一个用于基于大语言模型（LLM）的智能体开发与部署的 BaaS（后端即服务）平台。它统一了数百种 LLM 模型的集成，并提供直观的用户界面来管理您的 LLM 应用的功能模块，包括工具、RAG（检索增强生成）系统、助手、对话历史等。

主要特性

1. 一体化 LLM 平台：通过统一的 API 访问数百种 AI 模型。
2. 丰富的增强功能：利用数百种可自定义的内置工具和先进的检索增强生成（RAG）系统来提升 LLM 智能体的性能。
3. 受 BaaS 启发的流程：将 AI 逻辑（服务器端）与产品开发（客户端）分离，提供从基于控制台的原型设计到使用 RESTful API（应用程序接口）和客户端 SDK（软件开发工具包）的可扩展解决方案的清晰路径。
4. 一键生产部署：一键将您的 AI 智能体部署到生产阶段，并轻松扩展它们。让 TaskingAI 处理其余部分。
5. 异步效率：利用 Python FastAPI 的异步特性进行高性能并发计算，增强应用的响应能力和可扩展性。
6. 直观的 UI 控制台：简化项目管理，并允许在控制台中测试工作流。

集成

模型：TaskingAI 连接来自各种提供商的数百种 LLM，包括 OpenAI、Anthropic 等。我们还允许用户通过 Ollama、LM Studio 和 Local AI 集成本地主机模型。

插件：TaskingAI 支持广泛的内置插件以增强您的 AI 智能体，包括 Google 搜索、网站阅读器、股市检索等。用户还可以创建自定义工具以满足特定需求。

---

为什么选择 TaskingAI？

现有方案的问题🙁

LangChain 是一个用于 LLM 应用开发的工具框架，但它面临实际限制：

• 无状态：依赖客户端或外部服务进行数据管理。
• 可扩展性挑战：无状态影响跨会话的一致数据处理。
• 外部依赖：依赖外部资源，如模型 SDK 和向量存储。

OpenAI 的 Assistant API 在提供类似 GPT 的功能方面表现出色，但也有其自身的限制：

• 绑定功能：工具和检索等集成与每个助手绑定，不适合多租户应用。
• 专有限制：仅限于 OpenAI 模型，不适合多样化需求。
• 定制限制：用户无法自定义智能体配置，如内存和检索系统。

TaskingAI 如何解决问题😃

• 支持有状态和无状态用法：无论是跟踪和管理消息历史和智能体对话会话，还是仅进行无状态聊天完成请求，TaskingAI 都能涵盖。
• 解耦的模块化管理：将工具、RAG 系统、语言模型的管理与智能体解耦。允许自由组合这些模块以构建强大的 AI 智能体。
• 多租户支持：TaskingAI 支持开发后快速部署，可用于多租户场景。无需担心云服务，只需专注于 AI 智能体开发。
• 统一 API：TaskingAI 为所有模块提供统一的 API，包括工具、RAG 系统、语言模型等。管理和更改 AI 智能体的配置超级简单。

您可以使用 TaskingAI 构建什么？

• 交互式应用演示
• 企业生产力 AI 智能体
• 面向业务的多租户 AI 原生应用

---

如果您觉得它有帮助，请给我们一个免费星标 🌟 😇

---

使用 Docker 快速入门

启动自托管 TaskingAI 社区版的一种简单方法是通过 Docker。

前提条件

• 您的机器上已安装 Docker 和 Docker Compose。
• 已安装 Git 以克隆仓库。
• Python 环境（高于 Python 3.8）用于运行客户端 SDK。

安装

首先，从 GitHub 克隆 TaskingAI（社区版）仓库。

git clone https://github.com/taskingai/taskingai.git
cd taskingai

在克隆的仓库内，进入 docker 目录。

cd docker

1. 将 .env.example 复制为 .env：

   cp .env.example .env
   

2. 编辑 .env 文件： 在您喜欢的文本编辑器中打开 .env 文件并更新必要的配置。确保所有必需的环境变量（environment variables）都已正确设置。

3. 启动 Docker Compose： 运行以下命令以启动所有服务：

   docker-compose -p taskingai --env-file .env up -d
   

服务启动后，通过浏览器访问 URL http://localhost:8080 即可使用 TaskingAI 控制台。默认用户名和密码分别为 admin 和 TaskingAI321。

升级

如果您已经安装了旧版本的 TaskingAI 并希望升级到最新版本，请先更新仓库。

git pull origin master

然后停止当前的 docker 服务，通过拉取最新镜像升级到最新版本，最后重启服务。

cd docker
docker-compose -p taskingai down
docker-compose -p taskingai pull
docker-compose -p taskingai --env-file .env up -d

无需担心数据丢失；如果需要，您的数据将自动迁移到最新版本的架构（schema）。

TaskingAI UI 控制台

点击上图查看 TaskingAI 控制台演示视频。

TaskingAI 客户端 SDK（软件开发工具包）

控制台启动后，您可以使用 TaskingAI 客户端 SDK 以编程方式与 TaskingAI 服务器进行交互。

确保您已安装 Python 3.8 或更高版本，并设置虚拟环境（可选但推荐）。 使用 pip 安装 TaskingAI Python 客户端 SDK。

pip install taskingai

这是一个客户端代码示例：

import taskingai

taskingai.init(api_key='YOUR_API_KEY', host='http://localhost:8080')

# Create a new assistant
assistant = taskingai.assistant.create_assistant(
    model_id="YOUR_MODEL_ID",
    memory="naive",
)

# Create a new chat
chat = taskingai.assistant.create_chat(
    assistant_id=assistant.assistant_id,
)

# Send a user message
taskingai.assistant.create_message(
    assistant_id=assistant.assistant_id,
    chat_id=chat.chat_id,
    text="Hello!",
)

# generate assistant response
assistant_message = taskingai.assistant.generate_message(
    assistant_id=assistant.assistant_id,
    chat_id=chat.chat_id,
)

print(assistant_message)

请注意，YOUR_API_KEY 和 YOUR_MODEL_ID 应替换为您在控制台中创建的实际 API 密钥（API key）和聊天完成模型 ID。

您可以在 文档 中了解更多内容。

资源

• 文档
• API 参考
• 联系我们

社区与贡献

请参阅我们的 贡献指南 了解如何为项目做出贡献。

此外，我们很高兴地宣布 TaskingAI 现在拥有官方 Discord 社区！🎊

加入我们的 Discord 服务器 以：

•	💬 参与关于 TaskingAI 的讨论，分享想法并提供反馈。
•	📚 从其他用户和我们团队那里获取支持、提示和最佳实践。
•	🚀 随时了解最新消息、更新和功能发布。
•	🤝 与热衷于 AI 和任务自动化的志同道合者建立联系。

许可证与行为准则

TaskingAI 根据特定的 TaskingAI 开源许可证 发布。通过向本项目做出贡献，即表示您同意遵守其条款。

支持与联系

如需支持，请参阅我们的 文档 或通过 support@tasking.ai 联系我们。

TaskingAI 快速上手指南

TaskingAI 是一个面向 LLM 智能体开发与部署 的 BaaS（后端即服务）平台。它统一集成了数百种 LLM 模型，并提供直观的界面来管理工具、RAG 系统、助手及对话历史等功能模块。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Docker 与 Docker Compose：已安装并配置好。
• Git：用于克隆代码仓库。
• Python 环境：版本需高于 3.8，用于运行客户端 SDK。

安装步骤

TaskingAI 社区版支持通过 Docker 快速自托管部署。

1. 克隆仓库

   git clone https://github.com/taskingai/taskingai.git
   cd taskingai
   

2. 进入 Docker 目录

   cd docker
   

3. 配置环境变量 复制示例配置文件并重命名为 .env：

   cp .env.example .env
   

   使用文本编辑器打开 .env 文件，根据实际需求修改必要的配置项。

4. 启动服务 运行以下命令启动所有服务：

   docker-compose -p taskingai --env-file .env up -d
   

5. 访问控制台 服务启动后，在浏览器中访问 http://localhost:8080。

   • 默认用户名：admin
   • 默认密码：TaskingAI321

基本使用

部署完成后，您可以使用 TaskingAI 客户端 SDK 通过代码与服务器交互。

1. 安装 SDK 确保已安装 Python 3.8+，然后执行：

   pip install taskingai
   

2. 代码示例 以下是一个创建助手、发送消息并获取回复的基础示例：

   import taskingai
   
   taskingai.init(api_key='YOUR_API_KEY', host='http://localhost:8080')
   
   # Create a new assistant
   assistant = taskingai.assistant.create_assistant(
       model_id="YOUR_MODEL_ID",
       memory="naive",
   )
   
   # Create a new chat
   chat = taskingai.assistant.create_chat(
       assistant_id=assistant.assistant_id,
   )
   
   # Send a user message
   taskingai.assistant.create_message(
       assistant_id=assistant.assistant_id,
       chat_id=chat.chat_id,
       text="Hello!",
   )
   
   # generate assistant response
   assistant_message = taskingai.assistant.generate_message(
       assistant_id=assistant.assistant_id,
       chat_id=chat.chat_id,
   )
   
   print(assistant_message)
   

   注意：请将代码中的 YOUR_API_KEY 和 YOUR_MODEL_ID 替换为您在控制台中实际创建的 API Key 和模型 ID。

更多详细信息请参考 官方文档。