JARVIS

JARVIS的使命是探索通用人工智能（AGI），并向整个社区提供前沿研究。

最新动态

• [2024年1月15日] 我们发布了Easytool，让工具使用更加便捷。
  • 代码和数据集可在EasyTool获取。
  • 论文可访问EasyTool：用简洁工具指令增强基于大语言模型的智能体。
• [2023年11月30日] 我们发布了TaskBench，用于评估大语言模型的任务自动化能力。
  • 代码和数据集可在TaskBench获取。
  • 论文可访问TaskBench：面向任务自动化的大型语言模型基准测试。
• [2023年7月28日] 我们目前正处于评估与项目重构的规划阶段。近期我们将发布Jarvis的新版本。
• [2023年7月24日] 我们发布了Jarvis的轻量版langchain。详情请见这里。
• [2023年4月16日] Jarvis现已支持Azure平台上的OpenAI服务及GPT-4模型。
• [2023年4月6日] 我们新增了Gradio演示，并在server模式下构建了/tasks和/results的Web API。
  • Gradio演示现托管于Hugging Face Space。（采用inference_mode=hybrid和local_deployment=standard构建）
  • Web API /tasks和/results可访问中间结果，涵盖第1阶段：任务规划，以及第1至3阶段：模型选择与执行结果。详情请见这里。
• [2023年4月3日] 我们增加了CLI模式，并提供了配置本地端点规模的参数。
  • 您无需本地部署模型，即可享受Jarvis的轻量化体验。详情请见这里。
  • 只需运行python awesome_chat.py --config configs/config.lite.yaml即可体验。
• [2023年4月1日] 我们更新了部分代码版本。

概览

语言作为大语言模型的接口，可连接众多AI模型，以解决复杂的AI任务！

查看我们的论文：HuggingGPT：用ChatGPT及其伙伴在HuggingFace上解决AI任务，沈永亮、宋凯涛、谭旭、李东升、陆伟明和庄宇婷（前两位作者贡献相当）

我们介绍了一种协作系统，由一个大语言模型作为控制器和众多专家模型作为协同执行者（来自HuggingFace Hub）组成。该系统的流程分为四个阶段：

• 任务规划：利用ChatGPT分析用户请求，理解其意图，并将其拆解为可解决的任务。
• 模型选择：为解决规划好的任务，ChatGPT根据描述从Hugging Face上选择合适的专家模型。
• 任务执行：调用并执行每个选定的模型，将结果返回给ChatGPT。
• 响应生成：最后，利用ChatGPT整合所有模型的预测，生成最终响应。

系统要求

默认（推荐）

对于configs/config.default.yaml：

• Ubuntu 16.04 LTS
• 显存≥24GB
• 内存>12GB（最低）、16GB（标准）、80GB（完整）
• 磁盘>284GB
  • 42GB用于damo-vilab/text-to-video-ms-1.7b
  • 126GB用于ControlNet
  • 66GB用于stable-diffusion-v1-5
  • 50GB用于其他

最低（精简）

对于configs/config.lite.yaml：

• Ubuntu 16.04 LTS
• 无其他要求

配置文件configs/config.lite.yaml无需下载和本地部署任何专家模型。不过，这意味着Jarvis仅限于在HuggingFace推理端点上稳定运行的模型。

快速开始

首先，将server/configs/config.default.yaml中的openai.key和huggingface.token替换为您的个人OpenAI密钥和您的Hugging Face令牌，或者分别放入环境变量OPENAI_API_KEY和HUGGINGFACE_ACCESS_TOKEN中。然后运行以下命令：

对于服务器：

# 设置环境
cd server
conda create -n jarvis python=3.8
conda activate jarvis
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
pip install -r requirements.txt

# 下载模型。确保已安装`git-lfs`。
cd models
bash download.sh # 当`inference_mode`为`local`或`hybrid`时需要。

# 运行服务器
cd ..
python models_server.py --config configs/config.default.yaml # 当`inference_mode`为`local`或`hybrid`时需要
python awesome_chat.py --config configs/config.default.yaml --mode server # 对于text-davinci-003

现在，您可通过Web API访问Jarvis的服务。

• /hugginggpt --方法POST，访问完整服务。
• /tasks --方法POST，访问第1阶段的中间结果。
• /results --方法POST，访问第1至3阶段的中间结果。

例如：

# 请求
curl --location 'http://localhost:8004/tasks' \
--header 'Content-Type: application/json' \
--data '{
    "messages": [
        {
            "role": "user",
            "content": "根据/examples/d.jpg的姿态和/examples/e.jpg的内容，请给我一张新图"
        }
    ]
}'

# 响应
[{"args":{"image":"/examples/d.jpg"},"dep":[-1],"id":0,"task":"openpose-control"},{"args":{"image":"/examples/e.jpg"},"dep":[-1],"id":1,"task":"image-to-text"},{"args":{"image":"<GENERATED>-0","text":"<GENERATED>-1"},"dep":[1,0],"id":2,"task":"openpose-text-to-image"}]

对于网页：

我们提供了一个友好的网页界面。在以服务器模式启动awesome_chat.py后，您可在浏览器中运行以下命令与Jarvis通信：

• 需要先安装nodejs和npm。
• [重要] 如果您在另一台机器上运行网页客户端，需将http://{LAN_IP_of_the_server}:{port}/设置为web/src/config/index.ts中的HUGGINGGPT_BASE_URL。
• 如果您想使用视频生成功能，需手动编译带有H.264的ffmpeg。
• 您可通过双击设置图标切换到ChatGPT！

cd web
npm install
npm run dev

# 可选：安装ffmpeg

# 此命令需无错误执行。
LD_LIBRARY_PATH=/usr/local/lib /usr/local/bin/ffmpeg -i input.mp4 -vcodec libx264 output.mp4

对于 Gradio

Gradio 演示现在托管在 Hugging Face Space 上。您也可以运行以下命令在本地启动演示：

python models_server.py --config configs/config.gradio.yaml
python run_gradio_demo.py --config configs/config.gradio.yaml

# 或者以 Docker 镜像形式运行 HF Space（使用 `inference_mode=hibrid` 和 `local_deployment=standard` 构建）
docker run -it -p 7860:7860 --platform=linux/amd64 registry.hf.space/microsoft-hugginggpt:latest python app.py

对于 CLI：

您也可以更方便地以 CLI 模式运行 Jarvis：

cd server
python awesome_chat.py --config configs/config.default.yaml --mode cli

CLI 模式的示例：

欢迎来到 Jarvis！这是一个协作系统，由一个大语言模型作为控制器，以及众多专家模型作为协同执行器组成。Jarvis 可以规划任务、调度 Hugging Face 模型、根据您的请求生成友好的回复，并帮助您完成许多事情。请输入您的请求（输入 `exit` 退出）。
[ 用户 ]：给定一组图片 A：/examples/a.jpg，B：/examples/b.jpg，C：/examples/c.jpg，请告诉我这些图片中有多少只斑马？
[ Jarvis ]：根据您的请求，我使用了多个模型处理了您提供的图片。对于图片 A：/examples/a.jpg，我使用了图像到文本模型 nlpconnect/vit-gpt2-image-captioning，生成了文本“一只猫坐在窗台上向外张望”。然后，我使用了目标检测模型 facebook/detr-resnet-50，生成了带有预测框的图片 '/images/a3dc.jpg'，其中包含两个对象，标签分别为‘盆栽植物’和‘猫’。对于图片 B：/examples/b.jpg，我使用了图像到文本模型 nlpconnect/vit-gpt2-image-captioning，生成了文本“两只斑马站在一片干草地上”。然后，我使用了目标检测模型 facebook/detr-resnet-50，生成了带有预测框的图片 '/images/f5df.jpg'，其中包含三个对象，标签分别为‘斑马’。对于图片 C：/examples/c.jpg，我使用了图像到文本模型 nlpconnect/vit-gpt2-image-captioning，生成了文本“一只斑马站在一片高草地上”。然后，我使用了目标检测模型 facebook/detr-resnet-50，生成了带有预测框的图片 '/images/69c7.jpg'，其中包含一个对象，标签为‘斑马’。最后，我使用了 Canny 控制模型 canny-control，基于图片 /examples/f.jpg 生成了图片 '/images/7e18.png'。因此，这些图片中共有四只斑马。还有其他我可以帮您的吗？
[ 用户 ]：请回答句子中的所有命名实体：钢铁侠是美国漫画书中的超级英雄，由漫威漫画出版。这个角色由作家兼编辑斯坦·李共同创作，编剧拉里·利伯开发，艺术家唐·赫克和杰克·科比设计。
[ Jarvis ]：好的，我明白您的请求。根据模型的推理结果，我会逐步回答您的请求。首先，我使用了分词分类模型 dslim/bert-base-NER 来识别句子中的命名实体。推理结果是：钢铁侠、斯坦·李、拉里·利伯、唐·赫克和杰克·科比。然后，我使用了问答模型 deepset/roberta-base-squad2 回答您的请求。推理结果是没有输出，因为上下文不能为空。因此，我无法给出答案。希望这能解答您的疑问。还有其他我可以帮您的吗？
[ 用户 ]：请基于 /examples/f.jpg 生成一张 Canny 图片
[ Jarvis ]：好的。我已经基于 /examples/f.jpg 生成了一张 Canny 图片。为此，我先使用了图像到文本模型 nlpconnect/vit-gpt2-image-captioning，生成了图片的文本描述，即“一群长颈鹿和斑马正在草地上吃草”。然后，我使用了 Canny 控制模型，生成了原始图片的 Canny 图片，存储在路径 “/images/1ea2.png” 中。最后，我使用了 Canny 文本到图像模型 lllyasviel/sd-controlnet-canny，基于文本描述和 Canny 图片生成了最终的 Canny 图片，存储在路径 “/images/ba66.png” 中。您还需要其他帮助吗？

配置

服务器端配置文件为 server/configs/config.default.yaml，部分参数如下所示：

• model: 大语言模型，目前支持 text-davinci-003。我们正在努力集成更多开源大语言模型。
• inference_mode: 推理端点模式
  • local: 仅使用本地推理端点
  • huggingface: 仅使用 Hugging Face 推理端点 （不包含本地推理端点）
  • hybrid: 同时使用 local 和 huggingface
• local_deployment: 本地部署模型的规模，在 local 或 hybrid 推理模式下生效：
  • minimal（内存 > 12GB，仅 ControlNet）
  • standard（内存 > 16GB，ControlNet + 标准流水线）
  • full（内存 > 42GB，所有已注册模型）

在个人笔记本电脑上，我们推荐使用 inference_mode: hybrid 和 local_deployment: minimal 的配置。但在此设置下可用的模型可能受限，因为远程 Hugging Face 推理端点不够稳定。

NVIDIA Jetson 嵌入式设备支持

我们提供了一个 Dockerfile，用于实验性支持 NVIDIA Jetson 嵌入式设备。该镜像提供了加速的 ffmpeg、PyTorch、Torchaudio 和 torchvision 依赖库。要构建 Docker 镜像，请确保默认的 Docker 运行时设置为 ‘nvidia’（参见 NVIDIA/nvidia-docker Wiki）。预构建的镜像可在 https://hub.docker.com/r/toolboc/nv-jarvis 提供。

# 构建 Docker 镜像
docker build --pull --rm -f "Dockerfile.jetson" -t toolboc/nv-jarvis:r35.2.1 

由于内存需求，JARVIS 必须在 Jetson AGX Orin 系列设备上运行（优先选择板载内存 64G 的设备），并设置以下配置选项：

• inference_mode: local
• local_deployment: standard

建议通过卷挂载的方式将模型和配置从主机传递到容器中，如下面的 docker run 步骤所示。您也可以取消注释 Dockerfile 中的 # 下载本地模型 部分，以构建包含模型的容器。

在 Jetson Orin AGX 上启动模型服务器、awesomechat 和 Web 应用程序

# 运行容器，它会自动启动模型服务器
docker run --name jarvis --net=host --gpus all -v ~/jarvis/configs:/app/server/configs -v ~/src/JARVIS/server/models:/app/server/models toolboc/nv-jarvis:r35.2.1

# （等待模型服务器完成初始化）

# 启动 awesome_chat.py 
docker exec jarvis python3 awesome_chat.py --config configs/config.default.yaml --mode server

#启动Web应用（应用可通过http://localhost:9999访问）
docker exec jarvis npm run dev --prefix=/app/web

截图

引用

如果您在自己的方法中使用了本工作，可参考以下论文进行引用：

@inproceedings{shen2023hugginggpt,
  author = {沈永亮、宋凯涛、谭旭、李东升、陆伟明、庄宇婷},
  booktitle = {神经信息处理系统进展},
  title = {HuggingGPT：利用ChatGPT及其HuggingFace伙伴解决AI任务},
  year = {2023}
}

@article{shen2023taskbench,
  title   = {TaskBench：面向任务自动化的大型语言模型基准测试},
  author  = {沈永亮、宋凯涛、谭旭、张文琪、任侃、袁思宇、陆伟明、李东升、庄宇婷},
  journal = {arXiv预印本 arXiv:2311.18760},
  year    = {2023}
}

@article{yuan2024easytool,
  title   = {EASYTOOL：以简洁工具指令增强基于大语言模型的智能体},
  author  = {袁思宇、宋凯涛、陈江杰、谭旭、沈永亮、任侃、李东升、杨德庆},
  journal = {arXiv预印本 arXiv:2401.06201},
  year    = {2024}
}

JARVIS 快速上手指南

环境准备

系统要求

• 默认配置（推荐）：
  • 操作系统：Ubuntu 16.04 LTS
  • 显存：≥24GB
  • 内存：≥12GB（最低），16GB（标准），80GB（完整）
  • 磁盘空间：≥284GB（含多个模型文件）
• 最小配置（Lite）：
  • 操作系统：Ubuntu 16.04 LTS
  • 其他无需额外配置（依赖Hugging Face远程推理服务）

前置依赖

• git-lfs（用于下载大模型文件）
• Conda（推荐Miniconda）
• Python 3.8
• Node.js 和 npm（Web界面需要）
• ffmpeg（视频生成需要，需支持H.264编码）

国内加速建议

• PyTorch安装使用清华源：
  conda install ... -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
• pip安装时使用清华源：
  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
• Hugging Face模型下载设置镜像：
  export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆仓库并进入server目录：

   git clone https://github.com/microsoft/HuggingGPT.git
   cd HuggingGPT/server
   

2. 创建conda环境并安装依赖：

   conda create -n jarvis python=3.8
   conda activate jarvis
   conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置API密钥：

   • 将OpenAI Key和Hugging Face Token填入server/configs/config.default.yaml，或设置环境变量：

     export OPENAI_API_KEY=your_openai_key
     export HUGGINGFACE_ACCESS_TOKEN=your_hf_token
     

4. 下载模型（仅当使用默认配置且inference_mode为local/hybrid时）：

   cd models
   bash download.sh
   

基本使用

Server模式

# 启动模型服务器（默认配置）
python models_server.py --config configs/config.default.yaml
# 启动聊天服务
python awesome_chat.py --config configs/config.default.yaml --mode server

Web API示例：

curl --location 'http://localhost:8004/tasks' \
--header 'Content-Type: application/json' \
--data '{
    "messages": [
        {
            "role": "user",
            "content": "based on pose of /examples/d.jpg and content of /examples/e.jpg, please show me a new image"
        }
    ]
}'

Web界面

cd web
npm install
npm run dev

注意：若在其他机器访问，需修改web/src/config/index.ts中的HUGGINGGPT_BASE_URL为服务器IP和端口

CLI模式（最简单体验）

python awesome_chat.py --config configs/config.default.yaml --mode cli

示例交互：

Welcome to Jarvis! ...
[ User ]: 请统计图片a.jpg、b.jpg、c.jpg中斑马的数量
[ Jarvis ]: 根据模型处理结果，图片中斑马数量为4只...