🚀🚀🚀 Duix Avatar — 真正开源的离线视频生成和数字人克隆 AI 头像工具包

🔗 官方网站： www.duix.com

目录

1. 什么是 Duix.Avatar
2. 简介
3. 本地运行指南
4. 开放 API
5. 更新日志
6. 常见问题
7. 如何实时交互
8. 联系方式
9. 许可证
10. 致谢
11. 星标历史

---

1. 什么是 Duix.Avatar

Duix.Avatar 是由 Duix.com 开发的一款免费开源的 AI (人工智能) 头像项目。

七年前，一群年轻的先驱者选择了一条非传统的技术路径，开发了一种使用真人视频数据训练数字人模型的方法。与传统的昂贵 3D 数字人方法不同，我们利用 AI 生成技术创建了超逼真的数字人，将制作成本从数十万美元降低到仅需 1000 美元。这一创新已赋能超过 10,000 家企业，并为教育者、内容创作者、法律专家、医疗从业者及企业家等各行各业的专业人士生成了超过 500,000 个个性化头像，极大地提高了他们的视频制作效率。然而，我们的愿景不仅限于商业应用。我们相信这项变革性技术应惠及每个人。为了普及数字人创作，我们开源了我们的克隆技术和视频制作框架。我们的承诺始终如一：打破技术壁垒，让尖端工具触手可及。现在，任何人只要有电脑，就可以免费制作自己的 AI 头像并零成本制作视频——这就是 Duix.Avatar 的核心精髓。

2. 简介

Duix.Avatar 是一款专为 Windows 系统设计的完全离线视频合成工具，能够精确克隆您的外貌和声音，实现您形象的数字化。您可以通过文本和语音驱动虚拟头像来创建视频。无需互联网连接，在享受便捷高效数字体验的同时保护您的隐私。

• 核心功能
  • 精确外貌与声音克隆：利用先进的 AI 算法高精度捕捉人类面部特征，包括五官、轮廓等，构建逼真的虚拟模型。它还能精确克隆声音，捕捉并重现人类声音的细微特征，支持多种声音参数设置，以创造高度相似的克隆效果。
  • 文本与语音驱动的虚拟头像：通过自然语言处理 (NLP) 技术理解文本内容，将文本转换为自然流畅的语音以驱动虚拟头像。也可以直接使用语音输入，允许虚拟头像根据语音的节奏和语调执行相应的动作和面部表情，使虚拟头像的表演更加自然生动。
  • 高效视频合成：高度同步数字人视频图像与声音，实现自然流畅的口型同步，智能优化音视频同步效果。
  • 多语言支持：脚本支持八种语言——英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语。
• 关键优势
  • 完全离线运行：无需互联网连接，有效保护用户隐私，允许用户在安全独立的环境中创作，避免网络传输过程中潜在的数据泄露。
  • 用户友好：界面简洁直观，即使是没有技术背景的初学者也能轻松上手，快速掌握软件用法，开启数字人创作之旅。
  • 多模型支持：支持导入多个模型并通过一键启动包进行管理，方便用户根据不同的创作需求和应用场景选择合适的模型。
• 技术支持
  • 声音克隆技术：利用人工智能等先进技术，基于给定的声音样本生成相似或相同的声音，涵盖语境、语调、语速等语音方面。
  • 自动语音识别 (ASR)：将人类语音词汇内容转换为计算机可读的输入（文本格式），使计算机能够“理解”人类语音的技术。
  • 计算机视觉技术：用于视频合成中的视觉处理，包括人脸识别和唇部运动分析，确保虚拟头像的唇部运动与语音和文本内容相匹配。

3. 本地运行指南

Duix.Avatar 支持基于 Docker (容器引擎) 的快速部署。部署前，请确保您的硬件和软件环境满足指定要求。

Duix.Avatar 支持两种部署模式：Windows / Ubuntu 22.04 安装

依赖项

1. Nodejs 18
2. Docker 镜像
   • docker pull guiji2025/fun-asr
   • docker pull guiji2025/fish-speech-ziming
   • docker pull guiji2025/duix.avatar

模式 1：Windows 安装

系统要求：

• 目前支持 Windows 10 19042.1526 或更高版本

硬件要求：

• 必须拥有 D 盘：主要用于存储数字人和项目数据

  • 剩余空间要求：大于 30GB

• C 盘：用于存储服务镜像文件

  • 剩余空间要求：大于 100GB

  • 如果可用空间少于 100GB，在安装 Docker（容器引擎）后，您可以选择下方所示位置的其他磁盘文件夹，该文件夹需有超过 100GB 的剩余空间。

    

• 推荐配置：

  • 处理器：第 13 代 Intel Core i5-13400F
  • 内存：32GB
  • 显卡：RTX 4070

• 确保您拥有 NVIDIA 显卡且驱动程序已正确安装

  NVIDIA 驱动程序下载链接：https://www.nvidia.cn/drivers/lookup/

  

安装 Windows Docker

1. 使用命令 wsl --list --verbose 检查是否已安装 WSL（Windows 子系统 for Linux）。如果显示如下，则表示已安装，无需进一步安装。

   

2. 使用 wsl --update 更新 WSL。

   

3. 下载 Docker for Windows，根据您的 CPU 架构选择合适的安装包。

4. 看到此界面时，表示安装成功。

   

5. 运行 Docker

   

6. 首次运行时接受协议并跳过登录

   

   

   

安装服务器

使用 Docker 和 docker-compose（编排工具）进行安装，步骤如下：

1. docker-compose.yml 文件位于 /deploy 目录中。

2. 在 /deploy 目录下执行 docker-compose up -d，如果您想使用精简版，请执行 docker-compose -f docker-compose-lite.yml up -d

3. 请耐心等待（约半小时，速度取决于网络），下载将消耗约 70GB 流量，请确保使用 WiFi

4. 当您在 Docker 中看到三个服务时，表示成功（精简版只有一个服务 Duix.Avatar-gen-video）

   

NVIDIA 50 系列显卡的服务器部署方案

对于 50 系列显卡（经测试，配合 CUDA 12.8 也适用于 30/40 系列），使用 PyTorch（深度学习框架）官方预览版。

客户端

1. 直接下载 官方构建的安装包
2. 双击 Duix.Avatar-x.x.x-setup.exe 进行安装

模式 2：Ubuntu 22.04 安装

系统要求：

我们在 Ubuntu 22.04 上进行了完整测试。理论上，它支持桌面 Linux 发行版。

硬件要求：

• 推荐配置
• 处理器：第 13 代 Intel Core i5 - 13400F
• 内存：32G 或更多（必需）
• 显卡：RTX - 4070（确保您拥有 NVIDIA 显卡且显卡驱动程序已正确安装）
• 硬盘：剩余空间大于 100G

安装 Docker：

首先，使用 docker --version 检查是否已安装 Docker。如果已安装，请跳过以下步骤。

sudo apt update
sudo apt install docker.io
sudo apt install docker-compose

安装显卡驱动：

1. 参考官方文档安装显卡驱动 (https://www.nvidia.cn/drivers/lookup/)。

安装完成后，执行 nvidia-smi 命令。如果显示了显卡信息，则安装成功。

2. 安装 NVIDIA Container Toolkit

NVIDIA Container Toolkit 是 Docker 使用 NVIDIA GPU（图形处理器）所必需的工具。安装步骤如下：

• 添加 NVIDIA 软件源仓库：

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
  && curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \
  && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

• 更新软件包列表并安装工具包：

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

• 配置 Docker 使用 NVIDIA 运行时：

sudo nvidia-ctk runtime configure --runtime=docker

• 重启 Docker 服务：

sudo systemctl restart docker

安装服务器

cd /deploy
docker-compose -f docker-compose-linux.yml up -d

安装客户端

1. 直接下载 Linux 版本的 官方构建的安装包。
2. 双击 Duix.Avatar-x.x.x.AppImage 启动它。无需安装。

注意：在 Ubuntu 系统中，如果您以 root 用户身份进入桌面，直接双击 Duix.Avatar - x.x.x.AppImage 可能无法运行。您需要在命令行终端中执行 ./Duix.Avatar - x.x.x.AppImage --no - sandbox。添加 --no - sandbox 参数即可解决。（注：沙箱模式限制）

4. 开放 API

我们已开放用于模型训练和视频合成的 API。Docker 启动后，将暴露几个本地端口，可通过 http://127.0.0.1 访问。

具体代码请参考：

• src/main/service/model.js
• src/main/service/video.js
• src/main/service/voice.js

模型训练

1. 将视频分离为无声视频 + 音频

2. 将音频放置于

   D:\duix_avatar_data\voice\data 与 guiji2025/fish-speech-ziming 服务约定一致，可在 docker-compose 中修改

3. 调用接口

   参数示例：响应示例：记录响应结果，因为后续音频合成需要用到

音频合成

接口：http://127.0.0.1:18180/v1/invoke

// 请求参数
{
  "speaker": "{uuid}", // 唯一的 UUID（通用唯一识别码）
  "text": "xxxxxxxxxx", // 要合成的文本内容
  "format": "wav", // 固定参数
  "topP": 0.7, // 固定参数
  "max_new_tokens": 1024, // 固定参数
  "chunk_length": 100, // 固定参数
  "repetition_penalty": 1.2, // 固定参数
  "temperature": 0.7, // 固定参数
  "need_asr": false, // 固定参数
  "streaming": false, // 固定参数
  "is_fixed_seed": 0, // 固定参数
  "is_norm": 0, // 固定参数
  "reference_audio": "{voice.asr_format_audio_url}", // 前一步“模型训练”步骤的返回值
  "reference_text": "{voice.reference_audio_text}" // 前一步“模型训练”步骤的返回值
}

视频合成

• 合成接口：http://127.0.0.1:8383/easy/submit

  // Request parameters
  {
    "audio_url": "{audioPath}", // Audio path
    "video_url": "{videoPath}", // Video path
    "code": "{uuid}", // Unique key
    "chaofen": 0, // Fixed value
    "watermark_switch": 0, // Fixed value
    "pn": 1 // Fixed value
  }
  

• 进度查询：http://127.0.0.1:8383/easy/query?code=${taskCode}

GET 请求，参数 taskCode 为上述合成接口输入中的 code

致开发者合作伙伴的重要通知

我们现在宣布两种并行的服务解决方案：

项目	Duix.Avatar Open Source（开源）本地部署	数字人/克隆语音 API（应用程序编程接口）服务
用途	Open Source（开源）本地部署	快速克隆 API 服务
推荐人群	技术用户	商业用户
技术门槛	具有深度学习框架经验的开发者/追求深度定制/希望参与社区共建	快速业务集成/专注于上层应用开发/需要企业级 SLA（服务等级协议）保障的商业场景
硬件要求	需购买 GPU（图形处理器）服务器	无需购买 GPU 服务器
定制化能力	可根据需求修改和扩展代码，完全控制软件的功能和行为	无法直接修改源代码，只能通过 API 提供的接口扩展功能，灵活性不如开源项目
技术支持	社区支持	动态扩展支持 + 专业技术响应团队
维护成本	高维护成本	简单维护
唇形同步效果	可用效果	惊艳且更高清的效果
商业授权	支持全球免费商用（用户超过 10 万或年营收超过 1000 万美元的企业需签署商业许可协议）	允许商用
迭代速度	更新慢，bug 修复依赖社区	优先使用最新模型/算法，问题解决速度快

我们始终秉持开源精神，推出 API 服务旨在为不同需求的开发者提供更完整的解决方案矩阵。无论您选择哪种方式，都可以通过 https://duix.com 获取技术支持文档

我们期待与您携手，共同推动数字人技术的普惠发展！

您可以在官网与 Duix.Avatar 数字人聊天：https://duix.com/

我们也在 DUIX 平台提供 API：https://docs.duix.com/api-reference/api/Introduction

5. 更新内容

[NVIDIA（英伟达）50 系列 GPU（图形处理器）版本通知]

1. 已在 5090 GPU 上测试验证
2. 安装说明请参见 NVIDIA 50 系列显卡服务器部署方案

[新版 Ubuntu 版本通知]

Ubuntu 版本正式发布

1. 已完成对 Ubuntu 22.04 桌面版（内核 6.8.0-52-generic）的适配和验证工作。尚未对其他 Linux 版本进行兼容性测试。
2. 客户端程序界面增加了国际化（英文）支持。
3. 修复了一些已知问题
   • #304
   • #292
4. Ubuntu22.04 安装文档

6. 常见问题解答

提问前自查步骤

1. 检查所有三项服务是否处于 Running（运行）状态

   

2. 确认您的机器拥有 NVIDIA 显卡且驱动程序正确安装。

本项目的所有算力均为本地计算。如果没有 NVIDIA 显卡或正确的驱动程序，这三项服务将无法启动。

3. 确保服务端和客户端均已更新至最新版本。该项目刚开源，社区非常活跃，更新频繁。您的问题可能在新版本中已得到解决。
   • 服务端：进入 /deploy 目录并重新执行 docker-compose up -d
   • 客户端：pull 代码并重新 build
4. GitHub Issue（问题单） 持续更新，每天都有问题被解决和关闭。请经常查看，您的问题可能已经解决了。

问题模板

1. 问题描述

详细描述复现步骤，如有可能请附上截图。

2. 提供错误日志

   • 如何获取客户端日志：

     

   • 服务端日志：

     找到关键位置，或者点击我们的三个 Docker 服务，并按下图所示“复制”。

     

7. 如何实时交互

Duix.Avatar 数字人实现了数字人克隆和非实时视频合成。

如果您希望数字人支持交互，可以访问 duix.com 体验免费试用。

8. 联系方式

如有任何问题，请提交 Issue 或联系我们 james@duix.com

9. 许可证

https://github.com/duixcom/Duix.Avatar/blob/main/LICENSE

10. 致谢

• ASR（自动语音识别）基于 fun-asr
• TTS（文本转语音）基于 fish-speech-ziming

11. Star 历史

GitHub Star 历史

Duix-Avatar 快速上手指南

Duix-Avatar 是一款完全离线的 AI 数字人视频合成工具，支持 Windows 和 Ubuntu 系统。它利用 AI 技术克隆您的外貌与声音，通过文本或语音驱动虚拟形象生成视频，无需联网即可保护隐私。

1. 环境准备

在开始之前，请确保您的硬件和软件环境满足以下要求：

系统要求

• 操作系统：Windows 10 (版本 19042.1526 及以上) 或 Ubuntu 22.04。
• 显卡：NVIDIA 显卡（推荐 RTX 4070 或更高），需正确安装驱动。
• 内存：建议 32GB 或以上。
• 硬盘空间：
  • C 盘：剩余空间大于 100GB（用于存储服务镜像）。
  • D 盘：剩余空间大于 30GB（用于存储数字人和项目数据）。

前置依赖

• Node.js：版本 18。
• Docker：已安装并运行。
• Docker Compose：已安装。

注意：首次拉取镜像约消耗 70GB 流量，建议使用 WiFi 网络。

---

2. 安装步骤

第一步：配置 Docker 与驱动

Windows 用户

1. 检查并更新 WSL：

   wsl --list --verbose
   wsl --update
   

2. 下载并安装 Docker Desktop。
3. 启动 Docker，接受协议并跳过登录。

Ubuntu 用户

1. 安装 Docker：

   sudo apt update
   sudo apt install docker.io
   sudo apt install docker-compose
   

2. 安装 NVIDIA 驱动及容器工具包：

   distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
     && curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \
     && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   sudo apt-get install -y nvidia-container-toolkit
   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker
   

第二步：部署服务器端

进入项目 /deploy 目录，执行以下命令启动服务：

cd /deploy
docker-compose up -d

(如需使用精简版 lite version，可执行 docker-compose -f docker-compose-lite.yml up -d)

等待约半小时，直到 Docker 显示三个服务运行成功（Lite 版为一个服务）。

第三步：安装客户端

• Windows：下载官方安装包 Duix.Avatar-x.x.x-setup.exe 并双击安装。
• Ubuntu：下载 Duix.Avatar-x.x.x.AppImage。若以 root 用户运行失败，请在终端执行：

  ./Duix.Avatar-x.x.x.AppImage --no-sandbox
  

---

3. 基本使用

部署完成后，所有功能均为本地离线运行。您可通过以下方式交互：

1. 访问本地接口

服务启动后，API 将在本地暴露，默认地址为 http://127.0.0.1。

2. 核心 API 调用示例

参考源码 src/main/service/ 获取详细参数，以下为音频合成接口示例：

接口地址：http://127.0.0.1:18180/v1/invoke

请求参数：

{
  "speaker": "{uuid}", 
  "text": "xxxxxxxxxx", 
  "format": "wav", 
  "topP": 0.7, 
  "max_new_tokens": 1024, 
  "chunk_length": 100, 
  "repetition_penalty": 1.2, 
  "temperature": 0.7, 
  "need_asr": false, 
  "streaming": false, 
  "is_fixed_seed": 0, 
  "is_norm": 0, 
  "reference_audio": "{voice.asr_format_audio_url}", 
  "reference_text": "{voice.reference_audio_text}"
}

3. 视频合成

视频合成接口位于 http://127.0.0.1:8383/easy/submit，需传入生成的音频路径和视频路径进行驱动合成。

提示：首次使用前，请确保按照文档指引完成模型训练（将音频放入 D:\duix_avatar_data\voice\data 等指定目录）。