GMTalker

English | 中文

---

GMTalker，一款由虚幻引擎渲染的交互式数字人，由光明实验室媒体智能团队开发。该系统集成了语音识别、语音合成、自然语言理解和唇形同步动画驱动等功能，支持在Windows上快速部署，且整个项目运行仅需2GB显存。它还可以部署在Windows、Linux和Android平台上。本项目展示了3D卡通数字人形象的演示效果，适用于展示、扩展及商业集成。

系统架构图

🧱 功能特性

• 跨平台：使用单一代码库即可部署于Windows、Linux和Android。
• 离线实时：完全离线流式对话，响应时间可达毫秒级。
• 智能交互：支持唤醒、打断及语音克隆功能。
• 模型灵活：兼容大语言模型、自定义Agent以及本地知识库。
• 头像自定义：可定制角色，具备唇形同步和微表情功能。
• 快速搭建：后端配置简单，无需额外依赖。
• 硬件支持：可在华为Ascend NPU或纯CPU模式下运行。

🔥 最新动态

• 🗓️ 2025年10月15日：后端现已支持Docker部署，详情请参阅Docker文档。
• 🗓️ 2025年10月10日：现全面支持GPU和NPU 910B服务器。FunASR语音识别基于ONNX Runtime，而TTS语音合成则利用torch_npu。
• 🗓️ 2025年9月12日：项目现已全面支持Android、Linux、Web和Windows平台，客户端无需配备GPU。
• 🗓️ 2025年9月1日：升级了模型，引入轻量级唇形同步驱动，并将完整的UE项目打包成独立可执行文件（.exe），使其能够在普通笔记本电脑上流畅运行。
• 🗓️ 2025年8月25日：更新了导入UE头像 | 角色概述 | 动画概述等文档。
• 🗓️ 2025年8月19日：发布了UE5项目文件，其中包括光DUNDUN角色。 （由光明实验室与深圳市光明区政府联合开发）。
• 🗓️ 2025年8月12日：新增了WebUI使用指南，便于快速部署项目。

💬 加入我们的社区

扫描二维码加入GMTalker技术交流群

📦 快速入门

配置好后端后，下载安装包即可启动应用。借助FunASR和MeloTTS，只需一键即可启动，无需额外环境设置或依赖项。

​​硬件要求​

• 操作系统：Windows 10及以上 / Linux
• 内存：8GB及以上RAM
• GPU支持：最低2GB显存（推荐配备CUDA支持的NVIDIA GPU）

1. 克隆项目

git clone  https://github.com/feima09/GMTalker.git

2. 一键启动

Windows:

webui.bat

Linux:

chmod +x webui.sh
./webui.sh

Docker部署（推荐）：

# 使用docker-compose
docker-compose up -d

# 或者使用 Docker CLI
docker run -d \
  --name gmtalker \
  -p 5002:5002 -p 7860:7860 \
  -v $(pwd)/configs:/app/configs \
  huiji2333/gmtalker:latest

👉 Docker 部署指南

3. 访问服务

• 主服务：http://127.0.0.1:5002
• Web 配置界面：http://127.0.0.1:7860

👉 点击此处查看 WebUI 用户指南

4. 下载 UE 可执行文件

• 下载并启动 GLM3.exe Windows 版 Google Drive Windows 版百度网盘 Linux 版 Google Drive Linux 版百度网盘

5. 部署本地必备 AI 服务

• 下载 FunASR 语音识别懒人包这里，然后运行 run_server_2pass.bat 即可一键启动。
• 下载 MeloTTS 语音合成懒人包这里，然后运行 start.bat 即可一键启动。

👉 如果需要从源码开发，请点击此处查看完整的安装指南，请参阅后端整体架构

📊 与其他开源方案对比

项目名称	3D 头像	UE5 渲染	语音输入	语音打断	唇形同步	身体动作	本地部署（Win）	星标 ⭐
LiveTalking	❌	❌	❌	❌	✅	❌	❌	6.1k
OpenAvatarChat	✅	❌	✅	❌	✅	❌	❌	1.6k
MNN	✅	❌	✅	❌	✅	✅	❌	12.6k
Fay	❌	✅	✅	✅	✅	✅	✅	11.6k
GMTalker	✅	✅	✅	✅	✅	✅	✅	🚀

✅ 表示完全支持该功能，而 ❌ 表示缺失或不支持。

📚 关于光明实验室

广东省人工智能与数字经济实验室（深圳）（以下简称“光明实验室”）是广东省政府批准建设的第三批省级实验室之一。实验室聚焦全球人工智能和数字经济领域的前沿理论与未来技术趋势，致力于服务国家重大发展战略和重要需求。

依托深圳的产业、区位和政策优势，光明实验室汇聚全球科研力量，充分发挥科技创新资源的集聚效应。围绕构建国内人工智能算力生态的核心任务，以多模态人工智能技术及其应用生态发展为驱动，实验室努力突破关键技术，产出原创成果，持续推动技术创新与产业赋能。

实验室的目标是加速人工智能技术的多元化应用供给和全场景渗透，实现技术创新与产业驱动力的相互促进，不断推动以人工智能为动力的新质生产力的形成。

---

🌐 联系我们（项目合作）

• 官网：光明实验室官方网站
• 邮箱：mafei@gml.ac.cn/xuhongbo@gml.ac.cn

致谢
感谢所有参与 GMTalker 项目开发和支持的团队成员及合作伙伴。（马飞、徐洪波、李明辉、罗一鸣、朱海俊、卓义尧、宋超）

许可证

本项目采用 知识共享署名-非商业性使用 4.0 国际许可协议（CC BY-NC 4.0） 许可。

您可以在非商业用途的前提下自由使用、修改和分享代码及资源，但需适当注明出处。

🔗 完整许可文本
🔍 通俗易懂的摘要

GMTalker 快速上手指南

GMTalker 是由光明实验室媒体智能团队开发的交互式数字人项目，基于 Unreal Engine 5 渲染，集成了语音识别、语音合成、大语言模型理解及唇形驱动动画。该项目支持跨平台部署（Windows/Linux/Android），最低仅需 2GB 显存即可运行，适合快速构建 3D 卡通数字人应用。

1. 环境准备

系统要求

• 操作系统：Windows 10+ 或 Linux
• 内存：8GB RAM 及以上
• 显卡：推荐 NVIDIA GPU（支持 CUDA），最低显存要求 2GB
  • 注：也支持华为昇腾 NPU 或纯 CPU 模式运行
• 网络：首次运行需下载模型文件，建议保持网络畅通

前置依赖

本项目后端已封装为独立包，无需手动配置 Python 环境或安装额外依赖。只需下载对应的懒人包即可一键启动核心服务。

2. 安装步骤

第一步：克隆项目代码

git clone https://github.com/feima09/GMTalker.git
cd GMTalker

第二步：下载并启动核心 AI 服务

你需要分别下载语音识别（FunASR）和语音合成（MeloTTS）的离线包。国内用户可使用以下方案：

1. 下载 FunASR 语音识别包

   • 下载地址：GitHub Release
   • 解压后，双击运行 run_server_2pass.bat (Windows) 或执行对应脚本启动服务。

2. 下载 MeloTTS 语音合成包

   • 下载地址：GitHub Release
   • 解压后，双击运行 start.bat (Windows) 或执行对应脚本启动服务。

第三步：启动 WebUI 管理界面

返回项目根目录，根据系统选择启动命令：

Windows:

webui.bat

Linux:

chmod +x webui.sh
./webui.sh

Docker 部署（推荐）:

docker run -d \
  --name gmtalker \
  -p 5002:5002 -p 7860:7860 \
  -v $(pwd)/configs:/app/configs \
  huiji2333/gmtalker:latest

3. 基本使用

访问服务

启动成功后，在浏览器中打开以下地址：

• 主服务接口：http://127.0.0.1:5002
• Web 配置界面：http://127.0.0.1:7860

  在 Web 配置界面中可调整模型参数、角色设置及知识库连接。

运行 3D 数字人客户端

要看到完整的 3D 卡通形象交互效果，需下载编译好的 UE5 执行程序：

• Windows 版：
  • Google Drive 下载
  • 百度网盘下载 (提取码: w2sb)
• Linux 版：
  • Google Drive 下载
  • 百度网盘下载 (提取码: kit5)

下载并解压后，直接运行 GLM3.exe (Windows) 或对应 Linux 可执行文件。程序将自动连接本地后端服务，此时你对着麦克风说话，屏幕上的 3D 角色（如“光墩墩”）将进行实时语音对话、唇形同步及肢体动作反馈。

提示：确保第二步中的 FunASR 和 MeloTTS 服务以及第三步的 WebUI 均在运行状态下，客户端才能正常交互。