概述 😄📜

交互式 LLM 驱动的 NPC 是一个开源项目，它彻底改变了你在任何游戏中与非玩家角色（NPC）的互动方式！通过这个项目，你可以使用麦克风直接与游戏中的任何 NPC 对话。

该项目利用 sadtalker 同步角色的口型动作，结合面部识别技术来区分不同的角色；借助向量存储为 NPC 提供无限的记忆容量，并通过预对话文件来塑造每个角色的对话风格。系统会分析你正在互动的具体 NPC，包括其性格、知识和沟通方式，从而做出相应的调整。此外，NPC 还能通过你的摄像头感知你的面部表情，为互动增添了更多层次感。

本项目主要针对已发布的游戏，如《赛博朋克 2077》、《刺客信条》系列、《GTA 5》等热门开放世界作品。这些游戏拥有丰富的 NPC 和精美的场景，却一直缺少一项关键功能——让玩家能够与任意想交谈的 NPC 展开对话。而我们的项目正是为了填补这一空白，为这些游戏带来沉浸式的对话体验，让玩家充分挖掘虚拟世界的潜力。我们的目标是提升那些不太可能由原开发商添加此功能的游戏的体验。

该项目的一大亮点在于其高度的通用性。你无需修改游戏源代码或进行复杂的模组制作，只需替换游戏中生成的面部像素，即可将面部动画无缝融入你的游戏环境。

无论是在《刺客信条：英灵殿》中探索古老的地下城，还是在《赛博朋克 2077》的霓虹街道上漫步，交互式 LLM 驱动的 NPC 都能将你的游戏体验提升到全新的高度。准备好迎接引人入胜、逼真且富有意义的 NPC 互动吧！

演示 🚀✨

演示链接：https://twitter.com/Akshit2089/status/1673687342438051847

讲解视频： https://twitter.com/cohere/status/1687131527174672384

教程视频：https://youtu.be/6SHTlKYKCbs

Discord 社区：https://discord.gg/CfK7DCWKwy

工作原理 🤔💭

该项目的功能如同它所实现的对话一样令人着迷。以下是交互式 LLM 驱动的 NPC 如何发挥其魔力的详细说明：

🎙️ 麦克风输入：对着麦克风说话，你的语音会被转换成文本。

👥 面部识别：系统利用面部识别技术确定你正在与哪个 NPC 互动，无论是背景角色还是重要配角。

🔍 角色识别：根据对话内容和角色识别结果，系统会为背景 NPC 自动生成独特的个性和名称；而对于重要角色，则会调取其特定的性格特征和知识储备。

🧠 LLM 集成：转录后的文本和角色信息会被传递给大型语言模型（LLM），LLM 会基于上下文生成回复。同时，LLM 还会参考包含角色专属及世界相关信息的向量存储。

📁 预对话文件：为了确保 NPC 的对话更加真实自然，项目会使用 pre-conversation.json 文件，其中包含了角色的经典台词以及体现其说话风格的语句。在生成回复时，系统会从该文件中随机选取部分台词传递给 LLM，从而使对话更加生动流畅。

🗣️ 面部动画与语音合成：LLM 生成的回复会通过文本转语音技术转化为语音，随后再结合提取出的 NPC 面部图像生成一段面部动画视频。

🕹️ 与游戏集成：面部动画视频和音频会被无缝地整合进游戏中，方法是用生成的面部动画替换掉原本显示的 NPC 面部像素，使 NPC 看起来就像在自然地说话一样。

😃 情绪识别：系统会通过你的摄像头捕捉你的面部表情，以便 NPC 能够据此调整自己的回应，从而打造更个性化、更沉浸式的互动体验。

🐎 非视觉互动：该项目不仅限于面对面的对话，即使 NPC 的面部不可见，比如在骑马或激烈战斗时，也能实现互动。只需先说出 NPC 的名字，再开始对话，系统便会按照同样的流程进行语音转文字、生成回复并将其转换为语音，从而提供流畅无阻的对话体验，即便是在紧张刺激的动作场景中也不例外。因此，无论你是策马奔腾于乡间，还是与强大的敌人激战，都可以随时与 NPC 交流，享受完整的交互式对话功能。

🌐 游戏兼容性：本项目可无缝适配任何游戏，无需对游戏进行任何修改或更改其源代码。

先决条件 🚀🔧

🐍 Python 3.10.6

你可以从这里下载并安装该版本的 Python：https://www.python.org/downloads/release/python-3106/

请注意，在运行安装程序时务必勾选“将 Python 添加到 PATH”选项。

🐙 GIT

安装 GIT 版本控制系统，以便轻松管理代码并与他人协作。https://git-scm.com/downloads

🌐 wget

安装 wget 命令行工具，方便从网络下载文件。

🛠️🔍 Microsoft 构建工具和 Visual Studio

安装 Microsoft 构建工具和 Visual Studio，它们对于在 Windows 上编译和构建项目至关重要。

https://visualstudio.microsoft.com/downloads/?q=build+tools#visual-studio-professional-2022

https://visualstudio.microsoft.com/downloads/?q=build+tools#build-tools-for-visual-studio-2022

🎥🔊 FFmpeg

安装 FFmpeg 强大的多媒体框架，用于处理音频和视频任务。

请按照以下指南操作：https://www.wikihow.com/Install-FFmpeg-on-Windows

安装 🔌✨

1. 打开终端。
2. 通过执行以下命令克隆仓库：

git clone https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs.git

3. 进入克隆下来的仓库目录：

cd Interactive-LLM-Powered-NPCs

4. 创建一个名为 .venv 的 Python 虚拟环境：

python -m venv .venv

5. 激活虚拟环境：

.venv\scripts\activate

6. 安装所需的依赖包：

pip install -r requirements.txt

7. 打开 Git Bash 终端。
8. 切换到 Interactive-LLM-Powered-NPCs 文件夹：
9. 进入 Sadtalker 目录：

cd sadtalker

10. 下载必要的模型：

bash scripts/download_models.sh

11. 在文件浏览器中打开 sadtalker 目录，找到名为 webui.bat 的文件并双击运行。这将创建另一个名为 venv 的 Python 环境。等待出现“WebUI 已启动”的提示后，关闭由 webui.bat 打开的终端窗口。

12. 注册一个 Cohere 账号（免费），并将你的 Cohere 试用 API 密钥添加到 apikeys.json 文件中。（可选：如果你有 GPT-4 的访问权限并希望使用它，需要对代码进行一些小的修改）

13. 删除 video_temp 和 temp 文件夹内的所有文件和子文件夹。

安装支持 Jupyter Notebook 的 VS Code 👨‍💻📔

在你的设备上下载并安装 Visual Studio Code。点击左侧边栏中的扩展图标，它看起来像由四个小方块组成的正方形。在扩展面板中，使用顶部的搜索栏搜索“Jupyter”。在搜索结果中找到微软提供的“Jupyter”扩展，并点击其旁边的“安装”按钮。该扩展将为 Visual Studio Code 添加 Jupyter Notebook 支持。然后安装 Python 扩展。打开终端，导航到项目根目录——即包含项目文件的主文件夹。在终端中输入 code . 并按回车键。此命令将在 Visual Studio Code 中打开当前目录。你也可以使用 Visual Studio Code 的文件资源管理器导航到项目根目录。项目在 Visual Studio Code 中打开后，你应该能在编辑器右侧看到项目文件。

运行 Jupyter Notebook 时，请确保选择内核为 .venv（位于右上角）。如果看不到选择 .venv 的选项，可以点击“文件”，然后选择“打开文件夹”，再选择主项目文件夹（Interactive-LLM-Powered-NPCs），这样笔记本应该就能检测到 .venv 环境了。

使用说明 🛠️🤓

1. 📁 在项目的根目录下创建一个文件夹。文件夹名称应使用您的游戏名称，将空格替换为下划线，并避免使用特殊字符。例如，如果您的游戏名称是“刺客信条：英灵殿”，则文件夹名称可以是“Assasins_Creed_Valhalla”。

2. 📝 在游戏文件夹内创建一个名为“world.txt”的文本文件，用于描述游戏及游戏世界。您可以从诸如https://www.fandom.com/之类的网站上获取关于您游戏的详细信息。

3. 📝 在游戏文件夹内再创建一个名为“public_info.txt”的文本文件。该文件应包含有关游戏世界、重大事件以及生活在该游戏世界中的人应当了解的任何细节的信息。这些信息同样可以在上述网站上找到。

4. 📔 打开位于根目录下的名为“create_public_vectordb.ipynb”的Jupyter Notebook。在第一个单元格中将变量“game_name”设置为您游戏的名称。运行该单元格以创建公共向量数据库。然后运行第二个单元格来测试其性能。向量数据库就像一座活生生的图书馆，能够提供关于各种主题的相关信息。

5. 📝 在您的游戏文件夹中创建一个名为npc_personality_creation的文件夹，然后从Cyberpunk_2077文件夹中复制audio_mode_create_personality.py和video_mode_personality.py这两个文件。这些文件负责为背景NPC生成独特的个性，因此您需要根据自己的游戏修改模板变量。模板变量中包含了三个名字及其对应的个性，您需要将这些名字替换为您游戏中常见的NPC名称，并将个性替换为您游戏中常见的性格特征，可以借助ChatGPT来帮助创建这些个性。这些示例将指导LLM如何生成NPC的个性。完成后，将这些文件复制到functions目录中，替换原有的个性创建文件。

6. 📂 在游戏文件夹内创建一个名为“characters”的文件夹。从“Cyberpunk_2077/characters”文件夹中复制“default”文件夹，并将其粘贴到新创建的“characters”文件夹中。您需要修改“default”文件夹中的“pre_conversation.json”文件。该文件应包含您游戏世界中人们常说的常用对话。您可以请ChatGPT以这种JSON格式为您提供特定于您游戏的对话。以下是一个您可以使用的提示：

请提供30句《赛博朋克2077》中人们常说的常见对话，格式如下：
{
  "pre_conversation": [
    { "line": "对话1" },
    { "line": "对话2" }
  ]
}

将生成的对话内容替换“pre_conversation.json”文件中的原有内容。

“default”文件夹供背景NPC使用，当您与不同NPC交谈时，他们的简介、姓名、声音和照片会不断变化。

7. 📂 在characters文件夹中创建一个以您希望与其交谈的某个次要角色命名的文件夹，将其中的空格替换为下划线。在该角色文件夹内创建一个“images”文件夹，并放入5张您角色的JPEG照片（照片中不得出现其他人）。

8. 📔 打开“create_face_recognition_representation.ipynb”笔记本，在两个单元格中分别设置“character_name”和“game_name”变量。运行这两个单元格以创建您角色脸部的表征。此步骤有助于项目在您玩游戏时识别您正在与哪个角色互动。

9. 📝 在角色文件夹内创建一个名为“bio.txt”的文本文件。该文件应包含关于您角色的一小段简介，您可以从fandom或其他类似来源获取相关信息。

10. 📝 在角色文件夹内创建一个名为“character_knowledge.txt”的文本文件。该文件应包括您角色所知但未收录在公共向量数据库中的信息。这些信息可以从fandom或其他类似来源获取。

11. 📔 使用“create_character_vectordb.ipynb”笔记本创建角色的向量数据库。打开该笔记本，在第一个单元格中设置“character_name”和“game_name”变量，并运行该单元格。

12. 📝 在角色文件夹内创建一个“pre_conversation.json”文件，其中包含该角色常说的常用对话。这些对话应能体现角色的个性特征，并用于指导回复的风格。您可以参考《赛博朋克2077》角色文件夹中现有的“pre_conversation.json”文件作为参考。

13. 📝 在角色文件夹中创建一个“conversation.json”文件。您可以从《赛博朋克2077》中Jackie Welles的角色文件夹中复制该文件，并将第一条对话修改为符合您角色特点的内容。

14. 📂 创建一个“voice”文件夹。在该文件夹内放置一个名为“voice.py”的Python脚本，其中包含一个名为“create_speech”的函数。该函数应接受文本和输出路径作为参数，用于存储生成的音频文件。您可以从Jackie Welles的文件夹中复制该脚本，并修改语音以匹配您角色的声音。您可以使用voice_selection.ipynb来寻找与您角色声音相似的语音。如果您希望使用语音克隆或其他技术，请确保您角色voice文件夹中的“voice.py”文件具有相同的“create_speech”函数签名，并且不使用相对路径。

15. ♾️ 对您在游戏中希望与之互动的任何其他角色重复上述步骤。

完成以上步骤后，您就可以开始玩游戏了。请确保您的摄像头和麦克风已开启，以便充分体验互动功能。🎮🌟

开始游戏吧！🎮🚀

首先，启动你的游戏并打开“main.ipynb”文件。在第一个单元格中，你会找到变量“player_name”、“game_name”和“interact_key”。请根据自己的喜好设置这些变量。完成后，运行第二个单元格。如果你的显卡在流畅渲染面部动画时遇到困难，可以在参数中选择将其关闭。

运行第二个单元格后，会弹出一个新的窗口。请将这个窗口拖动到与显示游戏画面的显示器不同的另一台显示器上（确保你的显示器设置为扩展模式而非复制模式，你可以在系统 > 显示设置中找到该选项）。如果你没有另一台显示器，则需要将miscellaneous/Single Monitor文件夹中的文件复制到主项目目录下，并确保在main.ipynb中正确填写“game_screen_name”变量。接下来，将游戏内的摄像机对准你想对话的非玩家角色（NPC）。

点击新窗口，并按住交互键，直到右下角出现“speak”字样。说出你的信息，你会看到刚才说的话显示在角落里。片刻之后，该角色会通过面部动画和语音对你作出回应。

如果由于某种原因，你想对话的角色并未出现在屏幕上，你仍然可以按照上述步骤操作。即使看不到角色，你依然会收到语音回复。这一功能在与其他NPC一起骑马或与同伴一同战斗时尤为实用。

结语与贡献🤝🎮

基于交互式大语言模型的NPC为提升游戏中NPC的互动体验带来了令人兴奋的可能性，能够为你的游戏增添全新的真实感和沉浸感。

我们诚挚邀请你加入我们，共同扩展基于交互式大语言模型的NPC的兼容性，将更多游戏添加到“Games”文件夹中。通过这样做，你可以帮助其他玩家省去将该项目适配新游戏的麻烦，同时增加可用的兼容游戏数量。

如果你已经开发了一款与基于交互式大语言模型的NPC兼容的游戏，欢迎提交拉取请求，与社区分享你的作品。将你的游戏加入到这个集合中，不仅有助于丰富支持的游戏库，还能让更多玩家享受到动态且逼真的NPC互动体验。

此外，你还可以通过改进现有功能、修复漏洞或提出新想法来为项目贡献力量。欢迎深入研究代码库，参与讨论，并与其他开发者协作，进一步完善该项目。

让我们携手共创游戏NPC互动的未来，为全球玩家打造难忘的游戏体验。现在就加入我们，一起让游戏中的对话更加互动、更加引人入胜吧！

使用的工具🚀🔧

• 🍪 Cohere的语言模型和嵌入模型，结合Langchain构建LLM智能体
• 🍩 SadTalker 用于面部动画
• 🍰 Edge-TTS 用于默认语音合成
• 🧁 DeepFace 用于面部识别、检测、性别、年龄及情绪分析
• 🍭 Chromadb 用于本地向量存储
• 🍬 SpeechRecognition 包用于语音识别

❤️ 感谢

如果你觉得这个项目很有趣，不妨去看看Alystria AI的其他精彩项目：

https://www.linkedin.com/company/alystria-ai

• 🌐 GitHub：https://github.com/AkshitIreddy
• 💡 LinkedIn：https://www.linkedin.com/in/akshit-ireddy
• ✍️ Medium：https://medium.com/@akshit.r.ireddy

Interactive-LLM-Powered-NPCs 快速上手指南

本项目允许玩家通过麦克风与任何游戏（如《赛博朋克 2077》、《刺客信条》、《GTA 5》等）中的 NPC 进行实时语音对话。系统利用大语言模型（LLM）生成回复，结合 SadTalker 实现口型同步，并通过人脸识别和表情分析增强沉浸感，无需修改游戏源代码。

环境准备

在开始之前，请确保您的系统满足以下要求并安装必要依赖：

系统要求

• 操作系统: Windows (推荐)
• Python: 3.10.6 (必须严格匹配此版本)
  • 下载链接：Python 3.10.6
  • 注意: 安装时务必勾选 "Add Python to PATH"。

前置依赖

请依次安装以下工具：

1. Git: 版本控制系统 (下载地址)
2. wget: 命令行下载工具
3. Microsoft Build Tools & Visual Studio: 用于编译 C++ 扩展
   • 下载 Build Tools for Visual Studio 2022
4. FFmpeg: 音视频处理框架
   • 参考安装教程：Windows 上安装 FFmpeg
5. API Key: 注册 Cohere 账号获取免费 Trial API Key（或配置 GPT-4）。

安装步骤

打开终端（Terminal 或 Git Bash），按顺序执行以下命令：

1. 克隆项目仓库

   git clone https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs.git
   cd Interactive-LLM-Powered-NPCs
   

2. 创建并激活 Python 虚拟环境

   python -m venv .venv
   .venv\scripts\activate
   

3. 安装项目依赖

   pip install -r requirements.txt
   

   提示: 国内用户可使用清华源加速安装：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 下载 SadTalker 模型

   cd sadtalker
   bash scripts/download_models.sh
   

   注意: 如果 bash 命令在 Windows CMD 中不可用，请使用 Git Bash 运行此步骤。若下载缓慢，可尝试手动下载模型文件并放入对应目录。

5. 初始化 SadTalker WebUI 环境

   • 在文件浏览器中进入 sadtalker 目录。
   • 双击运行 webui.bat。
   • 等待终端显示 WebUI launched 后，关闭该终端窗口。

6. 配置 API Key

   • 在项目根目录找到 apikeys.json 文件。
   • 填入您的 Cohere API Key。

7. 清理临时文件

   • 删除 video_temp 和 temp 文件夹内的所有内容。

8. 配置 VS Code (可选但推荐)

   • 安装 VS Code 及 "Jupyter" 和 "Python" 扩展。
   • 在项目根目录运行 code . 打开项目。
   • 运行 Jupyter Notebook 时，确保右上角内核选择为 .venv。

基本使用

以下以配置《赛博朋克 2077》为例（其他游戏逻辑相同）：

1. 创建游戏配置目录

在项目根目录创建文件夹，名称为游戏名（空格替换为下划线，无特殊字符）：

Cyberpunk_2077

2. 编写世界观文件

在 Cyberpunk_2077 文件夹内创建以下两个文本文件，内容可从 Fandom 等维基百科获取：

• world.txt: 描述游戏及世界背景。
• public_info.txt: 描述世界中的重大事件及常识。

3. 构建向量数据库

• 打开根目录下的 create_public_vectordb.ipynb。
• 将第一个单元格中的 game_name 变量修改为 "Cyberpunk_2077"。
• 运行第一个单元格创建数据库，运行第二个单元格测试效果。

4. 配置 NPC 人格生成

• 在 Cyberpunk_2077 内创建 npc_personality_creation 文件夹。
• 从 Cyberpunk_2077 示例文件夹复制 audio_mode_create_personality.py 和 video_mode_personality.py 到此新文件夹。
• 修改代码: 编辑这两个文件中的 template 变量，将其中的示例名字和性格替换为您游戏中常见的 NPC 名字和性格特征（可借助 ChatGPT 生成）。
• 将修改后的文件复制到项目根目录的 functions 文件夹中，覆盖原文件。

5. 配置通用对话风格

• 在 Cyberpunk_2077 内创建 characters 文件夹。
• 复制 Cyberpunk_2077/characters/default 文件夹到新建的 characters 目录中。
• 编辑 default/pre_conversation.json，填入符合游戏风格的常用对话（格式如下）：

  {
    "pre_conversation": [
      { "line": "对话内容 1" },
      { "line": "对话内容 2" }
    ]
  }
  

6. 添加特定角色（可选）

若想与特定重要角色（如强尼·银手）对话：

• 在 characters 文件夹内创建以角色名命名的文件夹（如 Johnny_Silverhand）。
• 在该文件夹内创建 images 子文件夹。
• 放入该角色的 5 张清晰正面 JPG 照片（照片中不能有其他人物）。

7. 启动交互

完成上述配置后，运行主程序脚本（具体启动脚本请参考项目后续更新或 Jupyter 演示文件），开启游戏，对着麦克风说话即可与 NPC 互动。系统会自动识别画面中的 NPC 面部并替换为生成的动画。