RealChar. - 您的实时AI角色

🎙️🤖创建、自定义并与您的AI角色/伙伴实时对话🎙️🤖

✨ 演示

请访问我们的网站 RealChar.ai 进行体验。

不确定如何发音“RealChar”？请听这个 👉 audip

演示1 - 与圣诞老人！

https://github.com/Shaunwei/RealChar/assets/5101573/6b35a80e-5503-4850-973d-254039bd383c

演示2 - 与AI版埃隆·马斯克讨论笼中格斗！

https://github.com/Shaunwei/RealChar/assets/5101573/5de0b023-6cf3-4947-84cb-596f429d109e

演示3 - 与AI版雷电谈论AI和“真实”记忆

https://github.com/Shaunwei/RealChar/assets/5101573/62a1f3d1-1166-4254-9119-97647be52c42

演示设置：Web、GPT4、ElevenLabs语音克隆、Chroma、Google语音转文本

🎯 核心功能

• 易于使用：无需编码即可创建属于您自己的AI角色。
• 可定制化：您可以自定义AI角色的性格、背景，甚至声音。
• 实时互动：与您的AI角色进行实时对话或消息交流。
• 多平台支持：您可以在网页、终端以及移动端与AI角色互动（是的，我们的移动应用已开源）。
• 最前沿的AI技术：我们采用最先进的AI技术来驱动您的AI角色，包括OpenAI、Anthropic Claude 2、Chroma、Whisper、ElevenLabs等。
• 模块化设计：您可以轻松更换不同的模块以定制流程。更少的预设限制，更多的灵活性。是开启AI工程之旅的理想项目。

🔬 技术栈

• ✅Web: React JS、Vanilla JS、WebSockets
• ✅移动端: Swift、WebSockets
• ✅后端: FastAPI、SQLite、Docker
• ✅数据摄取: LlamaIndex、Chroma
• ✅LLM编排: LangChain、Chroma
• ✅大模型: ReByte、OpenAI GPT3.5/4、Anthropic Claude 2、Anyscale Llama2
• ✅语音转文本: 本地WhisperX、本地Whisper、OpenAI Whisper API、Google语音转文本
• ✅文本转语音: ElevenLabs、Edge TTS、Google文本转语音
• ✅语音克隆: ElevenLabs

📚 与现有产品的对比

📀 快速入门 - 使用Docker安装

1. 创建一个新的.env文件

   cp .env.example .env
   

   将您的API密钥粘贴到.env文件中。只需一个ReByte或OpenAI的API密钥即可开始使用。

   如果您有其他API密钥，也可以一并配置。

2. 使用docker-compose.yaml启动应用

   docker compose up
   

   如果您在使用Docker时遇到问题（尤其是在非Linux系统上），请参考 https://docs.docker.com/get-docker/（安装指南）和 https://docs.docker.com/desktop/troubleshoot/overview/（故障排除指南）。

3. 打开 http://localhost:3000，尽情享受吧！

💿 开发者 - 通过 Python 安装

• 步骤 1。克隆仓库

  git clone https://github.com/Shaunwei/RealChar.git && cd RealChar
  

• 步骤 2。安装依赖

  安装 portaudio 和 ffmpeg 以支持音频处理

  # 对于 macOS
  brew install portaudio
  brew install ffmpeg
  

  # 对于 Ubuntu
  sudo apt update
  sudo apt install portaudio19-dev
  sudo apt install ffmpeg
  

  注意：

  • 需要 ffmpeg>=4.4 才能与 torchaudio>=2.1.0 兼容。

  • macOS 用户可能需要将 ffmpeg 库路径添加到 DYLD_LIBRARY_PATH 中，以便 torchaudio 正常工作：

    export DYLD_LIBRARY_PATH=/opt/homebrew/lib:$DYLD_LIBRARY_PATH
    

  接着安装所有 Python 依赖项

  pip install -r requirements.txt
  

  如果你需要更快的本地语音转文本功能，可以安装 whisperX

  pip install git+https://github.com/m-bain/whisperx.git
  

• 步骤 3。如果你之前没有创建过数据库，请先创建一个空的 sqlite 数据库

  sqlite3 test.db "VACUUM;"
  

• 步骤 4。执行数据库升级

  alembic upgrade head
  

  这一步确保你的数据库模式是最新的。每次从主分支拉取代码后，请务必运行此命令。

• 步骤 5。配置 .env 文件：

  cp .env.example .env
  

  根据 .env 文件中的说明更新 API 密钥和配置。

  注意：某些功能需要登录系统才能正常运行。如果需要，你可以使用 Firebase 免费获取自己的 OAuth2 登录系统。启用方法是将 USE_AUTH 设置为 true，并填写 FIREBASE_CONFIG_PATH 字段。同时在 client/next-web/.env 中填写 Firebase 配置。

• 步骤 6。使用 cli.py 启动后端服务器，或者直接使用 uvicorn：

  python cli.py run-uvicorn
  # 或者
  uvicorn realtime_ai_character.main:app
  

• 步骤 7。启动前端客户端：

  • Web 客户端：

    在 client/next-web/ 目录下创建 .env 文件

    cp client/next-web/.env.example client/next-web/.env
    

    根据 client/next-web/README.md 中的说明调整 .env 文件。

    启动前端服务器：

    python cli.py next-web-dev
    # 或者
    cd client/next-web && npm run dev
    # 或者
    cd client/next-web && npm run build && npm run start
    

    执行这些命令后，本地开发服务器将会启动，你的默认浏览器会打开一个指向该服务器的新标签页（通常是 http://localhost:3000）。

  • （可选）终端客户端：

    在终端中运行以下命令

    python client/cli.py
    

  • （可选）移动端客户端：

    使用 Xcode 打开 client/mobile/ios/rac/rac.xcodeproj/project.pbxproj 并运行应用。

• 步骤 8。选择一个角色进行对话，然后开始交流。使用 GPT4 可获得更好的对话体验，并且为了获得最佳音质，请佩戴耳机（避免回声）。

注意：如果你想远程连接到 RealChar 服务器，需要设置 SSL 才能建立音频连接。

👨‍🚀 API 密钥和配置

1. 大语言模型

1.1 ReByte API 密钥

要获取 ReByte API 密钥，请按照以下步骤操作：

1. 访问 ReByte 官网 并注册账户（如果尚未注册）。
2. 登录后，进入“设置”>“API 密钥”。
3. 点击“生成”按钮，创建一个新的 API 密钥。

1.2 （可选）OpenAI API Token

1.3 （可选）Anthropic(Claude 2) API Token

1.4 （可选）Anyscale API Token

2. 语音转文本

我们支持 faster-whisper 和 whisperX 作为本地语音转文本引擎。它们可在 CPU 和 NVIDIA GPU 上运行。

2.1 （可选）Google Speech-to-Text API

2.2 （可选）OpenAI Whisper API

3. 文本转语音

Edge TTS 是默认选项，且免费使用。

3.1（可选）ElevenLabs API 密钥

3.2（可选）Google 文本转语音 API

（可选）🔥 创建您自己的角色

（可选）☎️ Twilio 集成

TWILIO_ACCOUNT_SID=YOUR_TWILIO_ACCOUNT_SID
TWILIO_ACCESS_TOKEN=YOUR_TWILIO_ACCESS_TOKEN
DEFAULT_CALLOUT_NUMBER=YOUR_PHONE_NUMBER

🆕！Anyscale 和 LangSmith 集成

ANYSCALE_ENDPOINT_API_KEY=<您的 API 密钥>

LANGCHAIN_TRACING_V2=false # 默认关闭
LANGCHAIN_ENDPOINT=https://api.smith.langchain.com
LANGCHAIN_API_KEY=YOUR_LANGCHAIN_API_KEY
LANGCHAIN_PROJECT=YOUR_LANGCHAIN_PROJECT

📍 路线图

• 发布 v0.0.4
• 通过 Web UI 创建新角色
• 降低对话延迟
• 支持 Twilio
• 支持 ReByte
• 对话持久化*
• 会话管理*
• 支持 RAG*
• 支持 Agent/GPT*
• 添加更多 TTS 服务*

$*$ 这些功能由 ReByte 平台提供支持。

🫶 参与 RealChar 的开发

请查看我们的贡献指南！

💪 贡献者

🎲 社区

• 加入我们的 Discord

RealChar 快速上手指南

RealChar 是一个开源的实时 AI 角色对话框架，支持创建具有个性化人格、背景甚至声音克隆的 AI 伴侣。它支持 Web、终端和移动端，底层集成了 LangChain、Chroma、Whisper、ElevenLabs 等主流 AI 技术栈。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows (推荐 WSL2)
• Python: 3.9+
• Node.js: 16+ (用于前端)
• Docker & Docker Compose: (可选，用于容器化部署)

前置依赖

在安装 Python 依赖前，需先安装音频处理库：

macOS:

brew install portaudio
brew install ffmpeg
# Mac 用户可能需要设置环境变量以兼容 torchaudio
export DYLD_LIBRARY_PATH=/opt/homebrew/lib:$DYLD_LIBRARY_PATH

Ubuntu/Debian:

sudo apt update
sudo apt install portaudio19-dev
sudo apt install ffmpeg

注意：ffmpeg 版本需 >= 4.4 以配合 torchaudio>=2.1.0 使用。

安装步骤

你可以选择 Docker 部署（最简单）或 Python 源码部署（适合开发者定制）。

方案一：Docker 快速部署（推荐）

1. 克隆项目并配置环境变量

   git clone https://github.com/Shaunwei/RealChar.git && cd RealChar
   cp .env.example .env
   

   编辑 .env 文件，填入至少一个 LLM API Key（如 ReByte 或 OpenAI）。

2. 启动服务

   docker compose up
   

   若遇到 Docker 问题，请参考官方文档进行排查。

3. 访问应用 打开浏览器访问 http://localhost:3000。

方案二：Python 源码部署

1. 克隆仓库

   git clone https://github.com/Shaunwei/RealChar.git && cd RealChar
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   (可选) 如需更快的本地语音转文字速度，安装 whisperX：

   pip install git+https://github.com/m-bain/whisperx.git
   

3. 初始化数据库

   # 创建空数据库
   sqlite3 test.db "VACUUM;"
   
   # 执行数据库迁移升级
   alembic upgrade head
   

4. 配置环境变量

   cp .env.example .env
   

   编辑 .env 文件，配置必要的 API Keys（详见下文配置说明）。

   若需启用登录功能，可配置 Firebase OAuth2，将 USE_AUTH 设为 true 并填写相关路径。

5. 启动后端服务

   python cli.py run-uvicorn
   # 或直接使用 uvicorn
   # uvicorn realtime_ai_character.main:app
   

6. 启动前端服务

   进入 Web 客户端目录并配置：

   cp client/next-web/.env.example client/next-web/.env
   # 根据 client/next-web/README.md 调整配置
   

   运行开发服务器：

   python cli.py next-web-dev
   # 或
   cd client/next-web && npm run dev
   

   启动后浏览器会自动打开 http://localhost:3000。

   (可选) 终端客户端:

   python client/cli.py
   

   (可选) 移动端: 使用 Xcode 打开 client/mobile/ios/rac/rac.xcodeproj 运行。

基本使用

1. 配置 API Key 在 .env 文件中至少配置以下一项即可开始：

   • ReByte: 推荐首选，前往 ReByte 注册并获取 Key。
   • OpenAI: 填入 OPENAI_API_KEY。
   • 其他: 支持 Anthropic Claude 2, Anyscale Llama2 等（按需配置）。

2. 开始对话

   • 访问 http://localhost:3000。
   • 选择一个预设角色（如 Santa Claus, AI Elon 等）。
   • 点击麦克风图标开始说话。

3. 最佳实践建议

   • 模型选择: 在设置中选择 GPT-4 以获得更流畅的对话体验。
   • 硬件建议: 佩戴耳机以避免扬声器声音被麦克风再次收录产生回声。
   • 远程连接: 若需远程连接服务器，必须配置 SSL 证书以建立安全的音频连接。

提示: 本项目高度模块化，你可以轻松替换 LLM、语音识别 (STT) 或语音合成 (TTS) 模块来定制自己的 AI 工作流。