🚀 从聊天记录创建数字分身的一站式解决方案 💡

简体中文｜ English｜ Project Homepage ｜ Documentation

[!IMPORTANT]

Telegram 现已支持作为数据源！

✨核心功能

• 💫 完整的端到端数字分身创建方案，包括聊天数据导出、预处理、模型训练和部署
• 💬 使用聊天历史微调大语言模型，支持图像模态数据，赋予其独特的“风味”
• 🔗 可与 Telegram、WhatsApp（即将上线）集成，创建属于你的数字分身
• 🛡️ 隐私信息过滤，结合本地化微调与部署，确保数据安全可控

📋功能与说明

数据源平台支持

平台	文本	图片	语音	视频	动画表情/贴纸	链接（分享）	引用	转发	位置	文件
Telegram	✅	✅	❌	❌	⚠️转换为表情	❌	❌	✅	✅	❌
WhatsApp	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧
Discord	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧
Slack	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧	🚧

部署平台支持

平台	部署支持
Telegram	✅
WhatsApp	🚧
微信（个人账号）	✅（基于 openclaw-weixin）
Discord	✅
Slack	✅

[!IMPORTANT]

• WeClone 仍处于快速迭代阶段，当前性能不代表最终结果。
• LLM 微调效果很大程度上取决于模型规模、聊天数据的数量和质量。理论上，模型越大、数据越多，效果越好。
• 7B 模型的表现一般，而 14B 或更高参数的模型通常能带来更好的效果。
• Windows 环境尚未经过严格测试。你可以使用 WSL 作为运行环境。

最新更新

[25/07/10] 增加 Telegram 数据源
[25/06/05] 支持图像模态数据微调

在线微调

• Big Model Lab (Lab4AI)（附赠 50 元代金券）：https://www.lab4ai.cn/project/detail?utm_source=weclone1&id=ab83d14684fa45d197f67eddb3d8316c&type=project

硬件要求

该项目默认使用 Qwen2.5-VL-7B-Instruct 模型，并在 SFT 阶段采用 LoRA 方法进行微调。你也可以使用 LLaMA Factory 支持的其他模型和方法。

VRAM 需求估算：

方法	精度	7B	14B	30B	70B	xB
全量（bf16 或 fp16）	32	120GB	240GB	600GB	1200GB	18xGB
全量（pure_bf16）	16	60GB	120GB	300GB	600GB	8xGB
冻结/LoRA/GaLore/APOLLO/BAdam	16	16GB	32GB	64GB	160GB	2xGB
QLoRA	8	10GB	20GB	40GB	80GB	xGB
QLoRA	4	6GB	12GB	24GB	48GB	x/2GB
QLoRA	2	4GB	8GB	16GB	24GB	x/4GB

环境搭建

1. CUDA 安装（若已安装可跳过，需版本 12.6 或以上）

2. 推荐使用 uv 来安装依赖，它是一个非常快速的 Python 环境管理器。安装 uv 后，可以使用以下命令创建新的 Python 环境并安装依赖。

git clone https://github.com/xming521/WeClone.git && cd WeClone
uv venv .venv --python=3.12
source .venv/bin/activate # windows .venv\Scripts\activate
uv pip install --group main -e . 

3. 复制配置文件模板并重命名为 settings.jsonc，后续配置修改均在此文件中进行：

cp examples/tg.template.jsonc settings.jsonc

[!NOTE] 训练和推理相关配置统一放在 settings.jsonc 文件中

4. 使用以下命令测试 CUDA 环境是否正确配置且被 PyTorch 识别（Mac 用户无需此步骤）：

  python -c "import torch; print('CUDA Available:', torch.cuda.is_available());"

5. （可选）安装 FlashAttention 以加速训练和推理：uv pip install flash-attn --no-build-isolation。

模型下载

建议使用 Hugging Face 下载模型，或者使用以下命令：

git lfs install
git clone https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct models/Qwen2.5-VL-7B-Instruct

数据准备

请使用 Telegram Desktop 导出聊天记录。在聊天界面中点击右上角，然后选择“导出聊天记录”。消息类型选择“照片”，格式选择“JSON”。您可以导出多个联系人的聊天记录（不建议导出群聊记录），然后将导出的 ChatExport_* 文件夹放入 ./dataset/telegram 目录下，即将不同用户的聊天记录文件夹统一放置在 ./dataset/telegram 中。

数据预处理

• 首先，请根据您的需求修改配置文件中的 language、platform 和 include_type。
• 如果您使用 Telegram，需要将配置文件中的 telegram_args.my_id 修改为您自己的 Telegram 用户 ID。
• 默认情况下，项目会使用 Microsoft Presidio 从数据中移除 电话号码、电子邮件地址、信用卡号码、IP 地址、地理位置名称、国际银行账号、加密货币钱包地址、年龄信息以及通用身份证号码，但无法保证 100% 的识别率。
• 因此，在 settings.jsonc 中提供了一个黑名单 blocked_words，允许用户手动添加想要过滤的单词或短语（默认会移除包含黑名单词汇的整句话）。

[!IMPORTANT] 🚨 请务必保护个人隐私，切勿泄露个人信息！

• 执行以下命令来处理数据。您可以根据自己的聊天风格修改 settings.jsonc 中的 make_dataset_args。

weclone-cli make-dataset

更多参数详情：数据预处理

配置参数并微调模型

• （可选）修改 settings.jsonc 中的 model_name_or_path、template、lora_target 来选择其他本地下载的模型。
• 修改 per_device_train_batch_size 和 gradient_accumulation_steps 以调整显存占用。
• 您可以根据数据集的数量和质量，修改 train_sft_args 中的 num_train_epochs、lora_rank、lora_dropout 等参数。

单 GPU 训练

weclone-cli train-sft

多 GPU 训练

取消注释 settings.jsonc 中的 deepspeed 行，并使用以下命令进行多 GPU 训练：

uv pip install "deepspeed<=0.16.9"
deepspeed --num_gpus=number_of_gpus weclone/train/train_sft.py

使用浏览器演示进行简单推理

测试合适的 temperature 和 top_p 值，然后修改 settings.jsonc 中的 infer_args 以便后续推理使用。

weclone-cli webchat-demo

使用 API 进行推理

weclone-cli server

使用常见聊天问题进行测试

不包含要求提供个人信息的问题，仅包括日常对话。测试结果保存在 test_result-my.txt 中。

weclone-cli server
weclone-cli test-model

🖼️ 结果展示

[!TIP] 我们正在寻找母语为英语的用户与 WeClone 聊天的有趣案例！欢迎在 Twitter 上与我们分享。

🤖 部署到聊天机器人

AstrBot

AstrBot 是一个易于使用的多平台 LLM 聊天机器人及开发框架 ✨ 支持 Discord、Telegram、Slack、飞书等平台。

使用步骤：

1. 部署 AstrBot
2. 在 AstrBot 中部署 Discord、Telegram、Slack 等消息平台
3. 执行 weclone-cli server 启动 API 服务
4. 在 AstrBot 中添加新的服务提供商，选择 OpenAI 类型，根据 AstrBot 的部署方式填写 API 基础 URL（例如，对于 Docker 部署可能是 http://172.17.0.1:8005/v1），模型填写为 gpt-3.5-turbo，并输入任意 API 密钥。
5. 微调后不支持工具调用，请先通过发送命令 /tool off_all 关闭默认工具，否则微调效果将无法体现。
6. 根据微调时使用的 default_system，在 AstrBot 中设置系统提示词。

[!IMPORTANT] 请检查 api_service 日志，确保大模型服务请求参数尽可能与微调时一致，并关闭所有工具插件功能。

LangBot

LangBot 是一个易于使用的开源 LLM 聊天机器人平台，适用于各种场景。它可连接全球多种即时通讯平台，您只需 5 分钟即可搭建自己的 IM 机器人。

1. 部署 LangBot
2. 在 LangBot 中添加机器人（如 Discord、Telegram、Slack、Lark 等）
3. 执行 weclone-cli server 启动 WeClone API 服务
4. 在模型页面中添加新模型，命名为 gpt-3.5-turbo，选择 OpenAI 作为提供商，将请求 URL 填写为 WeClone 的地址。详细连接方法请参考 文档，并输入任意 API 密钥。

6. 在管道配置中选择刚刚添加的模型，或修改提示词配置。

📌 路线图

• 支持更多数据源
• 更丰富的上下文：包括上下文对话、聊天参与者信息、时间等
• 内存支持
• 多模态支持：图像支持已实现
• 数据增强
• GUI 支持
• COT（思维链）支持

故障排除

官方文档 FAQ

也推荐使用 DeepWiki 解决问题。

❤️ 贡献

欢迎提交任何问题或拉取请求！

您可以通过查看 Issues 或帮助审查 PR（Pull Requests）来贡献。对于新功能的添加，请先通过 Issues 进行讨论。
开发环境：

uv pip install --group dev -e .
pre-commit install

该项目使用 pytest 进行测试，pyright 进行类型检查，ruff 进行代码格式化。
在提交代码之前，您应该运行 pytest tests 以确保所有测试都通过。

🙏 致谢

感谢以下代码贡献者及其他社区成员的贡献：

本项目也受益于诸多优秀的开源项目，如 PyWxDump、LLaMA-Factory、AstrBot、LangBot 等。

本项目由以下机构支持：

⚠️ 免责声明

[!CAUTION] 本项目仅用于学习、研究和实验目的。将其用于生产环境存在重大风险，请谨慎评估。请勿用于非法用途，后果自负。

[!IMPORTANT]

WeClone 目前未与任何平台合作，也未发行任何加密货币。唯一官方网址为：weclone.love。请警惕仿冒网站。

点击查看免责声明条款

1. 自行承担使用风险

• 用户在使用本项目时，应充分了解并自行承担所有相关风险。
• 项目作者对因使用本项目而产生的任何直接或间接损失不承担任何责任。
• 包括但不限于：数据丢失、经济损失、法律纠纷、个人声誉受损、社会关系影响、心理创伤、职业发展障碍、商业信誉损害等。

2. 生产环境风险提示

• 用于商业用途或对外提供服务需自行承担全部风险。
• 因生产环境使用可能引发的一切后果（包括但不限于服务中断、数据安全问题、用户投诉、法律责任等）均由用户自行承担。
• 建议在生产环境中使用前进行充分的测试、验证及风险评估。

3. 模型输出不可靠

• 经过微调的模型可能会产生不准确、有害或误导性的内容。
• 模型输出并不代表真实人物的观点或意图。
• 用户应对模型输出进行人工审核和验证。

4. 数据安全与隐私

• 用户应确保上传的聊天记录及其他数据符合相关法律法规。
• 用户应获得数据相关方的适当授权。
• 本项目对数据泄露或隐私侵犯不承担任何责任。

5. 法律合规

• 用户应确保使用本项目符合当地法律法规。
• 涉及人工智能、数据保护、知识产权等相关法律。
• 用户需自行承担非法使用带来的后果。

6. 技术支持限制

• 本项目按“现状”提供，不提供任何明示或暗示的担保。
• 作者不承诺提供持续的技术支持或维护。
• 不保证项目的稳定性、可靠性或适用性。

使用建议

强制标识机器人身份

在使用本项目生成的数字分身时，强烈建议：

• 在每次对话开始时明确标识为“AI 机器人”或“数字分身”。
• 在用户界面显著标注“AI 生成内容”。
• 避免让用户误以为是真人对话，以免造成风险。

风险评估建议

如确需在生产环境中使用，建议：

1. 进行全面的安全测试。
2. 建立完善的内容审核机制。
3. 制定应急响应预案。
4. 购买适当的保险保障。
5. 咨询法律专业人士的意见。

本免责声明可能随项目更新而修订，用户应定期查看最新版本。继续使用本项目即表示同意最新的免责声明条款。

一旦您以任何方式下载、克隆、修改、分发或使用本项目的代码或模型，即表示您已完全阅读、理解并无条件接受本免责声明的所有条款。

请仔细阅读并理解本免责声明的所有内容，在使用本项目时务必严格遵守相关法规。

⭐ 星标历史

[!TIP] 如果本项目对您有所帮助，或您对本项目的未来发展感兴趣，请为本项目点亮星标，谢谢！

WeClone 快速上手指南

WeClone 是一个一站式数字分身创建工具，支持从聊天记录（如 Telegram）导出、预处理、模型微调到部署的全流程。本指南将帮助你快速在本地搭建并运行 WeClone。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• CUDA: 版本需 12.6 或以上（用于 GPU 加速训练）。
• Python: 建议版本 3.12。
• 显存要求:
  • 默认使用 Qwen2.5-VL-7B-Instruct 模型配合 LoRA 微调。
  • 最低显存: 约 6GB (QLoRA 4-bit) 至 10GB (QLoRA 8-bit)。
  • 推荐显存: 16GB 以上以获得更稳定的训练效果。

前置依赖

• 确保已安装 git 和 git-lfs (用于下载大模型)。
• 推荐使用 uv 作为 Python 包管理器，速度极快。

2. 安装步骤

第一步：克隆项目与配置虚拟环境

使用 uv 创建隔离的 Python 环境并安装依赖：

git clone https://github.com/xming521/WeClone.git && cd WeClone
uv venv .venv --python=3.12
source .venv/bin/activate 
# Windows 用户请使用: .venv\Scripts\activate

# 安装核心依赖
uv pip install --group main -e . 

可选优化: 安装 FlashAttention 以加速训练和推理（需 CUDA 环境）：

uv pip install flash-attn --no-build-isolation

第二步：配置文件初始化

复制配置模板并重命名为 settings.jsonc，后续所有配置均在此文件修改：

cp examples/tg.template.jsonc settings.jsonc

第三步：下载基础模型

推荐使用 Hugging Face 下载默认模型 Qwen2.5-VL-7B-Instruct：

git lfs install
git clone https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct models/Qwen2.5-VL-7B-Instruct

(注：国内用户若访问 HF 受阻，可使用镜像站或手动下载后放入 models/ 目录)

第四步：验证环境

确认 PyTorch 能正确识别 CUDA（Mac 用户可跳过）：

python -c "import torch; print('CUDA Available:', torch.cuda.is_available());"

3. 基本使用

数据准备 (以 Telegram 为例)

1. 打开 Telegram Desktop 客户端。
2. 进入目标聊天窗口，点击右上角菜单 -> Export chat history。
3. 格式选择 JSON，媒体类型勾选 Photos (支持图片模态)。
4. 将导出的 ChatExport_* 文件夹移动至项目根目录下的 ./dataset/telegram 文件夹中。

数据预处理

编辑 settings.jsonc：

• 设置 language (如 "zh")。
• 设置 platform 为 "telegram"。
• 重要: 修改 telegram_args.my_id 为你的 Telegram 用户 ID。
• (可选) 在 blocked_words 中添加需过滤的敏感词。

执行预处理命令：

weclone-cli make-dataset

模型微调 (SFT)

编辑 settings.jsonc 调整训练参数（如 per_device_train_batch_size 以适应显存）：

• 单卡训练直接运行：

weclone-cli train-sft

• 多卡训练需先安装 deepspeed (uv pip install "deepspeed<=0.16.9")，取消配置文件中 deepspeed 注释后运行：

deepspeed --num_gpus=2 weclone/train/train_sft.py

快速测试与部署

微调完成后，启动本地 Web 界面进行对话测试：

weclone-cli webchat-demo

浏览器访问提示的地址即可与你的数字分身对话。

若需集成到其他机器人平台（如 AstrBot, LangBot），可启动 API 服务：

weclone-cli server

此时服务默认运行在 http://localhost:8005，兼容 OpenAI API 格式。