基于PyTorch框架，使用ResNet101与GPT构建王者荣耀AI

本源码模型主要采用了SamLynnEvans Transformer的解码部分代码，以及PyTorch自带的预训练模型“resnet101-5d3b4d8f.pth”。

注意！！！

本项目已停止更新，由使用强化学习训练AI玩王者替代。

运行本代码时请注意以下几点 注意！！！！！

1、目前该模型基于后裔英雄的100多局对战数据训练而成，在实际对局中表现出频繁送人头等问题，且代码本身存在诸多不规范之处，敬请谅解。
2、本代码最初仅用于试验模型是否能玩转王者荣耀，后因B站网友强烈要求才匆忙开源，可能存在较多问题，还望大家多多包涵。
三、运行环境为Win10；Win7尚未测试，但估计也能运行。需要一张显存6GB以上的NVIDIA显卡，虽然4GB显存的1050ti勉强也可使用。
四、需准备一台已开启安卓调试模式并可运行王者荣耀的手机，虚拟机暂未尝试过，理论上应该可行。
五、需要下载scrcpy的Windows版本。将所有文件解压至项目根目录即可（这是我个人的简单做法）。
位置如图所示：
六、pyminitouch库在运行时会自动安装minitouch。若无法自动安装，则需手动安装minitouch，过程较为繁琐，如有困难请自行百度查找相关教程。另外，minitouch不支持Android 10系统。
七、本人使用的手机分辨率为1080*2160，而本代码并未针对不同手机进行优化。不同手机在minitouch命令中描述的位置可能有所差异，因此需要对代码做出相应调整，请务必注意。
八、请注意游戏界面布局，务必保持一致。布局可参考B站视频或我上传的训练用截图。如图所示：
九、游戏更新后可能会导致不可预料的结果，因此无法保证此代码长期有效。
后续我可能会发布视频教程，并分享我的设计思路。部分地区截图可能无法正常显示，可在PyCharm中打开项目中的readme.md查看。

运行与生成训练数据

所需库： torch
torchvision
pynput
pyminitouch
可能还有其他库

运行训练好的模型

如果前期准备工作已完成，即可运行模型。在此声明，该模型仅经过100余局训练，水平较低，甚至可能连青铜段位的人机对战都难以取胜。
一、首先下载模型：你可以从Google云端硬盘下载训练好的模型，也可以通过百度网盘下载
链接：https://pan.baidu.com/s/1Bt7BXukDDCpc1aWFI2iKxg
提取码：5c1k
下载后将其放入weights文件夹中。
二、先运行“启动和结束进程.py”以启动scrcpy。 然后将“训练数据截取_A.py”中的两项修改为你自己的设备信息：_DEVICE_ID是通过adb devices命令显示的设备ID。

三、启动王者荣耀进入5v5人机对战，随后运行“训练数据截取_A.py”即可。

生成训练数据

运行“训练数据截取_A.py”时，可通过按键操控角色，从而生成训练数据；若未进行任何操作，则会生成一个空文件夹和空JSON文件。
按下“i”键可结束或重新运行程序。
按键“w”、“s”、“a”、“d”用于控制方向，“左、下、右箭头”分别对应1、2、3技能，“上箭头”长按则发动攻击。其他按键功能请参考源码。
每次获取训练图片的数量建议不超过5000张。

你也可以下载训练数据样本（仅为示例，数据量较小，无法指望仅靠两局对战数据就见效，我认为该模型现有参数至少需要上万局对战数据才能达到较好效果）
百度网盘 链接：https://pan.baidu.com/s/1Ak1sLcSRimMWRgagXGahTg 提取码：t4k3
Google云端硬盘
解压后请注意存放位置，具体请参考源码。

如何训练

一、数据预处理
将图片使用ResNet101模型进行预处理，再与对应的操作数据结合，最终以NumPy数组形式保存备用。
具体操作步骤为运行“处理训练数据5.py”。
二、训练
完成数据预处理后，运行“训练_B.py”即可。

游戏按键映射本地化

按键映射通过‘./json/名称_操作.json’文件实现，如前所述，由minitouch模拟按键操作。

1. 前期准备：

开启“开发者模式”，启用“USB调试”及“USB调试（安全设置）：允许通过USB调试修改权限或模拟点击”。这两项设置均可在进入开发者选项后找到。

2. 按键可视化与轨迹监控：

开启“显示点按操作的视觉反馈”及“指针位置”。后者有助于查看手机屏幕上点击的具体像素坐标，从而生成适用于本地手机的按键映射JSON文件。

3. 映射本地化计算说明：

本计算以手机充电口朝右握持为例，反向握持的情况可类推。样例手机分辨率为1080x2160。 Android“指针位置”显示的坐标信息以图中左上角红色原点为准，xy轴方向如图所示。无论手机如何握持（充电口朝左或右），该原点始终位于屏幕左上角，由重力感应决定。 minitouch的坐标原点则位于图中左下角的蓝色原点，此点为物理固定点，不会随手机握持方向变化而移动，反向握持时该点会出现在右上角。 此外，两个坐标系的xy轴方向不同。 在当前设定下，Android指针坐标(X,Y)对应minitouch坐标(1080-Y,X)：即在点击屏幕某点时，安卓调试显示的(X,Y)在JSON文件中应替换为(1080-Y,X)。

4. 本地映射文件生成：

‘check_json.py’是用于调试及生成本地JSON按键映射文件的脚本。重新映射时，请逐一记录每个按键在手机上显示的“指针位置”，并按照上述计算方法换算成JSON文件中所需的坐标。该脚本会生成‘./json/local_layout.json’文件，请在‘处理训练数据5.py’中进行相应替换。 此外，在‘处理训练数据5.py’中：‘加一技能’、‘加二技能’、‘加三技能’、‘购买’等变量也可能需要同样处理。JSON文件中指令含义请参照minitouch。

ResnetGPT 快速上手指南

⚠️ 重要提示：本项目已停止更新，作者推荐使用强化学习版本 WZCQ 替代。当前版本基于 ResNet101 + GPT 架构，仅作为实验性参考，模型训练数据较少（约 100 局），实战能力较弱（可能无法战胜青铜人机）。

环境准备

系统要求

• 操作系统：Windows 10（Win7 未测试但理论上可行）
• 显卡：NVIDIA 显卡，显存 ≥ 6GB（4GB 如 GTX 1050 Ti 勉强可用）
• 手机设备：
  • 支持 Android 调试（USB Debugging）的安卓手机
  • 注意：minitouch 不支持 Android 10 及以上版本
  • 推荐分辨率：1080x2160（其他分辨率需手动调整坐标映射）
• 游戏状态：手机需能正常运行《王者荣耀》5v5 人机对战模式

前置依赖

1. Python 库：

   pip install torch torchvision pynput pyminitouch
   

2. 外部工具：
   • 下载 scrcpy Windows 版，解压所有文件至项目根目录。
   • pyminitouch 运行时会自动安装 minitouch；若失败，请手动安装 minitouch。

安装步骤

1. 克隆或下载项目代码。
2. 配置 scrcpy： 将下载的 scrcpy 全部文件放入项目根目录，结构参考项目中的 image/scrcpy.png。
3. 手机调试设置：
   • 开启“开发者模式”。
   • 启用"USB 调试”。
   • 启用"USB 调试（安全设置）”：允许通过 USB 调试修改权限或模拟点击。
   • （可选）开启“显示点按操作的视觉反馈”和“指针位置”，用于后续坐标校准。
4. 连接手机： 使用数据线连接电脑，运行 adb devices 确认设备 ID。

基本使用

场景一：运行预训练模型（试玩）

1. 下载模型权重：

   • 百度网盘：链接 (提取码：5c1k)
   • 或 Google Drive：链接
   • 将下载的文件放入项目下的 weights 文件夹。

2. 启动投屏服务： 修改 训练数据截取_A.py 中的 _DEVICE_ID 为你的设备 ID（通过 adb devices 获取），然后运行：

   python 启动和结束进程.py
   

3. 运行模型：

   • 在手机上启动《王者荣耀》，进入"5v5 人机对战”。
   • 运行脚本：

     python 训练数据截取_A.py
     

   • 此时 AI 将接管游戏（表现可能不佳）。

场景二：生成训练数据（自行采集）

1. 运行数据采集脚本：

   python 训练数据截取_A.py
   

2. 人工操控录制：

   • 使用键盘控制角色进行对战，脚本会自动保存图像和操作数据。
   • 按键映射：
     • w, s, a, d：控制移动方向
     • ←, ↓, →：释放技能 1, 2, 3
     • ↑ (长按)：普通攻击
     • i：结束或重新开始录制
   • 注意：建议每次采集图片不超过 5000 张。若不操作，将生成空数据。

3. （可选）下载样本数据：

   • 百度网盘：链接 (提取码：t4k3)
   • 解压后参照源码说明放置到对应目录。

场景三：训练模型

1. 数据预处理： 使用 ResNet101 处理图片并合并操作数据：

   python 处理训练数据 5.py
   

   注：若手机分辨率非 1080x2160 或按键布局不同，需先执行“游戏按键映射本地化”步骤。

2. 开始训练：

   python 训练_B.py
   

游戏按键映射本地化（关键步骤）

若您的手机分辨率或游戏布局与默认设置（1080x2160）不同，必须重新计算坐标映射：

1. 获取坐标： 在手机“开发者选项”中开启“指针位置”，记录各技能按钮在屏幕上的安卓坐标 $(X, Y)$。
2. 坐标转换： 假设手机充电口朝右握持，安卓坐标 $(X, Y)$ 需转换为 minitouch 坐标 $(1080-Y, X)$。

   公式：minitouch_x = 1080 - android_y, minitouch_y = android_x

3. 生成配置文件： 运行调试脚本记录并转换坐标：

   python check_json.py
   

   生成的 ./json/local_layout.json 需替换原文件，并在 处理训练数据 5.py 中引用。同时需对“加一技能”、“购买”等变量做相应调整。