嗨，讀者朋友：

如果你覺得我的作品很有用，並且已經基於這個項目實現了自己的應用，那麼請務必通過電子郵件與我分享你的項目情況。這將會給我很大的動力！
謝謝！

CNNGestureRecognizer

使用 Keras + Theano + OpenCV 實現的基於 CNN 神經網絡的手勢識別

主要依賴： Python 3.6.1
OpenCV 3.4.1
Keras 2.0.2
TensorFlow 1.2.1
Theano 0.9.0（已過時且不再維護）

建議：最好下載 Anaconda，它能自動處理大多數依賴包，並方便搭建虛擬環境來管理不同版本的關鍵庫，如 Python、OpenCV 等。

新變化

我在這個倉庫中新增了幾項改動：

• 現在完全兼容 Python 3。
• 增加了對 TensorFlow 的支持，因為 Theano 已停止開發。
• 新增了一種背景減除濾波器，這是目前為止針對本項目效果最好的濾波器。
• 許多性能優化改動，現在即使啟用預測模式，也幾乎不會出現 FPS 下降。
• 添加了應用內圖形繪製功能，可用於觀察手勢預測的概率分佈。

項目內容

• trackgesture.py：主程序入口。該文件包含了所有 UI 選項以及用於捕獲攝像頭畫面的 OpenCV 程序碼。此腳本會內部調用 gestureCNN.py 中的接口。
• gestureCNN.py：該文件包含所有與 CNN 相關的代碼，用於創建 CNN 模型、加載權重文件（若模型已預訓練）、使用 ./imgfolder_b 中的圖像樣本訓練模型，以及可視化預訓練模型在不同層次上的特徵圖（針對 ./imgs 文件夾中的輸入圖像）。
• imgfolder_b：此文件夾包含我用來訓練模型的 4015 張手勢圖像。

- 注意：我已將 ori_4015imgs_weights.hdf5 權重文件替換為這兩份針對不同操作系統的權重文件。

• pretrained_weights_MacOS.hdf5：這是適用於 macOS 的預訓練權重文件。由於其體積較大（150 MB），我將其單獨存放在 Google Drive 鏈接中：https://drive.google.com/file/d/1j7K96Dkatz6q6zr5RsQv-t68B3ZOSfh0/view
• pretrained_weights_WinOS.hdf5：這是適用於 Windows 的預訓練權重文件。同樣由於其體積較大（150 MB），我也將其單獨存放在 Google Drive 鏈接中：https://drive.google.com/file/d/1PA7rJxHYQsW5IvcZAGeoZ-ExYSttFuGs/view
• imgs：這是一個可選文件夾，包含一些示例圖像，用戶可以用它來可視化不同層次的特徵圖。這些圖像均來自 imgfolder_b。
• ori_4015imgs_acc.png：這是一張圖表，顯示了模型訓練後的準確率與驗證數據準確率的對比。
• ori_4015imgs_loss.png：這是一張圖表，顯示了模型訓練後的損失與驗證損失的對比。

使用方法

在 Mac 上

例如：以 Theano 為後端
$ KERAS_BACKEND=tensorflow python trackgesture.py 

在 Windows 上

例如：以 TensorFlow 為後端
> set "KERAS_BACKEND=tensorflow"
> python trackgesture.py 

我們設置 KERAS_BACKEND 是為了切換後端到 Theano；如果你已經通過 Keras.json 進行了設定，則無需再次操作。但如果你的默認後端是 TensorFlow，那麼就需要這樣設置。

功能特點

本應用配備一個 CNN 模型，可識別最多 5 種預訓練手勢：

• OK
• 和平手勢
• 停止手勢
• 拳頭
• 無動作（即當沒有上述任何手勢時）

該應用提供以下功能：

• 預測：允許應用根據預訓練的手勢來判斷用戶的手勢。預測結果可以輸出到控制台或直接保存為 JSON 文件，以便進一步繪製實時預測柱狀圖（可使用我的另一個腳本：https://github.com/asingh33/LivePlot）。
• 新訓練：允許用戶重新訓練神經網絡模型。用戶可以更改模型架構或添加/刪除新的手勢。應用內還提供了創建自定義手勢圖像樣本的功能。
• 可視化：允許用戶查看特定輸入手勢圖像在不同神經網絡層次上的特徵圖。這有助於理解神經網絡的工作原理及其學習過程。

示範影片

YouTube 鏈接：https://www.youtube.com/watch?v=CMs5cn65YK8

手勢輸入

我使用 OpenCV 來捕捉用戶的手勢。為了簡化流程，我對捕獲到的圖像進行後期處理，強調輪廓和邊緣，例如應用二值閾值、模糊處理和灰度轉換。

我提供了兩種捕獲模式：

• 二值模式：首先將圖像轉換為灰度，然後應用高斯模糊和自適應閾值濾波器。這種模式適用於背景簡單的情況，例如牆壁或白板等。
• 皮膚掩膜模式：在此模式下，先將輸入圖像轉換為 HSV 格式，並根據皮膚顏色範圍設置 H、S、V 的閾值。接著進行腐蝕和膨脹操作，再用高斯模糊去除雜訊。最後將處理結果作為掩膜疊加到原始圖像上，只保留皮膚顏色的部分，然後再轉為灰度。這種模式適用於光照充足且背景複雜的情況。

二值模式處理

gray = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray,(5,5),2)   
th3 = cv2.adaptiveThreshold(blur,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY_INV,11,2)
ret, res = cv2.threshold(th3, minValue, 255, cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)

皮膚掩膜模式處理

hsv = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
    
#應用皮膚顏色範圍
mask = cv2.inRange(hsv, low_range, upper_range)

mask = cv2.erode(mask, skinkernel, iterations = 1)
mask = cv2.dilate(mask, skinkernel, iterations = 1)

#模糊
mask = cv2.GaussianBlur(mask, (15,15), 1)
#cv2.imshow("Blur", mask)

#按位與運算，保留皮膚區域
res = cv2.bitwise_and(roi, roi, mask = mask)
#轉為灰度
res = cv2.cvtColor(res, cv2.COLOR_BGR2GRAY)

使用的CNN模型

我在这个项目中使用的CNN模型是一个非常常见的架构，可以在许多关于CNN的教程中找到。通常，这种模型被用于基于MNIST数据集的数字/手写体识别任务。

model = Sequential()
model.add(Conv2D(nb_filters, (nb_conv, nb_conv),
                    padding='valid',
                    input_shape=(img_channels, img_rows, img_cols)))
convout1 = Activation('relu')
model.add(convout1)
model.add(Conv2D(nb_filters, (nb_conv, nb_conv)))
convout2 = Activation('relu')
model.add(convout2)
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.5))

model.add(Flatten())
model.add(Dense(128))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))

该模型共有12层：

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 32, 198, 198)      320       
_________________________________________________________________
activation_1 (Activation)    (None, 32, 198, 198)      0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 32, 196, 196)      9248      
_________________________________________________________________
activation_2 (Activation)    (None, 32, 196, 196)      0         
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 32, 98, 98)        0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 32, 98, 98)        0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 307328)            0         
_________________________________________________________________
dense_1 (Dense)              (None, 128)               39338112  
_________________________________________________________________
activation_3 (Activation)    (None, 128)               0         
_________________________________________________________________
dropout_2 (Dropout)          (None, 128)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 5)                 645       
_________________________________________________________________
activation_4 (Activation)    (None, 5)                 0         
=================================================================

总参数量：39,348,325.0 可训练参数量：39,348,325.0

训练

在项目的1.0版本中，我仅使用了1204张图像进行训练。虽然预测概率尚可，但并不令人满意。因此，在2.0版本中，我将训练图像集增加到4015张，即每类803张样本。此外，我还新增了一个“无动作”类别，与原有的4种手势类别一起使用。

我将模型训练了15个epoch。

可视化

CNN擅长检测图像中的边缘，因此在图像分类等任务中非常有用。为了理解神经网络如何处理不同的手势输入，我们可以可视化各层的特征图内容。

运行主脚本后，选择选项3以可视化给定图像的某一层或所有层（当前脚本从./imgs目录加载图像，请根据实际情况调整）。

你想做什么？
    1- 使用预训练模型进行手势识别及层可视化
    2- 训练模型（你需要在.\imgfolder下准备训练图像）
    3- 可视化训练好的模型各层的特征图
    3
将加载默认权重文件
图像编号7
请输入要可视化的层数 -1
(4015, 40000)
按任意键
每类样本数 - 803
总层数 - 12
正在导出第1层 - 激活函数 的滤波器数据
正在导出第2层 - 卷积层 的滤波器数据
正在导出第3层 - 激活函数 的滤波器数据
正在导出第4层 - 最大池化层 的滤波器数据
正在导出第5层 - Dropout 的滤波器数据
无法导出第6层 - 展平层 的数据
无法导出第7层 - 全连接层 的数据
无法导出第8层 - 激活函数 的数据
无法导出第9层 - Dropout 的数据
无法导出第10层 - 全连接层 的数据
无法导出第11层 - 激活函数 的数据
按任意键继续

要了解Keras中具体实现方式，请查看gestureCNN.py中的visualizeLayer()函数：

layer = model.layers[layerIndex]

get_activations = K.function([model.layers[0].input, K.learning_phase()], [layer.output,])
activations = get_activations([input_image, 0])[0]
output_image = activations

第4层对PUNCH手势的可视化

第2层对STOP手势的可视化

结论

那么接下来该怎么办呢？我想测试一下神经网络预测的响应速度，而游戏是一个很好的基准。我的Mac上没有安装任何游戏，不过Chrome浏览器中的恐龙跳跃游戏正好派上了用场。于是，我将“Punch”手势绑定到了恐龙角色的跳跃动作上。当然，也可以使用其他手势，但我认为Punch手势更容易操作。Stop手势也是一个不错的选择。

结果就是这样：

观看完整视频 - https://www.youtube.com/watch?v=lnFPvtCSsLA&t=49s

如果您想引用我的工作

Abhishek Singh，“asingh33/CNNGestureRecognizer: CNNGestureRecognizer（版本1.3.0）”，Zenodo。http://doi.org/10.5281/zenodo.1064825，2017年11月。 请告诉我您是如何在自己的项目中使用这项工作的。我很期待看到您的成果。祝您好运！

别忘了去看看我另一个GitHub项目，我在那里使用了这个框架，并应用监督学习技术来训练Chrome浏览器中的TRex角色 :) https://techkblog.com/teach-an-ai-to-play-game-using-supervised-learning/ YouTube链接 - https://youtu.be/ZZgvklkQrss

CNNGestureRecognizer 快速上手指南

CNNGestureRecognizer 是一个基于卷积神经网络（CNN）的手势识别开源项目，支持通过摄像头实时识别"OK"、“和平”、“停止”、“出拳”及“无手势”五种状态。本项目使用 Keras 构建模型，支持 TensorFlow 后端，并集成 OpenCV 进行图像预处理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Windows 或 macOS (Linux 未明确测试但通常兼容)
• Python 版本: Python 3.6.1 (推荐 3.6+)
• 核心依赖:
  • OpenCV 3.4.1+
  • Keras 2.0.2+
  • TensorFlow 1.2.1+ (推荐使用，Theano 已停止维护)
• 推荐方案: 建议安装 Anaconda，以便轻松管理虚拟环境和多版本的 Python、OpenCV 等依赖包。

注意：原项目提及的 Theano 后端已过时，本指南默认使用 TensorFlow 作为后端。

安装步骤

1. 克隆项目

首先从 GitHub 获取源代码：

git clone https://github.com/asingh33/CNNGestureRecognizer.git
cd CNNGestureRecognizer

2. 创建虚拟环境 (推荐)

使用 Conda 创建隔离环境并安装基础依赖：

conda create -n gesture_env python=3.6
conda activate gesture_env

3. 安装依赖库

安装必要的 Python 包。由于原项目依赖较老，若遇到兼容性问题，可尝试安装较新的稳定版（通常向下兼容）：

pip install opencv-python==3.4.1.15 keras==2.0.2 tensorflow==1.2.1 numpy matplotlib h5py

(注：如果 tensorflow==1.2.1 在当前系统难以安装，可尝试安装 tensorflow>=1.4 并调整 Keras 版本，但需确保代码中无废弃 API 调用)

4. 下载预训练权重

项目将预训练权重文件托管在 Google Drive，需根据操作系统手动下载并放入项目根目录：

• macOS 用户: 下载链接: pretrained_weights_MacOS.hdf5

  # 下载后重命名为 pretrained_weights_MacOS.hdf5
  

• Windows 用户: 下载链接: pretrained_weights_WinOS.hdf5

  rem 下载后重命名为 pretrained_weights_WinOS.hdf5
  

基本使用

完成上述步骤后，即可运行手势识别主程序。

启动识别程序

在 macOS 上运行：

export KERAS_BACKEND=tensorflow
python trackgesture.py

在 Windows 上运行：

set "KERAS_BACKEND=tensorflow"
python trackgesture.py

操作说明

运行脚本后，终端将出现交互菜单：

What would you like to do ?
    1- Use pretrained model for gesture recognition & layer visualization
    2- Train the model (you will require image samples for training under .\imgfolder)
    3- Visualize feature maps of different layers of trained model

• 实时识别: 输入 1 并回车。程序将调用摄像头，实时检测并显示手势类别（OK, PEACE, STOP, PUNCH, NOTHING）。
• 重新训练: 输入 2。您可以使用 ./imgfolder_b 中的样本或自行采集的新数据重新训练模型。
• 可视化特征图: 输入 3。可以观察 CNN 不同层对输入图像的特征提取效果（需修改代码指定图片路径）。

摄像头模式切换

程序内置了两种图像处理模式，可在代码中根据环境光线和背景复杂度切换：

1. Binary Mode (二值化模式): 适用于背景简单（如白墙）的场景，使用自适应阈值处理。
2. SkinMask Mode (肤色掩膜模式): 适用于背景复杂但光线充足的场景，通过 HSV 颜色空间提取肤色区域。