facial-expression-recognition-using-cnn
facial-expression-recognition-using-cnn 是一个基于深度学习的面部表情识别开源项目，利用 OpenCV 和 TensorFlow 构建卷积神经网络（CNN），能够从静态图片或实时摄像头视频流中精准识别人脸情绪。
该项目主要解决了在复杂现实场景下表情分类的难题。它使用的 Fer2013 数据集存在图像未对齐、标签错误及部分样本不含人脸等挑战，对模型的泛化能力和鲁棒性提出了极高要求。为了突破仅靠原始像素训练的局限，该工具创新性地融合了人脸关键点（Face Landmarks）和方向梯度直方图（HOG）特征作为额外输入信息。实验数据表明，这种多特征融合策略显著提升了识别准确率，其中深层卷积架构配合滑动窗口技术最高可达 75.1% 的精度，优于传统支持向量机（SVM）方法。
此工具非常适合人工智能开发者、计算机视觉研究人员以及希望探索情感计算应用的学生使用。它不仅提供了完整的模型训练、超参数优化及评估流程，还包含了从数据预处理到实时推理的详细代码示例。对于想要深入理解如何通过结合几何特征与纹理特征来优化 CNN 性能的技术人员来说，这是一个极具参考价值的基准项目。
使用场景
某在线教育平台的技术团队正在开发一套"AI 课堂专注度分析系统”，旨在通过摄像头实时捕捉学生上课时的面部表情，以评估教学效果和学生情绪状态。
没有 facial-expression-recognition-using-cnn 时
- 开发门槛高且周期长：团队需从零构建卷积神经网络架构，并手动处理 FER2013 数据集中大量未对齐、标签错误甚至不含人脸的噪声数据，耗时数周难以产出可用模型。
- 识别准确率遭遇瓶颈：仅依靠原始像素训练的传统模型泛化能力弱，在面对复杂光线或侧脸时，对愤怒、恐惧等细微表情的识别率远低于预期的 75%，无法满足商业交付标准。
- 缺乏实时推理能力：现有方案多基于静态图片分析，难以整合 OpenCV 与 TensorFlow 实现低延迟的视频流处理，导致无法在直播课中提供即时的情绪反馈。
- 特征工程单一：未能有效融合人脸关键点（Face Landmarks）和方向梯度直方图（HOG）等辅助特征，错失了提升模型鲁棒性的关键机会。
使用 facial-expression-recognition-using-cnn 后
- 快速建立高质量基线：直接复用项目中经过验证的 CNN Model B 架构及数据预处理流程，自动处理脏数据并将基准准确率提升至 75% 以上，将研发周期从数周缩短至几天。
- 多特征融合提升精度：利用工具内置的关键点与 HOG 特征提取模块，显著增强了模型对遮挡和姿态变化的抵抗力，使“惊喜”、“厌恶”等难分类别识别效果大幅改善。
- 原生支持实时视频流：基于 OpenCV 的集成方案可直接对接摄像头数据流，实现了毫秒级的表情检测与分类，让教师端能实时看到全班的情绪热力图。
- 灵活的实验对比机制：团队可轻松切换不同配置（如是否加入滑动窗口或批归一化），快速验证哪种特征组合最适合当前具体的教室监控场景。
facial-expression-recognition-using-cnn 通过提供成熟的深度学习基线与多特征融合策略，帮助团队以最低成本突破了复杂场景下实时表情识别的技术瓶颈。
运行环境要求
未说明
未说明
快速开始
使用 TensorFlow 中的 CNN 进行面部表情识别
使用卷积神经网络（CNN）从图像或视频/摄像头流中识别面部表情。
目录
1. 动机
我们的目标是建立一个快速基准，以比较仅使用图像的原始像素进行训练的 CNN 架构是否表现更好，或者向 CNN 输入一些额外信息（如人脸关键点或 HOG 特征）是否会带来更好的效果。结果表明，额外的信息确实有助于提高 CNN 的性能。
为了训练模型，我们使用了 Fer2013 数据集，该数据集包含 30,000 张面部表情图像，分为七类：愤怒、厌恶、恐惧、快乐、悲伤、惊讶和 neutral。
首先使用 OpenCV 检测人脸，然后使用 dlib 提取人脸关键点。此外，我们还提取了 HOG 特征，并将原始图像数据与人脸关键点和 HOG 特征一起输入到卷积神经网络中。
在实验中，我们使用了两个 CNN 模型：
2. 为什么 Fer2013 数据集具有挑战性？
Fer2013 是一个具有挑战性的数据集。图像未对齐，且部分图像标签不正确，如下所示。此外，还有一些样本中并不包含人脸。
这使得分类任务更加困难，因为模型必须具备良好的泛化能力和对错误数据的鲁棒性。据我所知，在该数据集上取得的最佳准确率是 75.2%，如这篇论文所述： [使用卷积神经网络进行面部表情识别：最新进展，Pramerdorfer 等人，2016]
3. 分类结果（基于 5 种表情的训练）
| 实验 | SVM | Model A | Model B | 差异 |
|---|---|---|---|---|
| CNN（基于原始像素） | ----- | 72.4% | 73.5% | +1.1% |
| CNN + 人脸关键点 | 46.9% | 73.5% | 74.4% | +0.9% |
| CNN + 人脸关键点 + HOG | 55.0% | 68.7% | 73.2% | +4.5% |
| CNN + 人脸关键点 + HOG + 滑动窗口 | 59.4% | 71.4% | 75.1% | +3.7% |
正如预期：
- CNN 模型的表现优于 SVM（SVM 的实现代码可在以下仓库中找到：使用 SVM 进行面部表情识别）
- 结合更多特征，例如人脸关键点和 HOG，可以略微提高准确率。
- 由于 CNN Model B 使用了深层卷积，因此在所有实验中都取得了更好的结果（最高可提升 4.5%）。
值得注意的是，在 CNN Model A 中使用 HOG 特征反而降低了结果，相比仅使用原始数据而言。这可能是由于过拟合或未能有效提取信息之间的相关性所致。
在下表中，我们可以看到批量归一化对提升结果的影响：
| 批量归一化效果 | on Model A | on Model B |
|---|---|---|
| CNN（基于原始像素） | +7.4% | +39.3% |
| CNN + 人脸关键点 | +26.2% | +50.0% |
| CNN + 人脸关键点 + HOG | +1.9% | +50.1% |
| CNN + 人脸关键点 + HOG + 滑动窗口 | +16.7% | +16.9% |
在之前的实验中，我仅使用 5 种表情进行训练：愤怒、快乐、悲伤、惊讶和 neutral。
使用最佳模型在整个数据集（7 种情绪）上训练后，准确率降至 61.4%。据我所知，在该数据集上取得的最先进结果是 75.2%，如这篇论文所述。
注意：代码已在 Python 2.7 和 3.6 中测试通过。
4. 如何使用？
4.1. 安装依赖项
- Tensorflow
- Tflearn
- Numpy
- Argparse
- [可选] Hyperopt + pymongo + networkx
- [可选] dlib、imutils、OpenCV 3
- [可选] scipy、pandas、skimage
建议使用 Anaconda 环境来更方便地安装依赖项（尤其是 OpenCV 和 dlib）。
4.2. 下载并准备数据
下载 Fer2013 数据集和人脸关键点模型
解压下载的文件
将
fer2013.csv和shape_predictor_68_face_landmarks.dat文件放入本项目的根目录。转换数据集以提取人脸关键点和 HOG 特征
python convert_fer2013_to_images_and_landmarks.py您也可以根据需要使用以下可选参数：
-j,--jpg(yes|no): 将图像保存为 .jpg 文件（默认为 no）-l,--landmarks(yes|no): 提取 Dlib 人脸关键点（默认为 yes）-ho,--hog(yes|no): 提取 HOG 特征（默认为 yes）-hw,--hog_windows(yes|no): 使用滑动窗口提取 HOG 特征（默认为 yes）-hi,--hog_images(yes|no): 提取 HOG 图像（默认为 no）-o,--onehot(yes|no): 进行独热编码（默认为 yes）-e,--expressions(数字列表): 选择要使用的面部表情：0=愤怒，1=厌恶，2=恐惧，3=快乐，4=悲伤，5=惊讶，6=neutral（默认为 0,1,2,3,4,5,6）
示例：
python convert_fer2013_to_images_and_landmarks.py python convert_fer2013_to_images_and_landmarks.py --landmarks=yes --hog=no --how_windows=no --jpg=no --expressions=1,4,6脚本将创建一个文件夹，其中包含已准备好的数据，并以 numpy 数组的形式保存。 请确保
--onehot参数设置为yes（默认值）。
4.3. 训练模型
在
parameters.py中选择你的参数。启动训练：
python train.py --train=yes
parameters.py 文件中第 20 行的变量 output_size 应与你希望训练的人脸表情数量相对应。默认设置为 7 种表情。
- 训练并评估：
python train.py --train=yes --evaluate=yes
注意：如果你想同时进行训练和评估，请确保将 parameters.py 中的 save_model 参数设置为 True。
4.4. 优化训练超参数
- 对于本节，你需要先安装以下可选依赖项：
pip install hyperopt, pymongo, networkx
- 启动超参数搜索：
python optimize_hyperparams.py --max_evals=20
- 随后，你应该使用最佳参数重新训练模型。
注意：显示的准确率仅适用于验证集，不包括测试集。
4.5. 评估已训练模型（计算测试准确率）
- 修改
parameters.py：
将 save_model_path 参数设置为你预训练模型文件的路径。
- 在测试集上启动评估：
python train.py --evaluate=yes
4.6. 从图像文件中识别人脸表情
对于本节，你需要安装
dlib和opencv 3依赖项。修改
parameters.py：
将 save_model_path 参数设置为你预训练模型文件的路径。
- 从文件中预测情绪：
python predict.py --image path/to/image.jpg
4.7. 从视频中实时识别人脸表情
对于本节，你需要安装
dlib、imutils和opencv 3依赖项。修改
parameters.py：
将 save_model_path 参数设置为你预训练模型文件的路径。
- 从视频中预测情绪：
python predict-from-video.py
此时会弹出一个窗口，其中包含人脸框以及预测的表情。按 q 键即可停止。
注意：如果你在训练模型时更改了表情的数量（默认为 7 种），请务必更新 parameters.py 第 51 行的情绪数组。
5. 贡献
对感兴趣的贡献者的一些建议：
- 自动下载数据
- 添加数据增强？
- 引入其他特征提取技术？
- 改进模型
欢迎添加或提出更多想法。如发现任何问题，请在 issues 页面中提交报告。
常见问题
相似工具推荐
openclaw
OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
markitdown
MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备