介绍

非专业的自然语言处理和图像工程师，以及只负责调用TensorFlow库的“调包工程师”，如果你注重快速实现，那么，让我们一起做点有趣的事情吧！
本项目旨在将我在工程实践和学术研究中积累的一些深度学习思路和方法整理汇总起来：

• 帮助深度学习初学者快速上手；
• 提供现有机器学习领域中一些新的方向和思路的梳理；
• 打破思维定式，激发创新灵感。

关于深度学习的入门级浅显介绍，可以参考浅入浅出深度学习理论实践。

关于深度学习在点击率预估中的应用，可以参考yoho!buy注册概率预估。

关于深度学习在图像识别中的应用，可以参考基于SSD的图像内容识别（一）和基于SSD的图像内容识别（二）。

关于深度学习中目标向量化的方法，可以参考深度学习下的电商商品推荐。

关于深度学习中多层感知机的应用，可以参考基于TensorFlow实现多层感知机网络MLPs。

关于深度学习中DeepFM的应用，可以参考基于TensorFlow实现DeepFM。

关于深度学习中用于YouTube推荐的深度神经网络，可以参考利用DNN做推荐的实现过程总结。

关于深度学习中RCNN_GRU的应用，由于时间原因未能撰写相关博客，深感抱歉。

关于深度学习中TextCNN的应用，同样因时间不足未能撰写相关博客，敬请谅解。

关于深度学习中Bert进行微调的代码（类似接口，具体实现会根据项目需求调整），我每次构建NLP基准模型时都会在此基础上修改，主要用于命名实体识别和分类任务。可以通过Bert你需要知道的一些细节快速了解相关内容。

关于深度学习中xDeepFM的应用，可以参考xDeepFM架构理解及实现。

关于深度学习中DeepInterestNetwork的应用，由于时间原因未能撰写相关博客，深表歉意。

关于深度学习中Estimator框架模板的介绍，主要有以下三点原因：

• 团队内部开发规范性较差，TensorFlow代码风格混乱，包括slim、Keras、contrib、graph等多种写法，难以维护；
• 代码逻辑不够清晰，变量和函数定义随意；
• 从Tornado服务迁移到Serving服务后，需要更频繁地更新代码，且要求代码结构简单易懂，无需频繁查阅各种TensorFlow接口。

关于深度学习中Doc2Vec的应用，可以参考Distributed Representations of Sentences and Documents。

---

项目

RNN_applied_classification

利用GRU提取用户行为的时序稀疏特征，并生成堆叠网络的初始层。

CNN_applied_classification

利用全连接层与CNN结合提取稀疏特征，生成堆叠网络的初始层。

网络结构

Wide & Deep

对Google推荐算法代码进行了修正。原始代码来自网络，但存在无法运行或流程不完整的问题。现提供修复后的代码示例，可直接复制使用。

网络结构

注意
在Linux环境下，使用tensorflow==1.0.0时会出现如下错误，而在MacBook环境下则不会出现此问题：

double free or corruption (!prev): 0x0000000001f03dd0 ***  

解决方法是将TensorFlow版本升级至1.6.0（其他版本未测试）。官方此前曾有人提出过issue，请大家留意！

SSD_object_recognition

利用SSD直接实现物体区域检测。

图片效果

视频链接
行人识别场景
车辆识别场景

Word2vec_recommend

利用样本频率与Huffman树路径最大概率相结合的方法，实现特征向量化。

MLPs

最简单的入门级神经网络算法。

DeepFm

入门级别的CTR预测神经网络算法。

可能感兴趣的其他相关内容：FM部分||FFM部分

Deep Neural Networks for YouTube Recommendations

最近在尝试实现Google YouTube团队于2016年9月发表在RecSys会议上的论文《Deep Neural Networks for YouTube Recommendations》中的用户个性化商品推荐。阅读了大量论文中的理论总结与分析，受益匪浅。我手动实现了一遍，并总结了一些实际工程中的经验，与大家分享。

normal_version：按照论文未修改的基线模型。
attention_version：在基线模型基础上增加了注意力机制（线性注意力/RNN注意力）。
record_dataformat_version：在基线模型基础上利用record机制存储数据，以加快训练速度。

RCNN_GRU

• RCNN_GRU/model：初始化模型的脚本。
• RCNN_GRU/process：数据预处理的脚本。

TextCNN

在进行黄反广告文本的识别时：

• 初版采用朴素贝叶斯+LR（召回率：72%，精确率：88%）；
• 优化版采用CBOW+LR（召回率：77%，精确率：88%）；
• 进阶版采用CBOW/GLOVE+MLR（召回率：85%，精确率：91%）；
• 当前版本为[D2V,CBOW,GLOVE]+TextCNN（召回率：90%，精确率：92%）。

Bert

Bert+BiLSTM+Crf/FNN，更多关于Bert的内容可以参考我的ppt分享。

XDeepFM

网络结构

主要对网络架构进行了梳理，后续项目结束后会将完整的工程代码开源。

DeepInterestNetwork

与常见网络上的版本相比，有两个地方的修改，使得我们在实际使用中比官方版本的AUC提升了0.2个百分点：

• 在dice中的predict步骤中，采用了训练集的期望方差进行归一化；
• 在fc层中使用了tf.tanh替代tf.sigmoid/dice/prule。

Estimator框架模版

• data
  • 数据构造
  • DataMake.py
    • 常规构造方法
  • DeepFmDataMake.py
    • DeepFM的数据构造
  • TextCNNDataMake.py
    • TextCNN的数据构造
• model
  • 模型框架
    • DeepFM
    • TextCNN
• serving
  • docker部署
  • serving_grpc_client.py
    • 调用Serving服务

Estimator框架重新实现了DeepFM和TextCNN，整体代码量变化不大，但更加规范化。今后建议以Estimator框架作为开发模板。

Doc2Vector

源自Distributed Representations of Sentences and Documents。

工具

请参考：requirements.txt。

其他

• 邮箱：stw386@sina.com

deep_learning 快速上手指南

本指南旨在帮助非专业 NLP/图像工程师及 TensorFlow 开发者快速上手，提供从入门到进阶的深度学习工程化实现思路与代码模版。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 建议 Python 3.6+
• TensorFlow 版本:
  • 推荐 tensorflow>=1.6.0
  • 注意: 在 Linux 环境下，tensorflow==1.0.0 可能会报 double free or corruption 错误，请务必升级至 1.6.0 或更高版本。macOS 环境下 1.0.0 版本通常正常。

前置依赖

项目所需依赖包请参考官方 requirements.txt。国内用户建议使用清华源或阿里源加速安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/sladesha/deep_learning.git
   cd deep_learning
   

2. 安装依赖 推荐使用国内镜像源安装依赖：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若需单独指定 TensorFlow 版本（解决 Linux 报错问题）：

   pip install tensorflow==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目包含多个独立的算法模块，涵盖分类、推荐、识别等场景。以下是几个核心模块的快速启动示例：

1. 运行基础神经网络 (MLPs / DeepFM)

适用于入门学习及 CTR 预估任务。

# 进入对应目录 (以 DeepFM 为例)
cd DeepFm

# 运行训练脚本 (具体脚本名请参考目录内文件，通常为 train.py 或 main.py)
python train.py

注：DeepFM 和 TextCNN 已重构为 Estimator 框架模版，代码更规范，适合生产环境参考。

2. 运行文本分类 (TextCNN)

适用于黄反广告识别等文本分类任务。

cd TextCNN
# 执行数据预处理
python process_data.py
# 启动训练
python train.py

效果参考：当前版本结合 [D2V, CBOW, GLOVE]+TextCNN 可实现 Recall 90%, Precision 92%。

3. 运行目标检测 (SSD)

适用于图像内容识别。

cd SSD_object_recognition
# 运行识别脚本
python detect.py --input image.jpg

支持图片及视频流输入，可参考项目中的行人及车辆识别演示。

4. 使用 Estimator 框架模版 (推荐)

为了统一代码风格并便于部署，建议使用 Estimator 目录下的规范化代码。

cd Estimator框架模版

# 数据构造示例
python data/DeepFmDataMake.py

# 模型训练 (以 DeepFM 为例)
python model/DeepFM/train.py

# 服务部署 (Docker/gRPC)
python serving/serving_grpc_client.py

5. Bert 微调 (NLP 基线)

适用于 NER 和文本分类任务的快速基线构建。

cd Bert
# 修改配置后直接运行，代码结构类似接口，可根据具体项目调整
python run_classifier.py

提示: 各子目录下通常包含 model (模型定义), process (数据处理) 等子文件夹，请根据具体算法文档调整输入数据路径。