AlphaTree : DNN && GAN && NLP && BIG DATA 从新手到深度学习应用工程师

从AI研究的角度来说，AI的学习和跟进是有偏向性的，更多的精英是擅长相关的一到两个领域，在这个领域做到更好。而从AI应用工程师的角度来说，每一个工程都可能涉及很多个AI的方向，而他们需要了解掌握不同的方向才能更好的开发和设计。

但是AI中每一个领域都在日新月异的成长。而每一位研究人员写paper的风格都不一样，相似的模型，为了突出不同的改进点，他们对模型的描述和图示都可能大不相同。为了帮助更多的人在不同领域能够快速跟进前沿技术，我们构建了“AlphaTree计划”，每一篇文章都会对应文章，代码，然后进行图示输出。

在面试到一些同学的时候，他们总是信誓旦旦的表示要转深度学习，但是存在能推导公式，但是一到深入理念，或者工程项目细节就两眼一抹黑。有没有一个项目，能一个一个项目帮助大家理解深度学习的发展的同时也提高应用能力。

基于这种想法，邀请了几位资深程序员加入这个项目。希望丰富的资源能够帮助到大家。

版权申明：CC-BY-NC-SA 知识共享-署名-非商业性-相同方式共享

1 AI千集 aiqianji.com 以AI应用为目的 的一个社区。 （ AI+ Creation = Change the world。 AI千集在研究一些智能创作的事情，现在每天都会更新AI自己筛选的文章等等。 试试让AI 来服务于大家，）

目前已经开始可以全自动中英文翻译加论文简报。受欢迎的 还会做ppt输出。 如何服务大家 还在计划中。

PPT生成已经上线。参与社区的活跃分子 每天获取积分 就能免费使用了。 https://aiqianji.com/blog/ppt/home

还做了一些学术专用的技能，主要是偏数学和公式的。是目前其他做ppt的没有的。开发小哥哥说，只要有用户了，就给大家上。 欢迎大家来这个地方留言。

公众号 千集助理

导航网站 没人维护，已经被开发小哥哥干掉了，做了个飞书云文档 ，自己用的，也分享给大家 飞书链接：https://dqhl68ssqm.feishu.cn/wiki/EfICwwVc1il4uQkHMUUc0p8dnXb?from=from_copylink 密码：aiqianji.com

小程序： 千集助理

智能创作 以前接了gpt，但是因为管控，改接了其他家gpt模型都已经接入，因为懒得和AI聊太多，希望他尽快干活，所以做了些优化。 譬如一些指令大师，长文改写大师， 毕竟工作日常还是很多文档需求的，如专利，软著，报告等。AI真是治脱发神器 当然如果需要，我们做知识库也用的很多大家流传的 prompt 都可以继续无偿分享给大家，加客服就可以领取。

AI绘图我们也做了很久，给to b训了很多独家模型。最近AI视频真的很厉害，最近内测了好几家，效果也很杰出了。2025年估计价格能打到非常低的情况。

客服可以加：

年底了，这个项目 基本也是年更。每年年底，就会发现技术爆炸。 而当美丽的烟花绚烂之后，就将沉寂下来，托举无数的AI应用。

这是个最神奇的年代，希望你们，每一个人，在这个时代，创造奇迹。

也希望更多的人，能够真正的了解AI，了解用户，做出更好的应用。

AI视频

vidu www.vidu.cn

2025年初 目前常用的视频产品和对应价格。

AI视频产品	标准档月度会员价格	积分/秒	每秒价格(元)	官网
Vidu 2.0	69元(800积分)	3积分/秒	0.258	www.vidu.cn
Pika	约等于73元(700积分)	3积分/秒	0.313	https://pika.art/
海螺	68元(1000积分)	5积分/秒	0.34	https://hailuoai.com/
luma	约等于73元(3200积分)	16积分/秒	0.365	https://lumalabs.ai/
PixVerse	约等于73元(1200分)	6积分/秒	0.365	https://app.pixverse.ai/
可灵1.5/1.6	66元(660积分)	4积分/秒	0.4	https://kling.kuaishou.com/
即梦2.0Pro	79元(520积分)	4积分/秒	0.608	https://jimeng.jianying.com/ai-tool/home
Runway (Gen-3 Alpha Turbo)	约等于110元(625积分)	5积分/秒	0.88	https://app.runwayml.com/
Sora (720p)	约等于147元(1000积分)	12积分/秒	1.764	https://openai.com/sora

https://dqhl68ssqm.feishu.cn/wiki/EfICwwVc1il4uQkHMUUc0p8dnXb?fromScene=spaceOverview

Sora 相关

官网 ：https://openai.com/sora

https://github.com/hpcaitech/Open-Sora

https://github.com/lichao-sun/mora

经典部分

深度学习在解决分类问题上非常厉害。让它声名大噪的也是对于图像分类问题的解决。也产生了很多很经典的模型。其他方向的模型发展很多都是源于这各部分，它是很多模型的基础工作。因此我们首先了解一下它们。

从模型的发展过程中，随着准确率的提高，网络结构也在不断的进行改进，现在主要是两个方向，一是深度，二是复杂度。此外还有卷积核的变换等等。

深度神经网络的发展要从经典的LeNet模型说起，那是1998年提出的一个模型，在手写数字识别上达到商用标准。之后神经网络的发展就由于硬件和数据的限制，调参的难度等各种因素进入沉寂期。

到了2012年，Alex Krizhevsky 设计了一个使用ReLu做激活函数的AlexNet 在当年的ImageNet图像分类竞赛中(ILSVRC 2012)，以top-5错误率15.3%拿下第一。 他的top-5错误率比上一年的冠军下降了十个百分点，而且远远超过当年的第二名。而且网络针对多GPU训练进行了优化设计。从此开始了深度学习的黄金时代。

大家发表的paper一般可以分为两大类，一类是网络结构的改进，一类是训练过程的改进，如droppath，loss改进等。

之后网络结构设计发展主要有两条主线，一条是Inception系列（即上面说的复杂度），从GoogLeNet 到Inception V2 V3 V4，Inception ResNet。 Inception module模块在不断变化，一条是VGG系列（即深度），用简单的结构，尽可能的使得网络变得更深。从VGG 发展到ResNet ，再到DenseNet ，DPN等。

最终Google Brain用500块GPU训练出了比人类设计的网络结构更优的网络NASNet,最近训出了mNasNet。

此外，应用方面更注重的是，如何将模型设计得更小，这中间就涉及到很多卷积核的变换。这条路线则包括 SqueezeNet，MobileNet V1 V2 Xception shuffleNet等。

ResNet的变种ResNeXt 和SENet 都是从小模型的设计思路发展而来。

输入:图片 输出:类别标签

模型名	AlexNet	ZFNet	VGG	GoogLeNet	ResNet
初入江湖	2012	2013	2014	2014	2015
层数	8	8	19	22	152
Top-5错误	16.4%	11.2%	7.3%	6.7%	3.57%
Data Augmentation	+	+	+	+	+
Inception(NIN)	–	–	–	+	–
卷积层数	5	5	16	21	151
卷积核大小	11,5,3	7,5,3	3	7,1,3,5	7,1,3
全连接层数	3	3	3	1	1
全连接层大小	4096,4096,1000	4096,4096,1000	4096,4096,1000	1000	1000
Dropout	+	+	+	+	+
Local Response Normalization	+	+	–	+	–
Batch Normalization	–	–	–	–	+

ILSVRC2016 2016 年的 ILSVRC，来自中国的团队大放异彩：

CUImage（商汤和港中文），Trimps-Soushen（公安部三所），CUvideo（商汤和港中文），HikVision（海康威视），SenseCUSceneParsing（商汤和香港城市大学），NUIST（南京信息工程大学）包揽了各个项目的冠军。

CUImage（商汤科技和港中文）：目标检测第一； Trimps-Soushen（公安部三所）：目标定位第一； CUvideo（商汤和港中文）：视频中物体检测子项目第一； NUIST（南京信息工程大学）：视频中的物体探测两个子项目第一； HikVision（海康威视）：场景分类第一； SenseCUSceneParsing（商汤和港中文）：场景分析第一。

其中，Trimps-Soushen 以 2.99% 的 Top-5 分类误差率和 7.71% 的定位误差率赢得了 ImageNet 分类任务的胜利。该团队使用了分类模型的集成（即 Inception、Inception-ResNet、ResNet 和宽度残差网络模块的平均结果）和基于标注的定位模型 Faster R-CNN 来完成任务。训练数据集有 1000 个类别共计 120 万的图像数据，分割的测试集还包括训练未见过的 10 万张测试图像。

ILSVRC 2017 Momenta 提出的SENet 获得了最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军， 2.251% Top-5 错误率

模型总览 <- 之前展示所有模型的主页挪到这里来了。点这里 点这里

---

模型索引：

LeNet	AlexNet	GoogLeNet	Inception V3	VGG	ResNet and ResNeXt
Inception-Resnet-V2	DenseNet	DPN	PolyNet	SENet	NasNet

---

深度学习应用

轻量级模型 & 剪枝	物体检测Object Detection	物体分割Object Segmentation	OCR
人脸检测Face Detection	人脸识别Face Recognition	肢体检测Pose Detection(coming soon)	3D(coming soon)

物体分类（物体识别）解决的是这个东西是什么的问题（What）。而物体检测则是要解决这个东西是什么，具体位置在哪里（What and Where）。 物体分割则将物体和背景进行区分出来，譬如人群，物体分割中的实例分割则将人群中的每个人都分割出来。 输入:图片 输出:类别标签和bbox(x,y,w,h)

---

GAN基础

参考Mohammad KHalooei的教程，我也将GAN分为4个level，第四个level将按照应用层面进行拓展。 这里基础部分包括Gan的定义，GAN训练上的改进，那些优秀的GAN.具体可以参见 GAN 对抗生成网络发展总览

GAN的定义 Level 0: Definition of GANs

Level	Title	Co-authors	Publication	Links
Beginner	GAN : Generative Adversarial Nets	Goodfellow & et al.	NeurIPS (NIPS) 2014	link
Beginner	GAN : Generative Adversarial Nets (Tutorial)	Goodfellow & et al.	NeurIPS (NIPS) 2016 Tutorial	link
Beginner	CGAN : Conditional Generative Adversarial Nets	Mirza & et al.	-- 2014	link
Beginner	InfoGAN : Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets	Chen & et al.	NeuroIPS (NIPS) 2016

模型结构的发展：

---

CGAN

LAPGAN

IcGAN

ACGAN

SemiGan /SSGAN

InfoGan

---

GAN训练上的改进 Level1：Improvements of GANs training

然后看看 loss、参数、权重的改进：

Level	Title	Co-authors	Publication	Links
Beginner	LSGAN : Least Squares Generative Adversarial Networks	Mao & et al.	ICCV 2017	link
Advanced	Improved Techniques for Training GANs	Salimans & et al.	NeurIPS (NIPS) 2016	link
Advanced	WGAN : Wasserstein GAN	Arjovsky & et al.	ICML 2017	link
Advanced	WGAN-GP : improved Training of Wasserstein GANs	2017	link
Advanced	Certifying Some Distributional Robustness with Principled Adversarial Training	Sinha & et al.	ICML 2018	link code

Loss Functions:

LSGAN(Least Squares Generative Adversarial Networks)

LS-GAN - Guo-Jun Qi, arxiv: 1701.06264

[2] Mao et al., 2017.4 pdf

 https://github.com/hwalsuklee/tensorflow-generative-model-collections https://github.com/guojunq/lsgan

用了最小二乘损失函数代替了GAN的损失函数,缓解了GAN训练不稳定和生成图像质量差多样性不足的问题。

但缺点也是明显的, LSGAN对离离群点的过度惩罚, 可能导致样本生成的'多样性'降低, 生成样本很可能只是对真实样本的简单模仿和细微改动.

WGAN

WGAN - Martin Arjovsky, arXiv:1701.07875v1

WGAN： 在初期一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。

为啥难训练？ 令人拍案叫绝的Wasserstein GAN 中做了如下解释 ： 原始GAN不稳定的原因就彻底清楚了：判别器训练得太好，生成器梯度消失，生成器loss降不下去；判别器训练得不好，生成器梯度不准，四处乱跑。只有判别器训练得不好不坏才行，但是这个火候又很难把握，甚至在同一轮训练的前后不同阶段这个火候都可能不一样，所以GAN才那么难训练。

https://zhuanlan.zhihu.com/p/25071913

WGAN 针对loss改进 只改了4点： 1.判别器最后一层去掉sigmoid 2.生成器和判别器的loss不取log 3.每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 4.不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行

https://github.com/martinarjovsky/WassersteinGAN

WGAN-GP

Regularization and Normalization of the Discriminator:

WGAN-GP：

WGAN的作者Martin Arjovsky不久后就在reddit上表示他也意识到没能完全解决GAN训练稳定性，认为关键在于原设计中Lipschitz限制的施加方式不对，并在新论文中提出了相应的改进方案--WGAN-GP ,从weight clipping到gradient penalty,提出具有梯度惩罚的WGAN（WGAN with gradient penalty）替代WGAN判别器中权重剪枝的方法(Lipschitz限制)：

[1704.00028] Gulrajani et al., 2017,improved Training of Wasserstein GANspdf

Tensorflow实现：https://github.com/igul222/improved_wgan_training

pytorch https://github.com/caogang/wgan-gp

GAN的实现 Level 2: Implementation skill

标题	合著者	发表	链接	尺寸	FID/IS
Keras实现GANs	林德-诺伦	Github	链接
GAN实现技巧	萨利曼论文 & 钦塔拉	世界研究	链接 论文
DCGAN：使用深度卷积生成对抗网络进行无监督表示学习	拉德福德等	ICLR 2016	链接 论文	64x64 人像
ProGAN：用于提升质量、稳定性和多样性的GAN渐进式增长	特罗·卡拉斯	2017年	论文 链接	1024x1024 人像	8.04
SAGAN：自注意力生成对抗网络	韩张 & 伊恩·古德费洛	2018年5月	论文 链接	128x128 物体	18.65/52.52
BigGAN：大规模GAN训练以实现高保真自然图像合成	布洛克等	ICLR 2019	演示 论文 链接	512x512 物体	9.6/166.3
StyleGAN：基于风格的生成器架构用于生成对抗网络	特罗·卡拉斯	2018年	论文 链接	1024x1024 人像	4.04

指标：

1 Inception Score (IS，越大越好) IS用来衡量GAN网络的两个指标：1. 生成图片的质量 和2. 多样性

2 Fréchet Inception Distance (FID，越小越好) 在FID中我们用相同的inception network来提取中间层的特征。然后我们使用一个均值为 μμ 方差为 ΣΣ 的正态分布去模拟这些特征的分布。较低的FID意味着较高图片的质量和多样性。FID对模型坍塌更加敏感。

FID和IS都是基于特征提取，也就是依赖于某些特征的出现或者不出现。但是他们都无法描述这些特征的空间关系。

物体的数据在Imagenet数据库上比较，人脸的 progan 和stylegan 在CelebA-HQ和FFHQ上比较。上表列的为FFHQ指标。

具体可以参见 GAN 对抗生成网络发展总览

GAN的应用 Level 3： GANs Applications

3-1 GANs Applications in CV

图像翻译 (Image Translation)	超分辨率 (Super-Resolution)	图像上色(Colourful Image Colorization)
图像修复(Image Inpainting)	图像去噪(Image denoising)	交互式图像生成

特殊领域与应用

漫画 (comic、anime、manga)

换脸 (face changing)

3-2 GANs Applications in Video

3-3 GANs Applications in NLP/Speech

---

风格迁移

风格迁移

---

语音克隆 Voice Cloning

如何训练个性化语音

模型名	特点	文章名称	文章链接	Github
WaveNet	不是端到端的，输入并不是raw text而是经过处理的特征，代替了传统TTS pipeline的后端	Wavenet:a generative model for raw audio		链接
WaveRNN	一般作为Tacotron的Vocoder来合成音频	Efficient Neural Audio Synthesis	pdf	链接
Tacotron	第一个端对端的TTS神经网络模型 vocoder 需要改进			链接
Tacotron 2				https://github.com/NVIDIA/tacotron2
	中文语音合成			https://github.com/lturing/tacotronv2_wavernn_chinese
SV2TTS	Google	Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis	pdf	https://github.com/CorentinJ/Real-Time-Voice-Cloning
	中文语音合成			链接 链接

---

NLP (comming soon)

---

BIG DATA(comming soon)

AIGC

stable diffusion

▶Automatic 1111：目前功能最完善最好用的stable diffusion网页版 网页链接

DreamBooth

▶DreamBooth：finetune（微调训练）自己的stable diffusion模型 网页链接

工具类

▶AdCreative.ai：专注于广告平面内容生成的AI 网页链接

▶AutoDraw：一个能够将你丑丑的简笔画自动平滑修复的网页工具 网页链接

▶Clip Interrogator：text to image的逆向工程——根据你上传的图片给出生成这个图片最可能的prompt引导词 网页链接

一树一获者，谷也；一树十获者，木也；一树百获者；人也。 希望我们每一个人的努力，能够建立一片森林，为后人投下一片树荫。

每一位加入的作者，都可以选取植物的名称来表示自己，然后logo和名字将会作为自己的署名。

我希望，这终将成为一片森林。

此外，关于深度学习系统中模型结构要怎样设计，特定的任务要不要加入特定的结构和方法，Yann LeCun 和 Christopher Manning 有一个讨论 ，大家可以看一看 https://youtu.be/fKk9KhGRBdI 雷锋网有介绍 https://www.leiphone.com/news/201804/6l2mAsZQCQG2qYbi.html

AlphaTree 快速上手指南

AlphaTree 是一个旨在帮助开发者从新手进阶为深度学习应用工程师的开源项目。它通过可视化的方式（图示、代码、论文对应）梳理了 DNN（深度神经网络）、GAN（生成对抗网络）、NLP 及大数据领域的经典模型与发展脉络，涵盖从 LeNet 到 ResNet、DenseNet 等主流架构，以及物体检测、分割、人脸识别等应用场景。

本项目主要作为学习资源库和知识图谱存在，核心内容为 Markdown 文档、架构图示和指向原始论文/代码的链接，而非一个需要编译安装的单一软件包。以下是获取和使用该资源的指南。

环境准备

本项目无需特殊的运行时环境，只需具备基础的文档阅读条件和访问 GitHub 的能力。

• 操作系统：Windows / macOS / Linux 均可。
• 前置依赖：
  • Web 浏览器（推荐 Chrome 或 Edge，用于查看渲染后的 Markdown 和高清大图）。
  • Git（可选，用于克隆仓库到本地离线阅读）。
  • Markdown 编辑器（可选，如 VS Code + Markdown Preview Enhanced，用于本地更好地查看图表和公式）。
• 网络要求：由于资源托管在 GitHub，建议配置好网络环境以确保图片和链接加载顺畅。

安装步骤

你可以通过在线浏览或克隆到本地两种方式获取内容。

方式一：在线浏览（推荐）

直接访问 GitHub 仓库页面，利用 GitHub 自带的渲染引擎查看结构化的知识图谱。

1. 访问项目主页：

   https://github.com/weslynn/AlphaTree-graphic-deep-neural-network
   

2. 进入 DNN 深度神经网络、GAN 对抗生成网络 等文件夹，点击具体的模型文件（如 ResNet.md, AlexNet.md）即可阅读详细解析。

方式二：本地克隆（适合离线学习与二次编辑）

如果你希望将资料保存到本地或进行笔记整理，请使用以下命令：

git clone https://github.com/weslynn/AlphaTree-graphic-deep-neural-network.git
cd AlphaTree-graphic-deep-neural-network

提示：国内用户若遇到克隆速度慢的问题，可使用国内镜像源（如 Gitee 镜像，若有）或配置 Git 代理加速。

基本使用

AlphaTree 的核心价值在于其模型索引和可视化演进路线。以下是最高效的使用路径：

1. 查阅经典模型演进

想要了解图像分类模型的发展史（从浅层到深层），请直接查看对象分类目录：

• 路径：DNN 深度神经网络/object classification 物体分类/
• 操作：打开 LeNet.md 开始，按时间顺序阅读 AlexNet.md -> VGG.md -> GoogLeNet.md -> ResNet.md。
• 内容：每个文件包含模型结构图、核心改进点（如 ReLU, Dropout, Batch Normalization）、参数量对比及 Top-5 错误率数据。

2. 探索应用领域

根据实际工程需求，查找特定任务的解决方案：

• 物体检测与分割： 访问 DNN 深度神经网络/object detection and segmentation 物体检测与分割/

  理解 "What" (分类) 与 "What + Where" (检测) 的区别，查看相关算法图示。

• 人脸识别： 访问 DNN 深度神经网络/face detection and recognition 人脸检测与识别/
• OCR 字符识别： 访问 DNN 深度神经网络/OCR 字符识别/

3. 学习 GAN 生成网络

项目将 GAN 学习路径分为不同等级（Level），适合循序渐进：

• 入口：GAN 对抗生成网络/
• 起步：先阅读 Level 0: Definition of GANs 理解基础定义。
• 进阶：后续章节涵盖训练改进技巧及艺术生成等应用案例。

4. 参考外部资源

文档中包含了大量指向原始论文（Paper）、官方代码库及竞赛（如 ILSVRC）结果的链接。在阅读具体模型文档时，点击文中的 [link] 或超链接即可跳转至源头资料进行深入研读。

---

注：本项目遵循 CC-BY-NC-SA 协议（知识共享 - 署名 - 非商业性 - 相同方式共享），请在非商业用途下注明出处使用。