深度学习笔记

深度学习及其他资源的实验：

• keras-capsule-pooling - 一个业余时间进行的实验，尝试实现用于图像的胶囊池化。
• max-normed-optimizer - 一种有趣的梯度下降优化器的实验性实现，该优化器会根据梯度的范数对其进行归一化。包含多种实验，展示了该方法的潜在优势。
• selu-regularization - 一个 Keras 正则化层，可用于对模型权重施加类似 SELU 的正则化效果（提供 Dense 和 Conv2D 版本）。SELU 是一种结合特殊初始化方法的激活函数，这些正则化器可以在训练过程中强制权重保持自归一化特性。
• tf-oversampling - 使用 tf.data.Dataset API 实现过采样的示例。

深度学习与机器学习研讨会

研讨会 - 包含我在公司内部所做的多场演讲。

deep-learning-notes 快速上手指南

deep-learning-notes 是一个包含深度学习实验代码和资源的项目集合，涵盖了胶囊网络池化、最大范数优化器、SELU 正则化以及 TensorFlow 过采样等前沿技术的实现示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6 及以上
• 核心依赖：
  • TensorFlow (适用于 tf-oversampling 等模块)
  • Keras (适用于 keras-capsule-pooling, selu-regularization 等模块)
  • NumPy, Matplotlib (用于数据处理和可视化)

国内加速建议： 安装依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow keras numpy matplotlib

安装步骤

1. 克隆项目仓库 将项目代码拉取到本地：

   git clone https://github.com/your-repo/deep-learning-notes.git
   cd deep-learning-notes
   

2. 安装依赖包 如果项目根目录包含 requirements.txt，请运行：

   pip install -r requirements.txt
   

   若无该文件，请根据您想要运行的具体实验模块，手动安装对应依赖（如上文所述）。

基本使用

本项目由多个独立的实验目录组成，请根据您的需求进入相应文件夹运行示例。以下是几个核心模块的使用示例：

1. SELU 正则化实验 (selu-regularization)

该模块展示了如何在 Keras 模型中添加自定义正则化层，以强制权重保持自归一化特性。

from selu_regularization import SeluDenseRegularizer

# 在构建 Keras 模型时使用
model.add(Dense(64, activation='selu', kernel_regularizer=SeluDenseRegularizer()))

2. TensorFlow 过采样示例 (tf-oversampling)

演示如何使用 tf.data.Dataset API 实现数据过采样，适用于处理类别不平衡问题。

import tensorflow as tf
from tf_oversampling import create_oversampled_dataset

# 创建过采样后的数据集
dataset = create_oversampled_dataset(base_dataset, class_weights)

3. 最大范数优化器 (max-normed-optimizer)

尝试使用基于梯度范数归一化的实验性优化器进行模型训练。

from max_normed_optimizer import MaxNormedOptimizer

optimizer = MaxNormedOptimizer(learning_rate=0.01)
model.compile(optimizer=optimizer, loss='categorical_crossentropy')

4. 查看技术分享资料 (seminars)

项目中的 seminars 目录包含了作者在深度学习领域的内部演讲幻灯片，可直接浏览查看相关 PPT 文件以获取理论背景。

cd seminars
# 使用本地浏览器或 PDF 阅读器打开相关文件