YouTube代码仓库

我YouTube频道所有代码的仓库
你可以在https://youtube.com/MachineLearningWithPhil找到我

Kaggle/金星火山

我对卷积神经网络的粗略实现，用于对麦哲伦号探测器采集的数据进行图像分类。数据严重不平衡，因为大多数图像中并不包含火山。这意味着我们需要在模型训练过程中进行一些创新性的数据工程处理。请注意，在测试集中，84.1%的数据属于“无火山”类别，而我们的模型准确率约为88%，这已经优于直接输出0作为预测结果的模型。

你可以通过https://youtu.be/Ki-xOKydQrY观看相关视频。该项目的数据集可在https://www.kaggle.com/fmena14/volcanoesvenus/home找到。

强化学习/深度Q学习

我在PyTorch中实现的深度Q学习算法。这里我们训练该算法玩《太空侵略者》游戏。由于即使在我的1080Ti显卡和i7 7820k @ 4.4 GHz的配置下，训练也需要相当长的时间，我目前还没有足够的时间完成模型的训练。稍后我会继续训练，并发布一段展示其表现的视频。

关于深度Q学习工作原理的博客文章可以在这里找到：http://www.neuralnet.ai/coding-a-deep-q-network-in-pytorch/
相关视频链接为：https://www.youtube.com/watch?v=RfNxXlO6BiA&t=2s

CNN.py

使用TensorFlow 1.5版本实现的一个简单的卷积神经网络。关于这段代码的视频教程可以在这里观看：https://youtu.be/azFyHS0odcM
经过10轮训练后，准确率达到98%。
需要从http://yann.lecun.com/exdb/mnist/获取数据。

强化学习/blackJack-no-es.py

在OpenAI Gym的二十一点环境中实现的无探索起点蒙特卡洛控制算法。关于这段代码的视频教程可以在https://youtu.be/e8ofon3sg8E找到。该算法训练了100万局游戏，最终胜率为42%，负率为52%，平局率为6%。

强化学习/blackJack-off-policy.py

在OpenAI Gym的二十一点环境中实现的离策略蒙特卡洛控制算法。关于这段代码的视频教程可以在https://youtu.be/TvO0Sa-6UVc找到。该算法训练了100万局游戏，最终胜率为29%，负率为66%，平局率为5%。

强化学习/cartpole_qlearning.py

针对小车倒立摆问题实现的Q学习算法。代码基于Lazy Programmer的课程，相关代码可在此处查看：这里。关于这段代码的视频教程可以在https://youtu.be/ViwBAK8Hd7Q找到。

强化学习/doubleQLearning.py

在小车倒立摆环境中实现的双Q学习算法。该代码基于我的强化学习课程，相关资源可在这个仓库找到。关于这段代码的视频教程可以在https://youtu.be/Q99bEPStnxk找到。

强化学习/sarsa.py

在小车倒立摆环境中实现的SARSA算法。该代码同样基于我的强化学习课程，相关资料可在这里找到。关于这段代码的视频教程可以在https://youtu.be/P9XezMuPfLE观看。

Youtube-Code-Repository 快速上手指南

本仓库汇集了 Machine Learning With Phil 频道的所有机器学习与强化学习代码示例，涵盖卷积神经网络（CNN）、深度 Q 网络（Deep Q-Learning）、蒙特卡洛控制等算法。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6 - 3.8（部分旧版 TensorFlow 代码可能需要特定版本）
• 硬件建议：运行深度强化学习（如 Deep Q-Learning）或大规模图像分类时，建议使用 NVIDIA GPU（需安装 CUDA 驱动）。
• 前置依赖：
  • PyTorch (用于 Deep Q-Learning 示例)
  • TensorFlow (v1.5 用于部分 CNN 示例，新版 TF 可能需调整代码)
  • gym (OpenAI Gym，用于强化学习环境如 Blackjack, CartPole)
  • numpy, pandas, matplotlib

国内加速建议： 安装 Python 包时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库 将代码库克隆到本地：

   git clone https://github.com/philtabor/Youtube-Code-Repository.git
   cd Youtube-Code-Repository
   

2. 创建虚拟环境（推荐）

   python -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

3. 安装核心依赖 根据您想运行的具体模块安装对应的库。以下是通用依赖安装命令：

   # 使用国内镜像源加速安装
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision gym numpy pandas matplotlib scikit-learn
   

   注意：若运行 CNN.py (TensorFlow 1.5)，可能需要单独安装旧版 TensorFlow：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.15
   

4. 准备数据集 部分项目需要手动下载数据：

   • MNIST (CNN.py): 代码通常会自动下载，若失败请访问 http://yann.lecun.com/exdb/mnist/ 手动下载并放入指定目录。
   • Venus Volcanoes: 请访问 Kaggle 项目页 下载数据并解压至 Kaggle/Venus-Volcanoes 目录。

基本使用

本仓库按功能模块划分，以下是几个典型示例的运行方法：

1. 运行卷积神经网络 (TensorFlow)

针对 MNIST 手写数字识别，训练 10 个 epoch 后可达约 98% 准确率。

cd CNN
python CNN.py

2. 运行深度 Q 学习 (PyTorch)

训练智能体玩《太空侵略者》游戏。 注意：此模型训练耗时较长，即使使用高性能 GPU 也需要大量时间。

cd ReinforcementLearning
python DeepQLearning.py

(注：具体文件名请以目录内实际文件为准，通常为 DeepQLearning.py 或类似名称)

3. 运行黑杰克 (Blackjack) 蒙特卡洛控制

无需探索启动（Without Exploring Starts）的实现：

cd ReinforcementLearning
python blackJack-no-es.py

策略外（Off-policy）蒙特卡洛控制实现：

cd ReinforcementLearning
python blackJack-off-policy.py

4. 运行_cartpole_ 系列算法

包含 Q-Learning, Double Q-Learning 和 SARSA 算法：

cd ReinforcementLearning
python cartpole_qlearning.py
python doubleQLearning.py
python sarsa.py

5. 金星火山图像分类

处理极度不平衡数据的卷积神经网络示例：

cd Kaggle/Venus-Volcanoes
# 请确保已下载数据，然后运行主脚本（具体脚本名视目录内容而定）
python main.py 

提示：每个代码文件头部或对应的 YouTube 视频链接中通常包含更详细的参数说明和原理解析。