AI项目

这个仓库包含了多个机器学习领域的AI项目。其中许多项目都与我的博客sciblog上的文章相关联。

你可以在这个文件中找到我发布的大部分文章列表。

精选项目

• 卷积神经网络入门：在这个项目中，我们解释了什么是卷积，并使用MXNet深度学习库结合MNIST手写数字识别数据集来实现CNN的计算。相关博客文章请见这里。

• 迁移学习入门：在这个项目中，我们使用PyTorch来讲解迁移学习的基本方法（微调和冻结），并分析在什么情况下应该分别采用这两种方法。相关博客文章请见这里。

• 基于卷积神经网络的云规模文本分类（Azure平台)：在这些笔记本中，我们展示了如何使用Char-CNN和VDCNN模型进行字符级别的卷积操作，以实现情感分析。相关博客文章请见这里。

• 数据生成入门：在这个笔记本中，我们介绍了一些简单的技术，用于生成图像、文本和时间序列中的新数据。相关博客文章请见这里。

• t-SNE降维入门：在这个项目中，我们使用sklearn和CUDA展示了一个t-SNE算法的例子。我们利用CNN从图像中提取高维特征，然后将其投影并可视化到二维空间中。相关博客文章请见这里。

• DeepSpeed分布式训练入门：在这个项目中，我们展示了如何使用DeepSpeed进行PyTorch的分布式训练。相关博客文章请见这里。

• 欺诈检测入门：在这个笔记本中，我们设计了一个基于LightGBM的实时欺诈检测模型，该模型可在GPU上运行（也可在CPU上运行）。随后通过Flask和WebSockets将模型部署为API服务。相关博客文章请见这里。

• 机器学习API入门：在这个笔记本中，我们展示了如何创建一个图像分类API。系统使用CNTK深度学习库中的预训练CNN。API通过Flask管理端点服务，后端服务器则使用CherryPy。相关博客文章请见这里。

• 深度自编码器推荐系统入门：在这个笔记本中，我们概述了推荐系统，并使用PyTorch和Netflix数据集实现了一个基于深度自编码器的推荐API。相关博客文章请见这里。

• fastText自然语言处理入门：在这个项目中，我们展示了如何使用fastText库实现文本分类、情感分析和词嵌入。同时，我们也演示了如何利用t-SNE算法将词嵌入表示在低维空间中。相关博客文章请见这里。

• 股票价格的时间序列预测：本教程展示了如何使用不同变体的LSTM和Keras实现一个简单的股票预测模型。相关博客文章请见这里。

• 使用Datashader可视化足球比赛：在这个笔记本中，我们介绍了如何使用Python库datashader来可视化自UEFA冠军联赛创立以来的所有比赛。该项目采用精益创业方法开发。相关博客文章请见这里。

机器学习参考架构

ai_projects 快速上手指南

ai_projects 是一个汇集了多个机器学习领域实战项目的开源仓库，涵盖卷积神经网络（CNN）、迁移学习、文本分类、数据生成、降维可视化、分布式训练及推荐系统等主题。大多数项目都配有详细的 Jupyter Notebook 教程和对应的博客文章。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (建议 Linux 以获得最佳兼容性)
• Python 版本：Python 3.6+ (推荐 Python 3.8 或 3.9)
• 前置依赖：
  • git：用于克隆代码仓库
  • pip 或 conda：用于管理 Python 包
  • GPU 支持（可选但推荐）：部分项目（如 DeepSpeed, LightGBM GPU 版, CNN 训练）需要 NVIDIA GPU 及对应的 CUDA 驱动。

由于该项目包含多个不同技术栈的子项目（涉及 PyTorch, MXNet, CNTK, fastText, Keras 等），建议为每个子项目单独创建虚拟环境，或安装一个包含常用深度学习库的通用环境。

通用依赖安装命令：

pip install numpy pandas matplotlib scikit-learn jupyterlab

提示：国内用户建议使用清华源或阿里源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas matplotlib scikit-learn jupyterlab

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/miguelgfierro/ai_projects.git
   cd ai_projects
   

2. 安装特定项目依赖 由于不同文件夹下的项目依赖不同，请进入您想要运行的具体项目目录，并根据该目录下的 requirements.txt（如果有）或 Notebook 开头的导入语句安装依赖。

   示例：以“迁移学习入门”项目为例（基于 PyTorch）：

   cd A_Gentle_Introduction_to_Transfer_Learning
   pip install torch torchvision
   # 国内加速安装
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision
   

   示例：以“欺诈检测”项目为例（基于 LightGBM 和 Flask）：

   cd Intro_to_Fraud_Detection
   pip install lightgbm flask websockets
   

基本使用

本项目主要通过 Jupyter Notebook (.ipynb) 提供交互式教程。以下是运行最简单示例的步骤：

1. 启动 Jupyter Lab 在项目根目录或具体子项目目录下启动服务：

   jupyter lab
   

   或者使用经典的 Jupyter Notebook：

   jupyter notebook
   

2. 选择并运行教程 在浏览器打开的界面中，导航至您感兴趣的项目文件夹，点击对应的 .ipynb 文件。

   • 入门推荐：
     • CNN 基础：打开 A_Gentle_Introduction_to_CNN/Intro_CNN.ipynb
     • 迁移学习：打开 A_Gentle_Introduction_to_Transfer_Learning/Intro_Transfer_Learning.ipynb
     • NLP 基础：打开 Intro_to_NLP_with_fastText/Intro_to_NLP.ipynb

3. 执行代码 在 Notebook 界面中，按顺序点击单元格（Cell）左侧的运行按钮（或按 Shift + Enter），即可逐步执行代码、查看数据预处理过程、模型训练输出及可视化结果。

注意：首次运行某些项目时，代码可能会自动下载数据集（如 MNIST, Netflix 数据集等），请确保网络连接畅通。如果下载缓慢，可查阅对应博客文章看是否有手动下载数据集的说明。