CoreNet：用于训练深度神经网络的库

CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够为各种任务训练标准及新型的小型和大型模型，包括基础模型（例如 CLIP 和 LLM）、物体分类、目标检测和语义分割。

目录

• 新增内容
• 苹果公司使用 CoreNet 的研究工作
• 安装
• 目录结构
• 维护者
• 贡献 CoreNet
• 许可证
• 与 CVNets 的关系
• 引用

新增内容？

• 2024年10月：CoreNet 库 0.1.1 版本包含
  • KV 预测

苹果公司使用 CoreNet 的研究工作

以下是苹果公司使用 CoreNet 的相关论文列表。此外，训练和评估配方以及预训练模型的链接都可在 projects 文件夹中找到，请参阅该文件夹以获取更多详细信息。

• 用于提升首个标记生成时间的 KV 预测
• OpenELM：具有开放训练与推理框架的高效语言模型家族
• CatLIP：在 Web 规模图文数据上实现 2.7 倍更快预训练的同时达到 CLIP 级别的视觉识别准确度
• 强化数据，倍增影响：通过数据集强化提升模型准确性和鲁棒性
• CLIP 遇见 Model Zoo 大师：用于视觉增强的伪监督方法
• FastVit：基于结构重参数化的快速混合视觉 Transformer
• 字节即一切：直接操作文件字节的 Transformer 模型
• MobileOne：改进版的一毫秒移动骨干网络
• RangeAugment：基于范围学习的高效在线数据增强
• 适用于移动视觉 Transformer 的可分离自注意力机制（MobileViTv2）
• CVNets：面向计算机视觉的高性能库，ACM MM'22
• MobileViT：轻量级、通用且适合移动端的视觉 Transformer，ICLR'22

安装

要运行此仓库中的测试和 Jupyter 笔记本（说明），并参与贡献，您需要 Git LFS（说明如下）。因此，我们建议您先安装并激活它。

在 Linux 系统上，我们推荐使用 Python 3.10 及以上版本和 PyTorch（版本 ≥ v2.1.0）；而在 macOS 系统上，Python 3.9 及以上版本即可满足需求。

请注意，如果您希望做出贡献或运行测试，则需要安装以下可选依赖项。

对于 Linux 系统（请将 apt 替换为您使用的包管理器）：

sudo apt install git-lfs

git clone git@github.com:apple/corenet.git
cd corenet
git lfs install
git lfs pull
# 下面的 venv 命令是可选的，但建议使用。您也可以创建并激活一个 conda 环境。
python3 -m venv venv && source venv/bin/activate
python3 -m pip install --editable .

若需安装用于音频和视频处理的可选依赖项：

sudo apt install libsox-dev ffmpeg

对于 macOS 系统，假设您使用 Homebrew：

brew install git-lfs

git clone git@github.com:apple/corenet.git
cd corenet
cd \$(pwd -P)  # 请参阅下方注释。
git lfs install
git lfs pull
# 下面的 venv 命令是可选的，但建议使用。您也可以创建并激活一个 conda 环境。
python3 -m venv venv && source venv/bin/activate
python3 -m pip install --editable .

若需安装用于音频和视频处理的可选依赖项：

brew install sox ffmpeg

请注意，在 macOS 上，文件系统不区分大小写，而 Git 对大小写敏感可能会导致问题。因此，您应在磁盘上以区分大小写的方式访问仓库路径，即按照 ls 列出目录时显示的大小写形式进行操作。您可以通过执行 cd $(pwd -P) 命令切换到这种路径。

目录结构

本节提供 CoreNet 重要目录的快速访问链接及简要说明。

└── tutorials
    ├── train_a_new_model_on_a_new_dataset_from_scratch.ipynb
    ├── guide_slurm_and_multi_node_training.md
    ├── clip.ipynb
    ├── semantic_segmentation.ipynb
    └── object_detection.ipynb

└── projects
  ├── kv-prediction (*)
  ├── byteformer
  ├── catlip
  ├── clip
  ├── fastvit
  ├── mobilenet_v1
  ├── mobilenet_v2
  ├── mobilenet_v3
  ├── mobileone
  ├── mobilevit
  ├── mobilevit_v2
  ├── openelm
  ├── range_augment
  ├── resnet
  └── vit



(*) 新近发布。

└──mlx_example
    ├── clip
    └── open_elm

└── corenet
    └── modeling
        └── models
            ├── audio_classification
            ├── classification
            ├── detection
            ├── language_modeling
            ├── multi_modal_img_text
            └── segmentation

└── corenet
    └── data
        └── datasets
            ├── audio_classification
            ├── classification
            ├── detection
            ├── language_modeling
            ├── multi_modal_img_text
            └── segmentation

└── corenet
    ├── loss_fn
    ├── metrics
    ├── optims
    │   └── scheduler
    ├── train_eval_pipelines
    ├── data
    │   ├── collate_fns
    │   ├── sampler
    │   ├── text_tokenizer
    │   ├── transforms
    │   └── video_reader
    └── modeling
        ├── layers
        ├── modules
        ├── neural_augmentor
        └── text_encoders

此代码由 Maxwell Horton、Mohammad Sekhavat、Yanzi Jin 和 Dmitry Belenko 开发并维护。

历任维护者

• Sachin Mehta
• Farzad Abdolhosseini

参与 CoreNet 社区贡献

我们欢迎社区提交的 Pull Request！有关如何为 CoreNet 做出贡献的信息，请参阅我们的 贡献指南 文档。

请务必遵守我们的 行为准则。

许可证

许可详情请参阅 LICENSE 文件。

与 CVNets 的关系

CoreNet 源自 CVNets，旨在涵盖计算机视觉之外更广泛的应用领域。其扩展促进了包括 LLM 在内的基础模型的训练。

引用

如果您觉得我们的工作有用，请引用以下论文：

@inproceedings{mehta2022cvnets, 
     author = {梅塔，萨钦；阿卜杜勒侯赛尼，法尔扎德；拉斯泰加里，穆罕默德}, 
     title = {CVNets：用于计算机视觉的高性能库}, 
     year = {2022}, 
     booktitle = {第30届ACM国际多媒体会议论文集}, 
     series = {MM '22} 
}

CoreNet 快速上手指南

CoreNet 是 Apple 开源的深度学习训练工具库，支持从基础模型（如 CLIP、LLM）到目标检测、语义分割等多种任务的大规模模型训练。

1. 环境准备

系统要求

• Linux: 推荐 Python 3.10+，PyTorch >= v2.1.0
• macOS: 推荐 Python 3.9+，PyTorch >= v2.1.0
• Git LFS: 必须安装，用于拉取大型模型文件和测试数据

前置依赖

在开始之前，请确保系统已安装 Git LFS 以及可选的音视频处理库（如需相关功能）。

Linux (以 Ubuntu/Debian 为例):

sudo apt install git-lfs libsox-dev ffmpeg

macOS (需安装 Homebrew):

brew install git-lfs sox ffmpeg

注意 (macOS 用户): macOS 文件系统默认不区分大小写，可能导致 Git 问题。克隆仓库后，建议使用 cd $(pwd -P) 进入目录以确保路径大小写敏感兼容。

2. 安装步骤

以下命令将克隆仓库、初始化 Git LFS 并安装 CoreNet 及其依赖。

Linux 安装

git clone git@github.com:apple/corenet.git
cd corenet
git lfs install
git lfs pull

# 创建并激活虚拟环境（推荐）
python3 -m venv venv && source venv/bin/activate

# 安装 CoreNet
python3 -m pip install --editable .

macOS 安装

git clone git@github.com:apple/corenet.git
cd corenet
cd $(pwd -P)  # 关键步骤：解决大小写敏感问题
git lfs install
git lfs pull

# 创建并激活虚拟环境（推荐）
python3 -m venv venv && source venv/bin/activate

# 安装 CoreNet
python3 -m pip install --editable .

国内加速建议: 如果 pip install 速度较慢，可添加国内镜像源参数： python3 -m pip install --editable . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

CoreNet 的核心配置通过 YAML 文件管理，涵盖了模型结构、数据集、优化器等。最简单的上手方式是运行官方提供的教程脚本或复现现有项目。

方式一：运行示例教程 (Jupyter Notebook)

安装 Jupyter 后，可以直接运行 tutorials 目录下的笔记来学习如何从头训练模型：

# 确保已安装 jupyter
pip install jupyter

# 启动教程（以从头训练新模型为例）
jupyter notebook tutorials/train_a_new_model_on_a_new_dataset_from_scratch.ipynb

其他可用教程包括：

• tutorials/clip.ipynb: CLIP 模型训练
• tutorials/semantic_segmentation.ipynb: 语义分割
• tutorials/object_detection.ipynb: 目标检测

方式二：使用预置训练配方 (Training Recipes)

CoreNet 在 projects/ 目录下提供了大量论文复现的配置（如 MobileViT, OpenELM, FastVit 等）。

1. 查看配置: 进入对应项目文件夹（例如 projects/mobilevit），找到 .yaml 配置文件。
2. 执行训练: 使用 CoreNet 命令行工具加载配置进行训练（具体命令取决于入口脚本，通常如下）：

# 示例：使用 mobilevit 的配置进行训练
# 注意：具体入口命令请参考对应 project 目录下的 README.md
python -m corenet.train_eval_pipelines.train --config projects/mobilevit/mobilevit_s.yaml

核心目录说明

• 模型实现: corenet/modeling/models/ (按任务分类，如 classification, detection)
• 数据集定义: corenet/data/datasets/
• 训练配方与权重: projects/ (包含各论文的复现配置和预训练模型链接)
• Apple Silicon 优化: mlx_examples/ (提供在 Mac M 系列芯片上高效运行的示例)