maestro

你好

maestro 是一款用于加速多模态模型微调的简化工具。通过封装我们核心模块中的最佳实践，maestro 负责处理配置、数据加载、可复现性以及训练循环的设置。目前，它为 Florence-2、PaliGemma 2 和 Qwen2.5-VL 等热门视觉语言模型提供了开箱即用的配方。

免费微调 VLM 模型

模型、任务与加速方式	在 Colab 中打开
Florence-2 (0.9B) 带 LoRA 的目标检测（实验性）
PaliGemma 2 (3B) 带 LoRA 的 JSON 数据提取
Qwen2.5-VL (3B) 带 QLoRA 的 JSON 数据提取
Qwen2.5-VL (7B) 带 QLoRA 的目标检测（实验性）

最新消息

• 2025/02/05 (1.0.0)：此版本新增对 Florence-2、PaliGemma 2 和 Qwen2.5-VL 的支持，并引入 LoRA、QLoRA 和图冻结技术，以控制硬件需求。它提供单一的 CLI/SDK 来降低代码复杂度，同时采用一致的 JSONL 格式来简化数据处理流程。

快速入门

安装

首先，安装特定于模型的依赖项。由于某些模型可能存在冲突的依赖要求，我们建议为每个模型创建一个专用的 Python 环境。

pip install "maestro[paligemma_2]"

CLI

使用我们的命令行界面启动微调，该界面利用了各模型核心模块中定义的配置和训练流程。只需指定关键参数，如数据集位置、训练轮数、批量大小、优化策略和评估指标即可。

maestro paligemma_2 train \
  --dataset "dataset/location" \
  --epochs 10 \
  --batch-size 4 \
  --optimization_strategy "qlora" \
  --metrics "edit_distance"

Python

若需更精细的控制，可使用 Python API 对模型进行微调。从相应模块中导入训练函数，并将配置定义为字典。核心模块会负责确保可复现性、数据准备和训练设置。

from maestro.trainer.models.paligemma_2.core import train

config = {
    "dataset": "dataset/location",
    "epochs": 10,
    "batch_size": 4,
    "optimization_strategy": "qlora",
    "metrics": ["edit_distance"]
}

train(config)

贡献

在不断改进 maestro 的过程中，我们非常感谢您的宝贵意见。您的反馈对我们持续优化至关重要。如需了解如何参与贡献，请查阅我们的贡献指南。如果您有任何问题或想法，欢迎在我们的GitHub 讨论区中发起讨论。感谢您一路以来的支持！

Maestro 快速上手指南

Maestro 是一款用于加速多模态模型（VLM）微调的 streamlined 工具。它封装了最佳实践，自动处理配置、数据加载、复现性及训练循环设置。目前支持 Florence-2、PaliGemma 2 和 Qwen2.5-VL 等主流视觉 - 语言模型，并提供 LoRA/QLoRA 等高效微调方案。

环境准备

• 系统要求：Linux 或 macOS（Windows 用户建议使用 WSL2），具备 NVIDIA GPU 以获得最佳性能。
• Python 版本：推荐 Python 3.8+。
• 前置依赖：由于不同模型的依赖项可能存在冲突，强烈建议为每个模型创建独立的 Python 虚拟环境。

# 创建并激活虚拟环境示例
python -m venv maestro-env
source maestro-env/bin/activate  # Windows 用户使用: maestro-env\Scripts\activate

提示：国内开发者在安装依赖时若遇到网络问题，可临时指定清华或阿里镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

根据你要微调的具体模型，安装对应的依赖包。以下是安装 PaliGemma 2 支持的示例：

pip install "maestro[paligemma_2]"

如需其他模型支持，将方括号内的名称替换为 florence_2 或 qwen2_5_vl 即可。

基本使用

Maestro 提供了命令行（CLI）和 Python API 两种使用方式，核心模块会自动处理数据准备和训练设置。

方式一：命令行界面 (CLI)

只需指定数据集路径、轮数、批次大小及优化策略等关键参数即可启动训练。

maestro paligemma_2 train \
  --dataset "dataset/location" \
  --epochs 10 \
  --batch-size 4 \
  --optimization_strategy "qlora" \
  --metrics "edit_distance"

方式二：Python API

通过 Python 代码调用可获得更灵活的控制权。导入对应模型的 train 函数并传入配置字典。

from maestro.trainer.models.paligemma_2.core import train

config = {
    "dataset": "dataset/location",
    "epochs": 10,
    "batch_size": 4,
    "optimization_strategy": "qlora",
    "metrics": ["edit_distance"]
}

train(config)

注意：请将 "dataset/location" 替换为你本地的数据集路径或符合要求的 JSONL 数据源地址。