OmniSVG：统一的可缩放矢量图形生成模型

🔥🔥🔥 最新消息！！

• [2026/03/02] 🔥 我们发布了首个 Lottie 动画生成模型——OmniLottie，详情请见 OpenVGLab/OmniLottie
• [2025/12/31] 👋 我们已发布 OmniSVG 的训练代码，请查看 OpenVGLab/OmniSVG-Train
• [2025/12/22] 我们更新了 MMSVG-Icon（26.4万→90.4万）和 MMSVG-Illustration（6.6万→25.5万）数据集，增加了更丰富的描述和 PNG 预览图！详情请见 MMSVG-Icon 和 MMSVG-Illustration。
• [2025/12/02] 我们发布了 OmniSVG1.1_8B 模型权重，并更新了 OmniSVG1.1_4B 模型权重！详情请见 OmniSVG1.1_8B 和 OmniSVG1.1_4B。
• [2025/12/02] 我们发布了 MMSVGBench 基准数据集及评估代码！详情请见 MMSVGBench 和 评估。
• [2025/09/18] OmniSVG 被 NeurIPS 2025 接收啦🔥！圣地亚哥见！
• [2025/07/22] 👋 我们发布了 Huggingface 演示。🤗演示。
• [2025/07/22] 👋 我们发布了 MMSVG-Icon 和 MMSVG-Illustration 数据集的推理代码及模型权重。🤗权重。
• [2025/04/09] 👋 发布了 MMSVG-Icon 和 MMSVG-Illustration 数据集。🤗数据集。
• [2025/04/09] 👋 上传论文并启动项目。阅读

🧩 社区贡献

如果您正在项目中开发或使用 OmniSVG，或者希望为 OmniSVG 做出贡献，请随时告知我们🎉。

• 如果您在使用 MMSVG 数据集时发现任何问题，请通过此 表格 提交反馈。
• 👋 @smthemex 开发的 OmniSVG ComfyUI 插件 ComfyUI_OmniSVG。

📑 开源计划

• 项目主页与技术报告
• MMSVG-Icon 和 MMSVG-Illustration 数据集发布
• MMSVG-Icon 和 MMSVG-Illustration 数据集的推理代码及模型权重
• 在线演示（基于 Gradio 的 Huggingface 空间）
• OmniSVG1.1_8B 模型权重发布
• OmniSVG1.1_4B 模型权重发布
• MMSVGBench 基准测试与评估代码发布

1. 引言

OmniSVG 是首个端到端多模态 SVG 生成器系列，它利用预训练的视觉-语言模型（VLM），能够生成复杂而精细的 SVG 图形，从简单的图标到精美的动漫角色皆可胜任。同时，我们还推出了 MMSVG-2M 多模态数据集，包含两百万个标注丰富的 SVG 资源，并制定了一套标准化的条件式 SVG 生成任务评估协议。

2. 模型下载

模型	下载链接	大小	更新日期
OmniSVG1.1_8B	Huggingface	17.2 GB	2025-12-02
OmniSVG1.1_4B	Huggingface	7.69 GB	2025-12-02
OmniSVG-3B	Huggingface	8.49 GB	2025-07-22

3. 依赖与安装

按照以下说明配置的依赖项将为您提供一个适合推理的环境。

3.1 克隆仓库

git clone https://github.com/OmniSVG/OmniSVG.git
cd OmniSVG

3.2 创建 Conda 环境

创建并激活一个使用 Python 3.10 的新 Conda 环境：

conda create -n omnisvg python=3.10
conda activate omnisvg

3.3 安装依赖

系统依赖

在安装 Python 包之前，您需要先安装 CairoSVG 所需的 Cairo 库：

macOS:

brew install cairo

Linux（Ubuntu/Debian）:

sudo apt update
sudo apt install libcairo2 libcairo2-dev

提示: 提前安装 Cairo 系统库有助于避免在通过 pip 安装 CairoSVG 时可能出现的构建错误。

Python 依赖

我们已在 CUDA 12.1 环境下测试过我们的运行环境。您可以按照 CUDA Toolkit 安装指南 安装 CUDA 12.1。

安装支持 CUDA 12.1 的 PyTorch：

pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 --index-url https://download.pytorch.org/whl/cu121

安装其余依赖：

pip install -r requirements.txt

4. 推理脚本

	GPU 内存占用	每 256/512/1024/2048/4096 个 token 的耗时
OmniSVG1.1_8B	26G	5.38/9.02/20.11/40.34/98.11 秒
OmniSVG1.1_4B	17G	4.08/8.68/18.07/37.51/82.70 秒
OmniSVG-3B	17G	4.08/8.68/18.07/37.51/82.70 秒

注意：此处显示的推理时间是基于 OmniSVG SVG tokens 计算的，而我们在论文中报告的推理时间则是基于 XML 代码 tokens 计算的，以便与基线方法进行公平比较。

快速入门

下载模型权重

首先，安装 Hugging Face CLI 工具：

pip install huggingface-hub

从 Hugging Face 下载模型：

# 下载 OmniSVG1.1-8B
huggingface-cli download OmniSVG/OmniSVG1.1_8B --local-dir /PATH/TO/OmniSVG1.1_8B

# 下载 OmniSVG1.1-4B
huggingface-cli download OmniSVG/OmniSVG1.1_4B --local-dir /PATH/TO/OmniSVG1.1_4B

# 下载 OmniSVG-3B（旧版）
huggingface-cli download OmniSVG/OmniSVG --local-dir /PATH/TO/OmniSVG-3B

文本到 SVG 生成

基本用法 - 从文本文件生成 SVG：

python inference.py --task text-to-svg --input prompts.txt --output ./output_text --save-all-candidates

使用 4B 模型：

python inference.py --task text-to-svg --input prompts.txt --output ./output_text --model-size 4B --save-all-candidates

生成更多候选并保存 PNG：

python inference.py --task text-to-svg --input prompts.txt --output ./output_text \
    --num-candidates 8 --save-png --save-all-candidates

自定义生成参数：

python inference.py --task text-to-svg --input prompts.txt --output ./output_text \
    --temperature 0.5 --top-p 0.9 --top-k 50 --repetition-penalty 1.05

使用本地模型：

python inference.py --task text-to-svg --input prompts.txt --output ./output_text \
    --model-path /path/to/qwen --weight-path /path/to/omnisvg

图像到 SVG 生成

python inference.py --task image-to-svg --input ./examples --output ./output_image --save-all-candidates

交互式演示

我们提供了基于 Gradio 的交互式生成界面：

• 本地部署

  python app.py
  

• 在线演示

  请在 Hugging Face Spaces 上体验我们的实时演示。

5. 评估

我们提供了 MMSVGBench，用于对 SVG 生成模型进行标准化评估。

下载 MMSVGBench：

huggingface-cli download OmniSVG/MMSVGBench --repo-type dataset --local-dir /PATH/TO/MMSVGBench

基准概述

MMSVGBench 是一个 纯合成基准，其中所有提示和图像均使用 GPT 模型生成，确保数据在模型训练期间 未被见过，从而实现公平的泛化能力评估。MMSVGBench 的生成过程会记录提示信息，例如 text2svg 提示日志。

任务	复杂度级别	样本数	描述
文本到 SVG	图标	150	简单图标（1-2 个元素）
文本到 SVG	描绘图	150	复杂描绘图（1-3 个相互作用的元素）
图像到 SVG	图标	150	GPT-4o 生成的图标图像
图像到 SVG	描绘图	150	GPT-4o 生成的描绘图图像

合成设计的关键优势：

• ✅ 真正的泛化测试 — 模型在训练过程中不可能见过这些样本
• ✅ 可控的多样性 — 系统性地覆盖多种风格和语义类别
• ✅ 公平性 — 不存在因训练数据重叠而导致的不公平优势

评估代码位于 metrics 目录中。有关 MMSVGBench 构建及评估指标的更多详细信息，请参阅 MMSVGBench。

6. 许可证

OmniSVG 采用 Apache License 2.0 许可证，而 MMSVG 数据集则采用 Creative Commons Attribution Non Commercial Share Alike 4.0 License。许可证文件可在相应的 GitHub 和 Hugging Face 仓库中找到。

引用

@article{yang2025omnisvg,
  title={OmniSVG: 一种统一的可扩展矢量图形生成模型}, 
  author={Yiying Yang 和 Wei Cheng 和 Sijin Chen 和 Xianfang Zeng 和 Jiaxu Zhang 和 Liao Wang 和 Gang Yu 和 Xinjun Ma 和 Yu-Gang Jiang},
  journal={arXiv 预印本 arxiv:2504.06263},
  year={2025}
}

致谢

我们感谢以下优秀的开源项目：

IconShop：是首个利用大语言模型生成单色图标级 SVG 的先进工作。我们参考了其参数化实现。

以下是高度相关的同期研究：

LLM4SVG：将 SVG 坐标视为数字字符串，并预测小数部分以提高空间精度。

StarVector：为大语言模型配备了图像编码器，用于图像到 SVG 的生成。

星标历史

OmniSVG 快速上手指南

OmniSVG 是一个统一的端到端多模量可缩放矢量图形（SVG）生成模型，能够根据文本描述或参考图像生成从简单图标到复杂动漫角色的 SVG 文件。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (Ubuntu/Debian) 或 macOS
• Python 版本: 3.10
• GPU: 推荐 NVIDIA GPU (显存需求见下文)，支持 CUDA 12.1
• 系统依赖: 必须预先安装 Cairo 库，否则 CairoSVG 包安装会失败。

安装系统依赖命令：

• macOS:

  brew install cairo
  

• Linux (Ubuntu/Debian):

  sudo apt update
  sudo apt install libcairo2 libcairo2-dev
  

注意: 请务必在安装 Python 包之前完成上述系统库的安装。

2. 安装步骤

2.1 克隆项目

git clone https://github.com/OmniSVG/OmniSVG.git
cd OmniSVG

2.2 创建并激活 Conda 环境

conda create -n omnisvg python=3.10
conda activate omnisvg

2.3 安装 PyTorch (CUDA 12.1)

官方测试环境为 CUDA 12.1。如果您需要国内加速，可尝试使用清华源或其他镜像源替换索引地址。

官方源安装：

pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 --index-url https://download.pytorch.org/whl/cu121

国内加速示例 (清华源)：

pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 --index-url https://pypi.tuna.tsinghua.edu.cn/simple/cu121

(注：如果镜像源无特定 CUDA 版本 wheel 包，请回退到官方源或手动下载对应 whl 文件安装)

2.4 安装其他依赖

pip install -r requirements.txt

(建议同时配置 pip 国内镜像以加快下载速度，例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

2.5 下载模型权重

使用 Hugging Face CLI 下载模型。国内用户若无法直接连接 HF，建议使用镜像站（如 hf-mirror.com）或手动下载后放入本地目录。

设置镜像环境变量 (可选，针对国内网络优化):

export HF_ENDPOINT=https://hf-mirror.com

下载模型 (以 4B 版本为例，显存需求约 17GB):

huggingface-cli download OmniSVG/OmniSVG1.1_4B --local-dir ./models/OmniSVG1.1_4B

其他可用模型:

• OmniSVG/OmniSVG1.1_8B (需约 26GB 显存)
• OmniSVG/OmniSVG (即 3B 版本，需约 17GB 显存)

3. 基本使用

文生图 (Text-to-SVG)

准备一个包含提示词的文本文件 prompts.txt (每行一个提示词)，然后运行：

使用默认模型 (8B):

python inference.py --task text-to-svg --input prompts.txt --output ./output_text --save-all-candidates

指定使用 4B 模型:

python inference.py --task text-to-svg --input prompts.txt --output ./output_text --model-size 4B --save-all-candidates

生成多个候选方案并保存为 PNG 预览:

python inference.py --task text-to-svg --input prompts.txt --output ./output_text \
    --num-candidates 8 --save-png --save-all-candidates

自定义生成参数 (温度、Top-P 等):

python inference.py --task text-to-svg --input prompts.txt --output ./output_text \
    --temperature 0.5 --top-p 0.9 --top-k 50 --repetition-penalty 1.05

使用本地已下载的模型路径:

python inference.py --task text-to-svg --input prompts.txt --output ./output_text \
    --model-path /path/to/qwen --weight-path /path/to/omnisvg

图生图 (Image-to-SVG)

将输入图片放在 ./examples 文件夹中，运行：

python inference.py --task image-to-svg --input ./examples --output ./output_image --save-all-candidates

启动交互式 Demo (Gradio)

在本地启动 Web 界面进行可视化操作：

python app.py

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可使用。