NEO 系列：原生视觉-语言模型（Native Vision-Language Models）

• 2025/09: From Pixels to Words -- Towards Native Vision-Language Primitives at Scale (ICLR 2026)

📜 新闻动态

[2026/01] 🔥🔥🔥 NEO 的训练代码已发布！
[2025/10] NEO 的论文、模型权重和评测代码已发布！
[2025/09] 💥💥💥 NEO 已完成！

📋 待办清单

• 评测指南
• 训练指南

💡 研究动机

• 哪些限制条件使原生 VLM（Native VLMs）区别于模块化 VLM（Modular VLMs），以及这些限制能在多大程度上被克服？

• 如何让原生 VLM 更加易于获取和普及，从而加速其发展进程？

💡 核心亮点

• 🔥 原生架构（Native Architecture）： NEO 创新性地提出了一种原生 VLM 基元（primitive），在密集的单体模型架构（dense, monolithic model architecture）中统一了像素-词编码、对齐和推理。

• 🔥 卓越效率： 仅使用 3.9 亿图文样本，NEO 从零开始培养出强大的视觉感知能力，可与顶级模块化 VLM 相媲美，并超越现有的原生 VLM。

• 🔥 广阔前景： NEO 为可扩展且强大的原生 VLM 开辟了一条充满前景的道路，同时配备了多样化的可复用组件，构建了一个经济高效且可扩展的生态系统。

🤖 模型仓库

我们发布了 2B 和 9B 参数的 NEO 模型，包括预训练（Pre-Training, PT）、中程训练（Mid-Training, MT）和监督微调（Supervised Fine-Tuning, SFT）三个阶段。

模型名称	模型权重
NEO-2B-PT	🤗 NEO-2B-PT HF 链接
NEO-2B-MT	🤗 NEO-2B-MT HF 链接
NEO-2B-SFT	🤗 NEO-2B-SFT HF 链接
NEO-9B-PT	🤗 NEO-9B-PT HF 链接
NEO-9B-MT	🤗 NEO-9B-MT HF 链接
NEO-9B-SFT	🤗 NEO-9B-SFT HF 链接

📊 基准测试结果

表格说明：

• "# Data" = 预训练（Pre-training）/ 中期训练（Mid-training）/ 监督微调（Supervised Fine-Tuning）的数据规模。
• "†" = 使用强化学习（Reinforcement Learning, RL）的视觉-语言模型。
• "Any Res." = 任意分辨率（Any Resolution）； "Tile-wise" = 图像分块处理；
  "Any Rat." = 任意长宽比（Any Aspect Ratio）； "Fix Res." = 固定分辨率（Fixed Resolution）。
• "MoE" = 混合专家模型（Mixture-of-Experts）； "DaC" = 分治策略（Divide-and-Conquer）。
• 粗体 = 每列中的最佳得分。
  
  

模型名称	基础大语言模型名称	#数据_PT·MT·SFT	输入类型	RoPE类型	MMMU	MMB	MMVet	MMStar	SEED_I	POPE	HallB	AI2D	DocVQA	ChartQA	InfoVQA	TextVQA	OCRBench
🔻模块化视觉语言模型_(2B)
Qwen2-VL	Qwen2-1.5B	--·--·--	Any Res.	M-RoPE	41.1	74.9	49.5	48.0	--	--	41.7	74.7	90.1	73.5	65.5	79.7	80.9
InternVL2.5	InternLM2.5-1.8B	>6B·100M·16M	Tile-wise	1D-RoPE	43.6	74.7	60.8	53.7	--	90.6	42.6	74.9	88.7	79.2	60.9	74.3	80.4
InternVL3†	Qwen2.5-1.5B	>6B·100M·22M	Tile-wise	1D-RoPE	48.6	81.1	62.2	60.7	--	89.6	42.5	78.7	88.3	80.2	66.1	77.0	83.5
Qwen2.5-VL†	Qwen2.5-3B	--·--·--	Any Res.	M-RoPE	51.2	79.1	61.8	55.9	--	--	46.3	81.6	93.9	84.0	77.1	79.3	79.7
Encoder_Based	Qwen3-1.7B	>6B·40M·4M	Tile-wise	1D-RoPE	47.1	75.8	37.4	52.7	73.6	87.0	44.4	77.4	89.9	78.4	65.9	73.3	83.5
🔻原生视觉语言模型_(2B)
Mono-InternVL	InternLM2-1.8B	1.2B·143M·7M	Tile-wise	1D-RoPE	33.7	65.5	40.1	--	67.4	--	34.8	68.6	80.0	73.7	43.0	72.6	76.7
Mono-InternVL-1.5	InternLM2-1.8B	400M·150M·7M	Tile-wise	1D-RoPE	39.1	64.0	54.0	--	66.9	--	32.5	67.4	81.7	72.2	47.9	73.7	80.1
HoVLE	InternLM2-1.8B	550M·50M·7M	Tile-wise	1D-RoPE	32.2	73.3	43.8	--	70.9	87.4	38.4	73.0	86.1	78.6	55.7	70.9	74.0
OneCAT	Qwen2.5-1.5B	436M·70M·13M	Any Res.	M-RoPE	39.0	72.4	42.4	--	70.9	--	--	72.4	87.1	76.2	56.3	67.0	--
NEO	Qwen3-1.7B	345M·40M·4M	Any Res.	Native_RoPE	48.6	76.0	49.6	54.2	74.2	87.5	43.1	80.1	89.9	81.2	63.2	74.0	77.1

模型名称	基础大语言模型名称	#数据_PT·MT·SFT	输入类型	RoPE类型	MMMU	MMB	MMVet	MMStar	SEED_I	POPE	HallB	AI2D	DocVQA	ChartQA	InfoVQA	TextVQA	OCRBench
🔻模块化视觉语言模型_(8B)
Qwen2-VL	Qwen2-7B	--·--·--	Any Res.	M-RoPE	54.1	83.0	62.0	60.7	--	88.1	50.6	83.0	94.5	83.0	76.5	84.3	86.6
InternVL2.5	InternLM2.5-7B	>6B·50M·4M	Tile-wise	1D-RoPE	56.0	84.6	62.8	64.4	--	90.6	50.1	84.5	93.0	84.8	77.6	79.1	82.2
Qwen2.5-VL†	Qwen2.5-7B	--·--·--	Any Res.	M-RoPE	55.0	83.5	67.1	63.9	--	86.4	52.9	83.9	95.7	87.3	82.6	84.9	86.4
InternVL3†	Qwen2.5-7B	>6B·100M·22M	Tile-wise	1D-RoPE	62.7	83.4	81.3	68.2	--	91.1	49.9	85.2	92.7	86.6	76.8	80.2	88.0
Encoder-Based	Qwen3-8B	>6B·40M·4M	Tile-wise	1D-RoPE	54.1	84.0	60.0	63.5	76.2	87.8	51.4	82.9	92.1	83.5	75.0	77.1	85.3
🔻原生视觉语言模型_(8B)
Fuyu	Persimmon-8B	--·--·--	Any Res.	1D-RoPE	27.9	10.7	21.4	--	59.3	84.0	--	64.5	--	--	--	--	36.6
Chameleon	from scratch	1.4B·0M·1.8M	Fix Res.	1D-RoPE	25.4	31.1	8.3	--	30.6	19.4	17.1	46.0	1.5	2.9	5.0	4.8	0.7
EVE	Vicuna-7B	33M·0M·1.8M	Any Rat.	1D-RoPE	32.6	52.3	25.7	--	64.6	85.0	26.4	61.0	53.0	59.1	25.0	56.8	39.8
SOLO	Mistral-7B	44M·0M·2M	Any Res.	1D-RoPE	--	67.7	30.4	--	64.4	78.6	--	61.4	--	--	--	--	12.6
Emu3	from scratch	--·--·--	Fix Res.	1D-RoPE	31.6	58.5	37.2	--	68.2	85.2	--	70.0	76.3	68.6	43.8	64.7	68.7
EVEv2	Qwen2.5-7B	77M·15M·7M	Any Rat.	1D-RoPE	39.3	66.3	45.0	--	71.4	87.6	--	74.8	--	73.9	--	71.1	70.2
BREEN	Qwen2.5-7B	13M·0M·4M	Any Res.	1D-RoPE	42.7	71.4	38.9	51.2	--	--	37.0	76.4	--	--	--	65.7	--
VoRA	Qwen2.5-7B	30M·0M·0.6M	Any Res.	1D-RoPE	32.0	61.3	33.7	--	68.9	85.5	--	61.1	--	--	--	58.7	--
SAIL	Mistral-7B	512M·86M·6M	Any Res.	M-RoPE	--	70.1	46.3	53.1	72.9	85.8	54.2	76.7	--	--	--	77.1	78.3
NEO	Qwen3-8B	345M·40M·4M	Any Res.	Native_RoPE	54.6	82.1	53.6	62.4	76.3	88.4	46.4	83.1	88.6	82.1	60.9	75.0	77.7

✒️ 引用

如果 NEO 系列 对您的研究有所帮助，请考虑 star ⭐ 和 引用 📝 ：

@article{Diao2025NEO,
  title        = {From Pixels to Words--Towards Native Vision-Language Primitives at Scale},
  author       = {Diao, Haiwen and Li, Mingxuan and Wu, Silei and Dai, Linjun and Wang, Xiaohua and Deng, Hanming and Lu, Lewei and Lin, Dahua and Liu, Ziwei},
  journal      = {arXiv preprint arXiv:2510.14979},
  year         = {2025}
}

📄 许可证

本项目内容本身采用 LICENSE 许可证。

NEO 快速上手指南

环境准备

系统要求

• Python ≥ 3.10
• PyTorch ≥ 2.0
• CUDA ≥ 11.8（推荐）
• 显存：2B 模型约需 8GB，9B 模型约需 24GB

前置依赖

# 基础依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece
pip install pillow numpy

安装步骤

1. 克隆仓库

git clone https://github.com/EvolvingLMMs-Lab/NEO.git
cd NEO

2. 安装 NEO（可选，如需训练/评估）

# 评估工具
cd VLMEvalKit && pip install -e .

# 训练工具
cd ../VLMTrainKit && pip install -e .

基本使用

快速推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image
import torch

# 加载模型（自动从 Hugging Face 下载）
model_name = "Paranioar/NEO1_0-2B-SFT"  # 或 NEO1_0-9B-SFT

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 准备图像和文本
image = Image.open("example.jpg").convert("RGB")
text = "Describe this image in detail."

# 构建输入
inputs = tokenizer(
    text=text,
    images=image,
    return_tensors="pt"
).to(model.device)

# 生成
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=False
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

使用 ModelScope 镜像（国内加速）

# 安装 ModelScope
pip install modelscope

from modelscope import snapshot_download

# 下载到本地
model_dir = snapshot_download("Paranioar/NEO1_0-2B-SFT")

# 加载本地模型
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

命令行快速测试

# 使用 transformers-cli 或自定义脚本
python -c "
from transformers import pipeline
import requests
from PIL import Image

# 创建 VLM pipeline
vlm = pipeline('image-to-text', model='Paranioar/NEO1_0-2B-SFT', trust_remote_code=True)

# 加载图像
url = 'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/ai2d-demo.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 推理
result = vlm(image, prompt='What is shown in this image?', max_new_tokens=256)
print(result[0]['generated_text'])
"

模型选择建议

场景	推荐模型	显存需求
快速验证/边缘部署	NEO-2B-SFT	~8GB
生产环境/高精度需求	NEO-9B-SFT	~24GB
继续训练/研究	NEO-2B/9B-PT	同上
特定任务微调	NEO-2B/9B-MT	同上

相关资源

• 论文: From Pixels to Words
• 模型权重: Hugging Face Collection
• 评估代码: VLMEvalKit/README.md
• 训练代码: VLMTrainKit/README.md