InternLM-XComposer-2.5

InternLM-XComposer2.5 🤗  ｜ XComposer2.5 技术报告 📄

English | 简体中文

感谢社区提供的 HuggingFace 演示 | OpenXLab 演示 的 InternLM-XComposer-2.5。

👋 欢迎加入我们的 Discord 和 微信

🔥🔥🔥 InternLM-XComposer2.5-Reward

我们发布了 InternLM-XComposer2.5-Reward 🤗（IXC-2.5-Reward，ACL 2025 Findings），这是一个简单而高效的多模态奖励模型，包含训练代码、评估脚本以及部分训练数据。详情请参阅 项目页面。

🔥🔥🔥 InternLM-XComposer2.5-OmniLive

我们发布了 InternLM-XComposer2.5-OmniLive，一个用于长期流式视频和音频交互的综合性多模态系统。详情请参阅 项目页面。

我们团队的多模态项目

InternLM-XComposer-2.5-Reward: 一个简单而高效的多模态奖励模型

InternLM-XComposer-2.5-OmniLive: 一个专门针对流式视频和音频交互的通用型多模态系统

InternLM-XComposer-2.5: 一款支持长上下文输入输出的多功能大型视觉语言模型

InternLM-XComposer2-: 一款开创性的大型视觉语言模型，可处理从336像素到4K高清分辨率的图像

InternLM-XComposer2: 在视觉语言大型模型中掌握自由格式的文本-图像创作与理解

InternLM-XComposer: 一种用于高级文本-图像理解和创作的视觉语言大型模型

ShareGPT4Video: 通过更优质的字幕提升视频理解和生成能力

ShareGPT4V: 通过更优质的字幕改进大型多模态模型

MMDU: 一个用于LVLMs的多轮多图对话理解基准及指令微调数据集

DualFocus: 在多模态大型语言模型中融合宏观与微观视角

InternLM-XComposer-2.5 在各类文本-图像理解和创作应用中表现出色，仅凭借7B规模的语言模型后端便达到了GPT-4V级别的能力。IXC-2.5 使用2.4万条交错排列的图文上下文进行训练，可通过RoPE外推技术无缝扩展至9.6万条长上下文。这种长上下文能力使IXC-2.5 在需要大量输入和输出内容的任务中表现尤为突出。

• 超高分辨率理解：IXC-2.5 在IXC2-4KHD提出的动态分辨率方案基础上进行了优化，采用原生560×560的ViT视觉编码器，能够支持任意宽高比的高分辨率图像。

• 细粒度视频理解：IXC-2.5 将视频视为由数十至数百帧组成的超高分辨率复合图像，通过密集采样和更高的单帧分辨率来捕捉细微细节。

• 多轮多图对话：IXC-2.5 支持自由形式的多轮多图对话，使其能够在多轮交流中自然地与人类互动。

• 网页制作：IXC-2.5 可以根据文本-图像指令，轻松地组合源代码（HTML、CSS和JavaScript）来创建网页。

• 高质量文本-图像文章创作：IXC-2.5 利用专门设计的思维链（CoT）和直接偏好优化（DPO）技术，显著提升了其书面内容的质量。

• 卓越性能：IXC-2.5 已在28项基准测试中接受评估，在16项基准测试中超越了现有的开源最先进模型；同时，在16项关键任务上也优于或与GPT-4V、Gemini Pro不相上下。

更多详情请参阅 技术报告。

演示视频

🔥 为获得最佳体验，请在观看视频时保持音频开启。

https://github.com/InternLM/InternLM-XComposer/assets/147793160/8206f07f-3166-461e-a631-9cbcdec6ae75

Youtube 视频

中文版演示请参阅 中文演示。

新闻与更新

• 2024.12.12 🎉🎉🎉 InternLM-XComposer2.5-7B-Reward 已公开发布。
• 2024.12.12 🎉🎉🎉 InternLM-XComposer2.5-OmniLive-7B 已公开发布。
• 2024.07.15 🎉🎉🎉 ModelScope Swift 支持 InternLM-XComposer2.5-7B 的微调和推理。
• 2024.07.15 🎉🎉🎉 LMDeploy 支持 InternLM-XComposer2.5-7B 进行 4 位量化和推理。
• 2024.07.15 🎉🎉🎉 InternLM-XComposer2.5-7B-4bit 已公开发布。
• 2024.07.03 🎉🎉🎉 InternLM-XComposer2.5-7B 已公开发布。
• 2024.07.01 🎉🎉🎉 ShareGPT4V 被 ECCV2024 接收。
• 2024.04.22 🎉🎉🎉 InternLM-XComposer2-VL-7B-4KHD-7B 的微调代码已公开发布。
• 2024.04.09 🎉🎉🎉 InternLM-XComposer2-4KHD-7B 和评估代码已公开发布。
• 2024.04.09 🎉🎉🎉 InternLM-XComposer2-VL-1.8B 已公开发布。
• 2024.02.22 🎉🎉🎉 我们发布了DualFocus，这是一个用于在多模态大语言模型中整合宏观与微观视角的框架，以提升视觉-语言任务的表现。

• 2024.02.06 🎉🎉🎉 InternLM-XComposer2-7B-4bit 和 InternLM-XComposer-VL2-7B-4bit 已在 Hugging Face 和 ModelScope 上公开发布。

• 2024.02.02 🎉🎉🎉 InternLM-XComposer2-VL-7B 的微调代码已公开发布。
• 2024.01.26 🎉🎉🎉 InternLM-XComposer2-VL-7B 的评估代码已公开发布。
• 2024.01.26 🎉🎉🎉 InternLM-XComposer2-7B 和 InternLM-XComposer-VL2-7B 已在 Hugging Face 和 ModelScope 上公开发布。
• 2024.01.26 🎉🎉🎉 我们发布了一份技术报告，详细介绍了 InternLM-XComposer2 系列。
• 2023.11.22 🎉🎉🎉 我们发布了ShareGPT4V，这是一份由 GPT4-Vision 生成的大规模、高描述性的图文数据集，以及一款优秀的大型多模态模型 ShareGPT4V-7B。
• 2023.10.30 🎉🎉🎉 InternLM-XComposer-VL 在 Q-Bench 和 Tiny LVLM 中均获得第一名。
• 2023.10.19 🎉🎉🎉 支持多 GPU 推理。两块 4090 显卡足以部署我们的演示。
• 2023.10.12 🎉🎉🎉 支持 4 位演示，模型文件已在 Hugging Face 和 ModelScope 上提供。
• 2023.10.8 🎉🎉🎉 InternLM-XComposer-7B 和 InternLM-XComposer-VL-7B 已在 ModelScope 上公开发布。
• 2023.9.27 🎉🎉🎉 InternLM-XComposer-VL-7B 的评估代码已公开发布。
• 2023.9.27 🎉🎉🎉 InternLM-XComposer-7B 和 InternLM-XComposer-VL-7B 已在 Hugging Face 上公开发布。
• 2023.9.27 🎉🎉🎉 我们发布了一份技术报告，详细介绍了我们的模型系列。
  

模型动物园

模型	用途	Transformers(HF)	ModelScope(HF)	发布日期
InternLM-XComposer-2.5	视频理解、多图像多轮对话、4K分辨率理解、网页制作、文章创作、基准测试	🤗internlm-xcomposer2.5	internlm-xcomposer2.5	2024-07-03
InternLM-XComposer2-4KHD	4K分辨率理解、基准测试、VL-聊天	🤗internlm-xcomposer2-4khd-7b	internlm-xcomposer2-4khd-7b	2024-04-09
InternLM-XComposer2-VL-1.8B	基准测试、VL-聊天	🤗internlm-xcomposer2-vl-1_8b	internlm-xcomposer2-vl-1_8b	2024-04-09
InternLM-XComposer2	文本-图像组合	🤗internlm-xcomposer2-7b	internlm-xcomposer2-7b	2024-01-26
InternLM-XComposer2-VL	基准测试、VL-聊天	🤗internlm-xcomposer2-vl-7b	internlm-xcomposer2-vl-7b	2024-01-26
InternLM-XComposer2-4bit	文本-图像组合	🤗internlm-xcomposer2-7b-4bit	internlm-xcomposer2-7b-4bit	2024-02-06
InternLM-XComposer2-VL-4bit	基准测试、VL-聊天	🤗internlm-xcomposer2-vl-7b-4bit	internlm-xcomposer2-vl-7b-4bit	2024-02-06
InternLM-XComposer	文本-图像组合、VL-聊天	🤗internlm-xcomposer-7b	internlm-xcomposer-7b	2023-09-26
InternLM-XComposer-4bit	文本-图像组合、VL-聊天	🤗internlm-xcomposer-7b-4bit	internlm-xcomposer-7b-4bit	2023-09-26
InternLM-XComposer-VL	基准测试	🤗internlm-xcomposer-vl-7b	internlm-xcomposer-vl-7b	2023-09-26

评估

我们对InternLM-XComposer-2.5进行了28项多模态基准测试，包括图像基准测试MMDU、MMStar、RealWorldQA、Design2Code、DocVQA、Infographics VQA、TextVQA、ChartQA、OCRBench、DeepFrom、WTQ、VisualMRC、TabFact、MathVista、MMMU、AI2D、MME、MMBench、MMBench-CN、SEED-Bench、HallusionBench、MM-Vet，以及视频基准测试MVBench、MLVU、Video-MME、MMBench-Video、TempCompass。

详细评估内容请参阅此处的评估详情。

与闭源API及视频和结构化高分辨率图像领域的先前SOTA方法的对比。

与闭源API及多图像对话和通用视觉问答基准测试中的先前SOTA方法的对比。

需求

• Python 3.8及以上版本
• PyTorch 1.12及以上版本，推荐使用2.0及以上版本
• 推荐使用CUDA 11.4及以上版本（适用于GPU用户）
• 使用InternLM-XComposer2.5处理高分辨率图像时，需要安装flash-attention2。
  

安装

在运行代码之前，请确保已搭建好环境并安装了所需的软件包。请确认满足上述要求，然后安装依赖库。 请参阅安装说明

快速入门

我们提供了一个简单的示例，展示如何使用InternLM-XComposer-2.5结合🤗 Transformers。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '这里有一些视频的画面。请详细描述这段视频'
image = ['./examples/liuxiang.mp4',]
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, his = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, use_meta=True)
print(response)
#视频一开始出现一位身穿红黄相间、胸前印有“CHINA”字样的运动员，正在为比赛做准备。
#这位运动员就是刘翔，他蹲伏着，神情专注而蓄势待发，背景中可以看到奥林匹克五环标志，表明这是一场奥运会的赛事。随着比赛开始，运动员们飞奔向障碍栏，步伐矫健有力，展现出他们的决心。
#镜头捕捉到了比赛的激烈场面，屏幕上实时显示着每位运动员的号码和时间，让观众随时了解他们的表现。比赛进入高潮阶段，刘翔依然身着红黄色制服，最终冲过终点线，双臂高举庆祝胜利。
#看台上观众爆发出热烈的欢呼声，他们为刘翔的成功而激动不已。视频最后以刘翔的特写镜头结束，他仍沉浸在胜利的喜悦中，而奥林匹克五环则继续象征着这场赛事的重要意义。

query = '告诉我刘翔的运动员编号'
image = ['./examples/liuxiang.mp4',]
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, _ = model.chat(tokenizer, query，image，历史=his，do_sample=False，num_beams=3，use_meta=True)
print(response)
#根据视频中刘翔制服上的标识，他的运动员编号是“1363”。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = 'Image1 <ImageHere>; Image2 <ImageHere>; Image3 <ImageHere>; 我想从这三辆车中选购一辆，请逐一分析它们的优缺点'
image = ['./examples/cars1.jpg',
        './examples/cars2.jpg',
        './examples/cars3.jpg',]
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, his = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, use_meta=True)
print(response)
#要分析每辆车的优缺点，我们需要考虑品牌声誉、性能、设计、成本和维护等因素。
#1. 奔驰：-优点：奔驰以豪华和可靠性著称，提供高水平的舒适性、先进技术和卓越的工艺。图片中的车辆似乎是一辆SUV，既适合城市驾驶，也适合越野路况。-缺点：通常来说，奔驰车型相比其他品牌更为昂贵，并且由于其豪华定位，可能需要更频繁的维护。
#2. 布加迪：-优点：布加迪以生产世界上速度最快、动力最强的汽车而闻名。图片中的车辆是一辆跑车，很可能凭借其高性能发动机和先进的空气动力学，带来令人振奋的驾驶体验。-缺点：布加迪汽车价格极其高昂，普通消费者难以负担。此外，这类车辆需要专业的知识进行维护，而且由于其高性能特性，可能并不适合日常驾驶。
#3. 宝马：-优点：宝马是一家备受尊敬的制造商，以其创新的工程技术和设计而闻名。图片中的车辆似乎是一辆电动汽车（EV），具有低排放、低噪音污染以及潜在的较低运营成本等优势。-缺点：像图片中这样的电动汽车，其续航里程可能比传统燃油车短，限制了长途旅行的适用性。
#另外，购买电动汽车的初始成本也可能高于传统汽车。综上所述，每一辆车都有其独特的优缺点。奔驰提供豪华与多功能性，布加迪则以高性能和独特性见长，而宝马代表了电动车技术的创新。最终的选择取决于买家的优先级，比如舒适性、性能、环境影响以及预算。

query = 'Image4 <ImageHere>; 那么图4中的这辆车怎么样呢'
image.append('./examples/cars4.jpg')        
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, _ = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, history= his, use_meta=True)
print(response)
#图4中的这辆车是一辆红色跑车，看起来像是法拉利。法拉利是著名的意大利制造商，以生产世界上最标志性和高性能的跑车而闻名。-优点：法拉利汽车象征着速度、豪华和卓越的工程技术。
#图片中的车辆很可能凭借其强大的引擎、先进的空气动力学和高品质的工艺，带来令人兴奋的驾驶体验。红色外观也为车辆增添了美感，在道路上格外引人注目。-缺点：法拉利汽车价格极其昂贵，普通消费者难以承受。
#此外，这类车辆需要专业的知识进行维护，而且由于其高性能特性，可能并不适合日常驾驶。总之，图4中的法拉利代表了汽车工程和设计的巅峰，提供了无与伦比的性能和豪华感。
#然而，其高昂的成本和特殊的维护要求使其在日常使用方面不如图片中的其他车辆实用。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '请详细分析给定的图片'
image = ['./examples/dubai.png']
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, _ = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, use_meta=True)
print(response)
#这张信息图以视觉方式展示了关于迪拜的各种事实。它首先提到朱美拉棕榈岛，指出它是从太空可见的最大人工岛。随后介绍了历史背景，提到1968年时迪拜只有少数几辆汽车，而现在这一数字已超过150万辆。
#信息图还指出，迪拜拥有世界上最大的黄金链，全球十大最高酒店中有7家位于迪拜。此外，犯罪率接近于零，所得税率为零，全球20%的起重机都在迪拜运行。信息图还提到，迪拜人口中17%为阿联酋本地人，83%为移民。
#迪拜购物中心被强调为世界上最大的购物中心，拥有1200家商店。信息图还指出，迪拜没有标准的地址系统，没有邮政编码、区号或邮政服务。此外，它提到哈利法塔非常高，以至于顶层住户在斋月期间需要等待更长时间才能开斋。
#信息图还包括关于迪拜气候控制城市的介绍，其中阿拉伯塔酒店的皇家套房每晚收费24,000美元。最后，信息图提到，四位上榜亿万富翁的净资产大致等于洪都拉斯的GDP。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '一个科研机构的网站。名称是上海人工智能实验室。顶部导航栏为蓝色。左下角有一张图片，显示实验室的标志。右侧下方有一段文字，描述了实验室的使命。还有几张图片展示了上海人工智能实验室的研究项目。'
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.write_webpage(query, seed=202, task='指令感知型网页生成', repetition_penalty=3.0)
print(response)
# 查看 Instruction-aware Webpage Generation.html 

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

## 输入应为 Markdown 格式的简历
query = './examples/resume.md'
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.resume_2_webpage(query, seed=202, repetition_penalty=3.0)
print(response)

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '使用 Tailwind CSS 生成这张网页图片的 HTML 代码。'
image = ['./examples/screenshot.jpg']
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.screen_2_webpage(query, image, seed=202, repetition_penalty=3.0)
print(response)

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval().half()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '阅读下面的材料，根据要求写作。 电影《长安三万里》的出现让人感慨，影片并未将重点全落在大唐风华上，也展现了恢弘气象的阴暗面，即旧门阀的资源垄断、朝政的日益衰败与青年才俊的壮志难酬。高适仕进无门，只能回乡>沉潜修行。李白虽得玉真公主举荐，擢入翰林，但他只是成为唐玄宗的御用文人，不能真正实现有益于朝政的志意。然而，片中高潮部分《将进酒》一节，人至中年、挂着肚腩的李白引众人乘仙鹤上天，一路从水面、瀑布飞升至银河进入仙>宫，李白狂奔着与仙人们碰杯，最后大家纵身飞向漩涡般的九重天。肉身的微贱、世路的“天生我材必有用，坎坷，拘不住精神的高蹈。“天生我材必有用，千金散尽还复来。” 古往今来，身处闲顿、遭受挫折、被病痛折磨，很多人都曾经历>了人生的“失意”，却反而成就了他们“诗意”的人生。对正在追求人生价值的当代青年来说，如何对待人生中的缺憾和困顿?诗意人生中又有怎样的自我坚守和自我认同?请结合“失意”与“诗意”这两个关键词写一篇文章。 要求:选准角度，确定>立意，明确文体，自拟标题;不要套作，不得抄袭;不得泄露个人信息;不少于 800 字。'
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.write_artical(query, seed=8192)
print(response)
#诗意人生，贵在坚守
#《菜根谭》有云:“闲时要有吃紧的心思,忙里要留吃闲工夫.”人生在世,总有失意之时,当面对缺憾和困顿,诗意地生活着才能为人生增添一抹亮色.何谓诗意地生活? 所谓诗意地生活，便是在于坚守本心、直面遗憾、超越自我,在失意中寻找人生价值.
#诗意地生活,需坚守本心,淡然处之.
#陶渊明曾执意辞去彭泽县令,归隐田园,“采菊东篱下,悠然见南山”,在山水间寄情自娱；王维面对仕途失意,终日沉醉于诗酒之中,“兴来每独往,胜事空自知”,在诗酒中闲逸自如；李白仕途不顺,被赐金放还,但他依旧豪气干云,“天生我才必有用,千金散尽还复来”,在失意中坦然豁达.坚守本心，便能在遭遇失意之时守住自己的精神家园，让生活充满诗意.反之，若不能坚守本心，而只是一味迎合世俗以求得升迁，那纵使身居高位，亦会丧失生活的乐趣.
#诗意地生活,需直面遗憾,超越自我.
#“西塞山前白鹭飞,桃花流水鳜鱼肥.青箬笠,绿柳枝,半斤酒,一纶丝.五湖四海皆如此,何妨到此处归.”白居易的《渔歌子》写出了多少人的愿望:没有权势纷扰,没有贫困凄凉,只有青山绿水、白鹭鸥鸟作伴,如此自由自在的生活令人神往.然而，白居易却并没有因此真的归隐山林，而是直面人生，超越自我，写下了一首首诗意而富有现实关怀的作品.如果白居易只顾逃避人生，那又怎会拥有“大弦嘈嘈如急雨，小弦切切如私语”的绝美比喻呢？如果白居易只顾归隐山林，那又怎会写出“此曲只应天上有，人间哪得配白居易”这样的诗句呢？
#诗意地生活,需直面遗憾，坚守本心.
#李文波患有渐冻症，医生说他活不过五年，但他没有因此放弃对音乐的热爱，而是与病魔作斗争，演奏出美妙的乐曲；孙家林自幼患有脑瘫，但他不甘于命运的捉弄，终成全国最美教师；史铁生饱受疾病折磨，但他仍能发出“我常常在我的心头清点，我有什么？”的叩问，并由此走上文学道路，为后世留下丰厚的文化遗产.这些人没有逃避，而是选择直面人生的缺憾，在坚守本心的同时超越自我，最终实现了自己的价值.
#诗意地生活，是于失意中坚守本心，于缺憾中超越自我.当面对人生的缺憾与挫折，坚守本心、超越自我的同时，也必将书写属于自己的辉煌篇章.
#愿你我都能诗意地生活着！

query = '请根据标题撰写一篇博客：法式糕点：甜蜜的享受'
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.write_artical(query, seed=8192)
print(response)
#法式糕点：甜蜜的享受
#法国人以其对糕点的热爱而闻名，这种热爱代代相传。当人们访问法国时，总能品尝到各种各样的烘焙食品，从精致的马卡龙到浓郁奢华的巧克力慕斯。尽管法国有许多美味的糕点，但有五种特别突出，堪称最具代表性的。每一种糕点都有其独特的风味和魅力。
#1. 牛角包
#法国最著名的糕点之一就是牛角包。它是一种黄油味十足、层次分明的酥皮点心，最好趁新鲜时享用。制作过程中，面团会反复折叠并涂抹黄油，从而形成标志性的层层酥皮。牛角包通常作为早餐或早午餐食用，搭配咖啡或热巧克力更是绝佳。
#2. 马卡龙
#马卡龙是一种小巧精致的法式甜点，由杏仁粉、糖粉和蛋白制成。两片马卡龙之间夹着甘纳许或果酱馅料。它们颜色缤纷、口味多样，无论是休闲零食还是高档甜点，都是不错的选择。
#3. 玛德琳蛋糕
#玛德琳蛋糕是一种小巧的贝壳形蛋糕，质地轻盈柔软，类似海绵蛋糕。它常带有柠檬或橙子的清香，有时还会蘸上巧克力。玛德琳蛋糕非常适合下午茶或咖啡时光享用。
#4. 法式闪电泡芙
#法式闪电泡芙是一种细长的奶油泡芙，外层淋上巧克力酱。它既甜美又满足，是法国的经典美食之一。无论在哪家面包店，你都能找到这种美味的点心，尤其适合搭配一杯热巧克力。
#5. 塔腾苹果派
#塔腾苹果派以其焦糖化的苹果和酥脆的派皮而闻名。这款甜点的名字来源于19世纪末发明它的塔腾姐妹。塔腾苹果派最适合温热时享用，搭配一勺香草冰淇淋更添风味。
#这些糕点只是法国众多美味佳肴中的一部分。无论你是经验丰富的旅行者还是初次到访的游客，品尝法式糕点都是一项不容错过的体验。所以，不妨犒劳一下自己吧——你值得拥有这份甜蜜的享受！

多GPU推理

如果你有多块GPU，但每块GPU的显存不足以容纳整个模型，可以将模型拆分到多块GPU上进行推理。首先，使用命令 pip install accelerate 安装 accelerate 库，然后执行以下脚本进行对话：

# 使用2块GPU进行对话
python example_code/example_chat.py --num_gpus 2

LMDeploy加速推理

如果需要优化 InternLM-XComposer2d5 模型的推理性能，推荐使用 LMDeploy。

在接下来的小节中，我们将以 internlm-xcomposer2d5-7b 模型为例，介绍 LMDeploy 的使用方法。

首先，请通过 pip install lmdeploy 安装 LMDeploy 的 PyPI 包。默认情况下，该库依赖于 CUDA 12.x。如果你使用的是 CUDA 11.x 环境，请参考 安装指南。

离线推理流程

from lmdeploy import pipeline
from lmdeploy.vl import load_image
pipe = pipeline('internlm/internlm-xcomposer2d5-7b')
image = load_image('examples/dubai.png')
response = pipe(('描述这张图片', image))
print(response.text)

关于 VLM 推理流程的更多内容，包括多图像推理和多轮对话等，请参阅 这篇文档。

4位量化模型

我们通过 LMDeploy 提供 4位量化模型，以降低显存占用。有关显存占用的对比信息，请参阅 这里。

from lmdeploy import TurbomindEngineConfig, pipeline
from lmdeploy.vl import load_image
engine_config = TurbomindEngineConfig(model_format='awq')
pipe = pipeline('internlm/internlm-xcomposer2d5-7b-4bit', backend_config=engine_config)
image = load_image('examples/dubai.png')
response = pipe(('描述这张图片', image))
print(response.text)

微调

1. 请参考我们的 微调脚本。
2. 推理和微调支持来自 ModelScope Swift。

Gradio 部署

我们提供了代码，供用户构建 Web UI 示例。请确保使用 gradio==4.13.0。

运行以下命令可启动聊天或创作功能：

# 多模态聊天
python gradio_demo/gradio_demo_chat.py

# 自由文本-图像创作
python gradio_demo/gradio_demo_composition.py

UI 示例的使用说明请参见 这里。如果你想更改模型的默认路径，可以使用 --code_path=new_folder 参数。

引用

如果您在研究中使用了我们的模型、代码或论文，请考虑给个 ⭐ 和引用 📝，谢谢 :)

@inproceedings{internlmxcomposer2_5_reward,
      title={InternLM-XComposer2.5-Reward: 一个简单而高效的多模态奖励模型}, 
      author={Zang Yuhang, Dong Xiaoyi, Zhang Pan, Cao Yuhang, Liu Ziyu, Ding Shengyuan, Wu Shenxi, Ma Yubo, Duan Haodong, Zhang Wenwei, Chen Kai, Lin Dahua, Wang Jiaqi},
      booktitle={Findings of ACL},
      year={2025}
}

@article{internlmxcomposer2_5_OL,
      title={InternLM-XComposer2.5-OmniLive: 一个全面的多模态系统，用于长期流式视频和音频交互}, 
      author={Zhang Pan, Dong Xiaoyi, Cao Yuhang, Zang Yuhang, Qian Rui, Wei Xilin, Chen Lin, Li Yifei, Niu Junbo, Ding Shuangrui, Guo Qipeng, Duan Haodong, Chen Xin, Lv Han, Nie Zheng, Zhang Min, Wang Bin, Zhang Wenwei, Zhang Xinyue, Ge Jiaye, Li Wei, Li Jingwen, Tu Zhongying, He Conghui, Zhang Xingcheng, Chen Kai, Qiao Yu, Lin Dahua, Wang Jiaqi},
      journal={arXiv预印本 arXiv:2412.09596},
      year={2024}
}

@article{internlmxcomposer2_5,
      title={InternLM-XComposer-2.5: 一个多功能大型视觉语言模型，支持长上下文输入和输出}, 
      author={Zhang Pan, Dong Xiaoyi, Zang Yuhang, Cao Yuhang, Qian Rui, Chen Lin, Guo Qipeng, Duan Haodong, Wang Bin, Ouyang Linke, Zhang Songyang, Zhang Wenwei, Li Yining, Gao Yang, Sun Peng, Zhang Xinyue, Li Wei, Li Jingwen, Wang Wenhai, Yan Hang, He Conghui, Zhang Xingcheng, Chen Kai, Dai Jifeng, Qiao Yu, Lin Dahua, Wang Jiaqi},
      journal={arXiv预印本 arXiv:2407.03320},
      year={2024}
}

@article{internlmxcomposer2_4khd,
      title={InternLM-XComposer2-4KHD: 一个开创性的大型视觉语言模型，可处理从336像素到4K高清分辨率的图像}, 
      author={Dong Xiaoyi, Zhang Pan, Zang Yuhang, Cao Yuhang, Wang Bin, Ouyang Linke, Zhang Songyang, Duan Haodong, Zhang Wenwei, Li Yining, Yan Hang, Gao Yang, Chen Zhe, Zhang Xinyue, Li Wei, Li Jingwen, Wang Wenhai, Chen Kai, He Conghui, Zhang Xingcheng, Dai Jifeng, Qiao Yu, Lin Dahua, Wang Jiaqi},
      journal={arXiv预印本 arXiv:2404.06512},
      year={2024}
}

@article{internlmxcomposer2,
      title={InternLM-XComposer2: 在视觉语言大模型中掌握自由格式的文本-图像组合与理解}, 
      author={Dong Xiaoyi, Zhang Pan, Zang Yuhang, Cao Yuhang, Wang Bin, Ouyang Linke, Wei Xilin, Zhang Songyang, Duan Haodong, Cao Maosong, Zhang Wenwei, Li Yining, Yan Hang, Gao Yang, Zhang Xinyue, Li Wei, Li Jingwen, Chen Kai, He Conghui, Zhang Xingcheng, Qiao Yu, Lin Dahua, Wang Jiaqi},
      journal={arXiv预印本 arXiv:2401.16420},
      year={2024}
}

@article{internlmxcomposer,
      title={InternLM-XComposer: 一个用于高级文本-图像理解和组合的视觉语言大模型}, 
      author={Zhang Pan, Dong Xiaoyi, Wang Bin, Cao Yuhang, Xu Chao, Ouyang Linke, Zhao Zhiyuan, Ding Shuangrui, Zhang Songyang, Duan Haodong, Zhang Wenwei, Yan Hang, Zhang Xinyue, Li Wei, Li Jingwen, Chen Kai, He Conghui, Zhang Xingcheng, Qiao Yu, Lin Dahua, Wang Jiaqi},
      journal={arXiv预印本 arXiv:2309.15112},
      year={2023}
}

许可与联系我们

代码采用 Apache-2.0 许可证，而模型权重对学术研究完全开放，并且也允许免费的商业用途。如需申请商业许可，请填写 申请表（英文）/申请表（中文）。如有其他问题或合作意向，请联系 internlm@pjlab.org.cn。

InternLM-XComposer-2.5 快速上手指南

InternLM-XComposer-2.5 是一款支持长上下文输入输出的多功能大型视觉语言模型（LVLM）。它仅需 7B 参数量即可达到 GPT-4V 级别的能力，支持超高分辨率图像理解、细粒度视频理解、多轮多图对话以及网页/文章创作。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 推荐 NVIDIA GPU，显存至少 16GB (运行 7B 全精度模型)；若使用 4-bit 量化版本，8GB 显存即可。
• CUDA: 11.8 或更高版本

前置依赖安装

建议创建独立的虚拟环境：

conda create -n xcomposer python=3.10 -y
conda activate xcomposer

安装 PyTorch 及其他基础依赖（请以官方推荐的 torch 版本为准）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers>=4.37.0 accelerate sentencepiece protobuf tiktoken einops

提示：国内用户推荐使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装步骤

您可以选择通过 Hugging Face 或 ModelScope（魔搭社区）获取模型。国内开发者强烈推荐使用 ModelScope 以获得更快的下载速度。

方案 A：使用 ModelScope (推荐国内用户)

首先安装 modelscope 库：

pip install modelscope

方案 B：使用 Hugging Face

确保已安装 huggingface_hub：

pip install huggingface_hub

3. 基本使用

以下示例展示如何使用 Python 加载模型并进行简单的图文对话。

示例代码：单图问答

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

# 1. 加载模型和分词器
# 国内用户可使用 ModelScope 快照下载，或直接指定本地路径
# model_path = "Shanghai_AI_Laboratory/internlm-xcomposer2d5-7b" # ModelScope ID
model_path = "internlm/internlm-xcomposer2d5-7b" # HuggingFace ID

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    device_map="auto", 
    trust_remote_code=True,
    torch_dtype=torch.float16 # 根据显存情况可改为 torch.bfloat16
)
model.eval()

# 2. 准备输入
image_path = "./assets/demo.jpg" # 替换为您的图片路径
image = Image.open(image_path).convert('RGB')

# 构造 Prompt，InternLM-XComposer 系列通常使用特定的格式
# 格式：<|im_start|><|system|>You are an AI assistant.<|im_end|>\n<|user|><image>\nQuestion<|im_end|>\n<|assistant|>
prompt = "请详细描述这张图片中的内容。"

# 3. 生成回复
with torch.no_grad():
    response, history = model.chat(
        tokenizer, 
        query=prompt, 
        image=image, 
        history=None,
        do_sample=False,
        max_new_tokens=1024
    )

print(response)

进阶：使用 4-bit 量化版本 (低显存方案)

如果您的显存有限，可以使用 4-bit 量化版本：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "internlm/internlm-xcomposer2d5-7b-4bit"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    device_map="auto", 
    trust_remote_code=True,
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)
model.eval()

# 后续调用方式与上述示例相同

推理加速 (可选)

项目支持使用 LMDeploy 进行高性能推理和量化部署：

pip install lmdeploy

使用命令行快速启动交互服务：

lmdeploy chat internlm/internlm-xcomposer2d5-7b --tp 1

注意：具体 API 调用细节可能随版本更新微调，请参考官方仓库 demo 目录下的最新脚本以获取最完整的功能支持（如多轮对话、视频理解等）。