本仓库提供了VBench系列工作的统一实现，支持对视频生成模型在广泛能力与场景下的全面评估。

如果您的问题未在此README中得到解答，请联系黄子琪，邮箱： ZIQI002 [at] e [dot] ntu [dot] edu [dot] sg。

目录

• 概述 - 请参阅本节以了解各组件的位置以及VBench、VBench++和VBench-2.0之间的区别。
• 更新
• 评估结果
• 视频生成模型信息
• 安装
• 使用
• 提示词套件
• 采样视频
• 评估方法套件
• 引用与致谢

:mega: 概述

本仓库提供了VBench系列工作的统一实现，支持对视频生成模型在广泛能力与场景下的全面评估。

(1) VBench

简而言之：评估视频生成——基准测试 • 评估维度 • 评估方法 • 人类一致性 • 洞察

VBench：面向视频生成模型的综合基准测试套件
黄子琪（https://ziqihuangg.github.io/）^∗, 何一楠（https://github.com/yinanhe/）^∗, 于嘉硕（https://scholar.google.com/citations?user=iH0Aq0YAAAAJ&hl=zh-CN）^∗, 张帆（https://github.com/zhangfan-p/）^∗, 史晨阳（https://chenyangsi.top/）、蒋宇明（https://yumingj.github.io/）、张元翰（https://zhangyuanhan-ai.github.io/）、吴天行（https://tianxingwu.github.io/）、金庆阳（https://github.com/Vchitect/VBench）、纳塔波尔·差恩派西特（https://nattapolchan.github.io/me）、王耀辉（https://wyhsirius.github.io/）、陈欣源（https://scholar.google.com/citations?user=3fWSC8YAAAAJ）、王利民（https://wanglimin.github.io）、林大华（http://dahua.site/）⁺, 乔宇（http://mmlab.siat.ac.cn/yuqiao/index.html）⁺, 刘子威（https://liuziwei7.github.io/）⁺
IEEE/CVF计算机视觉与模式识别会议（CVPR），2024年

我们提出了VBench，一个面向视频生成模型的综合基准测试套件。我们设计了一个全面且分层的评估维度套件, 将“视频生成质量”分解为多个明确的维度，以促进精细化和客观化的评估。针对每个维度和每类内容，我们精心设计了提示词套件作为测试用例，并从一组视频生成模型中采样生成的视频。对于每个评估维度，我们专门设计了评估方法套件, 采用精心设计的方法或指定的流程进行自动化的客观评估。此外，我们还对每个维度的生成视频进行了人类偏好标注, 并证明VBench的评估结果与人类感知高度一致。VBench可以从多个角度提供有价值的洞察。

注意：VBench各组件的代码和README文件位于此处，相对路径为.。

@InProceedings{huang2023vbench,
    title={{VBench}: Comprehensive Benchmark Suite for Video Generative Models},
    author={Huang, Ziqi and He, Yinan and Yu, Jiashuo and Zhang, Fan and Si, Chenyang and Jiang, Yuming and Zhang, Yuanhan and Wu, Tianxing and Jin, Qingyang and Chanpaisit, Nattapol and Wang, Yaohui and Chen, Xinyuan and Wang, Limin and Lin, Dahua and Qiao, Yu and Liu, Ziwei},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
    year={2024}
}

(2) VBench++

简而言之：在VBench的基础上扩展了三个模块，分别是(1)用于图像到视频生成的VBench-I2V、(2)用于长视频评估的VBench-Long，以及(3)涵盖公平性、偏差和安全性的VBench-Trustworthiness。

VBench++：面向视频生成模型的全面且多功能基准测试套件
黄子琪^∗, 张帆^∗, 徐晓杰, 何一楠, 于家硕, 董子悦, 马倩莉, 纳塔波尔·差派西特, 司晨阳, 姜宇明, 王耀辉, 陈欣源, 陈英聪, 王利民, 林大华⁺, 乔宇⁺, 刘子威⁺
IEEE模式分析与机器智能汇刊（TPAMI），2025年

VBench++ 支持广泛的视频生成任务，包括文本到视频和图像到视频，并配备自适应的图像集，以在不同场景下实现公正的评估。它不仅评估技术质量，还关注生成模型的可信度，从而提供对模型性能的全面视角。我们持续将更多视频生成模型纳入VBench，以便向社区展示视频生成领域的最新发展动态。

注意：VBench++ 各组件的代码及README位于：

• (1) VBench-I2V（图像到视频）：链接，相对路径为 vbench2_beta_i2v
• (2) VBench-Long（长视频评估）：链接，相对路径为 vbench2_beta_long
• (3) VBench-Trustworthiness（公平性、偏差和安全性）：链接，相对路径为 vbench2_beta_trustworthiness

*这些模块属于VBench++，而非VBench或VBench-2.0。然而，为了保持对已安装该仓库用户的向后兼容性，我们保留了原有的相对路径名称，并在此予以说明。 *

@article{huang2025vbench++,
    title={{VBench++}: Comprehensive and Versatile Benchmark Suite for Video Generative Models},
    author={Huang, Ziqi and Zhang, Fan and Xu, Xiaojie and He, Yinan and Yu, Jiashuo and Dong, Ziyue and Ma, Qianli and Chanpaisit, Nattapol and Si, Chenyang and Jiang, Yuming and Wang, Yaohui and Chen, Xinyuan and Chen, Ying-Cong and Wang, Limin and Lin, Dahua and Qiao, Yu and Liu, Ziwei},
    journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, 
    year={2025},
    doi={10.1109/TPAMI.2025.3633890}
}

(3) VBench-2.0

简而言之：扩展VBench以评估内在忠实性——这是下一代视频生成模型面临的关键挑战。

VBench-2.0：推进面向内在忠实性的视频生成基准测试套件
郑典^∗, 黄子琪^∗, 刘洪波, 邹凯, 何一楠, 张帆, 张元翰、 何静雯, 郑伟石⁺, 乔宇⁺, 刘子威⁺

VBench-2.0概览。(a) VBench-2.0的范围。视频生成模型已经从在像素保真度和基本提示遵循等基础技术层面实现表面忠实性，发展到应对更复杂的内在忠实性挑战，包括常识推理、物理现实感、人体运动和创意构图等。尽管VBench主要评估早期的技术质量，但VBench-2.0扩展了基准测试框架，以评估这些高级能力，从而确保对下一代模型进行更全面的评价。(b) VBench-2.0的评估维度。VBench-2.0引入了一个结构化的评估体系，包含五大类和18个细粒度的能力维度。

注意：VBench-2.0各组件的代码及README位于链接，相对路径为 VBench-2.0。

@article{zheng2025vbench2,
    title={{VBench-2.0}: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness},
    author={Zheng, Dian and Huang, Ziqi and Liu, Hongbo and Zou, Kai and He, Yinan and Zhang, Fan and Zhang, Yuanhan and He, Jingwen and Zheng, Wei-Shi and Qiao, Yu and Liu, Ziwei},
    journal={arXiv preprint arXiv:2503.21755},
    year={2025}
}

:fire: 更新

• [03/2026] VBench-I2V Arena 发布： 在这里查看生成的视频，并为您喜欢的视频投票。您可以根据所选文本提示，探索由您选择的模型生成的视频。
• [11/2025] VBench++ 被 TPAMI 接收：
• [05/2025] 我们支持对 VBench-2.0 进行 自定义视频评估！请参阅 此处 获取说明。
• [04/2025] AIGC 视频中的人体异常检测： 我们发布了用于评估 AIGC 视频中人体解剖质量的流程，包括一个关于真实和 AIGC 视频的人体异常手动标注数据集，以及异常检测的训练流程。
• [03/2025] :fire: 重大更新！我们发布了 VBench-2.0！ :fire: 视频生成模型已经从在像素保真度和基本提示遵循等基础技术方面实现 表面忠实性，发展到解决与 内在忠实性 相关的更复杂挑战，包括常识推理、基于物理的真实感、人体动作和创意构图。虽然 VBench 主要评估早期的技术质量，但 VBench-2.0 扩展了基准测试框架，以评估这些高级能力，从而确保对下一代模型进行更全面的评估。
• [01/2025] PyPI 更新：v0.1.5 预处理错误修复，支持 torch>=2.0。
• [01/2025] VBench Arena 发布： 在这里查看生成的视频，并为您喜欢的视频投票。该演示包含超过 18 万个生成的视频，您可以根据所选文本提示，探索由您选择的模型（我们已支持 40 个模型）生成的视频。

• [09/2024] VBench-Long 排行榜 上线：我们的 VBench-Long 榜单现已收录 10 款长视频生成模型。VBench 榜单目前共有 40 款文生视频（长短皆有）模型。欢迎所有视频生成模型参与！

• [09/2024] PyPI 更新：PyPI 包已更新至版本 0.1.4： 错误修复及多 GPU 推理支持。

• [08/2024] 更长且更具描述性的提示：可在此获取! 我们借鉴 CogVideoX 的提示优化技术，利用 GPT-4o 对 VBench 提示进行增强，使其更长、更具描述性，同时不改变其原意。

• [08/2024] VBench 榜单 更新：我们的榜单目前已有 28 款 T2V 模型 和 12 款 I2V 模型。欢迎所有视频生成模型参与！

• [06/2024] :fire: VBench-Long :fire: 已准备就绪，可用于评估类似 Sora 的较长视频！

• [06/2024] 模型信息文档：关于我们 VBench 榜单 中视频生成模型的信息，已在 此处 文档化。

• [05/2024] PyPI 更新：PyPI 包 vbench 已更新至 0.1.2 版本。此次更新包括针对高分辨率图像/视频的预处理改进（用于 imaging_quality）、支持自定义视频评估，以及一些小的错误修复。

• [04/2024] 我们发布了所有用于 VBench 评估的样本视频。 详情请见 此处。

• [03/2024] :fire: VBench-Trustworthiness :fire: 我们现在支持评估视频生成模型的 可信度（例如文化、公平性、偏见、安全性）。

• [03/2024] :fire: VBench-I2V :fire: 我们现在支持评估 图像转视频（I2V） 模型。我们还提供了 图像套件。

• [03/2024] 我们支持 自定义视频评估！请参阅 此处 获取说明。

• [02/2024] VBench 作为亮点被 CVPR 2024 接受：

• [01/2024] PyPI 包发布！ 只需 pip install vbench 即可。

• [12/2023] :fire: VBench :fire: 16 个 文生视频（T2V）评估 维度的评估代码已发布。

  • ['subject_consistency', 'background_consistency', 'temporal_flickering', 'motion_smoothness', 'dynamic_degree', 'aesthetic_quality', 'imaging_quality', 'object_class', 'multiple_objects', 'human_action', 'color', 'spatial_relationship', 'scene', 'temporal_style', 'appearance_style', 'overall_consistency']

• [11/2023] 提示套件发布。（提示列表请见 此处）

:mortar_board: 评估结果

请查看我们的排行榜，获取最新排名和数值结果（包含 Gen-3、Kling、Pika 等模型）。

我们可视化了16个VBench维度下，12个最新表现最佳的长视频生成模型的评估结果。

此外，我们还分别展示了开源模型和闭源模型的雷达图评估结果。为了更清晰地进行比较，结果已在每个维度上进行了归一化处理。

:trophy: 排行榜

请在我们的排行榜中查看具体数值：1st_place_medal::2nd_place_medal::3rd_place_medal:

:film_projector: 模型信息

有关我们用于评估的视频生成模型的详细信息，请参阅模型信息。

:hammer: 安装

使用 pip 安装

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 或其他支持 CUDA<=12.1 的 PyTorch 版本
pip install vbench

若需评估部分视频生成能力，您需要通过以下方式安装 detectron2：

pip install detectron2@git+https://github.com/facebookresearch/detectron2.git

如果在安装 detectron2 时出现错误，请参阅此处。Detectron2 仅支持 CUDA 12.1 或 11.X。

请将 VBench_full_info.json 下载到您的运行目录，以读取基准测试提示集。

使用 git 克隆安装

git clone https://github.com/Vchitect/VBench.git
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 或其他支持 CUDA<=12.1 的版本
pip install VBench

如果在安装 detectron2 时遇到问题，请参阅此处。

使用方法

使用 VBench 评估视频及视频生成模型。

• 补充说明：VBench 旨在基于标准基准测试评估不同模型。因此，默认情况下，我们会强制使用 标准 VBench 提示列表 进行评估，以确保不同视频生成模型之间的 公平比较。这也是为什么当找不到所需视频时会发出警告的原因。这是通过在 VBench_full_info.json 中定义提示集来实现的。然而，我们也理解许多用户希望使用 VBench 评估自己的视频，或使用不属于 VBench 提示集的提示生成的视频，因此我们还增加了 评估自定义视频 的功能。只需设置 mode=custom_input，即可评估您自己的视频。

[新] 评估自定义视频

我们支持评估任意视频。只需提供视频文件的路径，或包含您视频的文件夹路径即可，对视频名称无要求。

• 注意：我们支持针对以下维度的自定义视频/提示：'subject_consistency', 'background_consistency', 'motion_smoothness', 'dynamic_degree', 'aesthetic_quality', 'imaging_quality'

要使用自定义输入提示评估视频，请运行我们的脚本并添加 --mode=custom_input 参数：

python evaluate.py \
    --dimension $DIMENSION \
    --videos_path /path/to/folder_or_video/ \
    --mode=custom_input

或者您也可以使用以下命令：

vbench evaluate \
    --dimension $DIMENSION \
    --videos_path /path/to/folder_or_video/ \
    --mode=custom_input

若需使用多张 GPU 进行评估，可使用以下命令：

torchrun --nproc_per_node=${GPUS} --standalone evaluate.py ...args...

或

vbench evaluate --ngpus=${GPUS} ...args...

基于 VBench 标准提示集的评估

命令行

vbench evaluate --videos_path $VIDEO_PATH --dimension $DIMENSION

例如：

vbench evaluate --videos_path "sampled_videos/lavie/human_action" --dimension "human_action"

Python

from vbench import VBench
my_VBench = VBench(device, <path/to/VBench_full_info.json>, <path/to/save/dir>)
my_VBench.evaluate(
    videos_path = <video_path>,
    name = <name>,
    dimension_list = [<dimension>, <dimension>, ...],
)

例如：

from vbench import VBench
my_VBench = VBench(device, "vbench/VBench_full_info.json", "evaluation_results")
my_VBench.evaluate(
    videos_path = "sampled_videos/lavie/human_action",
    name = "lavie_human_action",
    dimension_list = ["human_action"],
)

不同内容类别的评估

命令行

vbench evaluate \
    --videos_path $VIDEO_PATH \
    --dimension $DIMENSION \
    --mode=vbench_category \
    --category=$CATEGORY

或

python evaluate.py \
    --dimension $DIMENSION \
    --videos_path /path/to/folder_or_video/ \
    --mode=vbench_category

VideoCrafter-1.0 的评估示例

我们提供了下载 VideoCrafter-1.0 样本及其相应评估脚本的工具。

# 下载样本视频
sh scripts/download_videocrafter1.sh

# 评估 VideoCrafter-1.0
sh scripts/evaluate_videocrafter1.sh

提交至排行榜

我们提供了用于计算排行榜中 总分、质量分 和 语义分 的脚本。您可以在本地运行这些脚本以获得汇总分数，或在提交至排行榜前作为最终检查。

# 将评估结果打包成 zip 文件。
cd evaluation_results
zip -r ../evaluation_results.zip .

# 【可选】获取您的提交文件的总分。
python scripts/cal_final_score.py --zip_file {path_to_evaluation_results.zip} --model_name {your_model_name}

您可以将 json 文件提交至 HuggingFace

如何计算总分

要计算总分，我们按照以下步骤进行：

1. 归一化：
   每个维度的结果都使用以下公式进行归一化：

   归一化分数 = (dim_score - min_val) / (max_val - min_val)
   

2. 质量得分：
   质量得分是以下维度的加权平均值：
   主体一致性、背景一致性、时间闪烁、运动流畅性、美学质量、成像质量以及动态程度。

3. 语义得分：
   语义得分是以下维度的加权平均值：
   物体类别、多物体、人类动作、颜色、空间关系、场景、外观风格、时间风格以及整体一致性。

4. 加权平均计算：
   总分是质量得分和语义得分的加权平均：

   总分 = w1 * 质量得分 + w2 * 语义得分
   

每个维度用于归一化的最小值和最大值，以及平均计算中的权重系数，都可以在scripts/constant.py文件中找到。

VBench-I2V 的总分

关于 VBench-I2V 的总分计算，可以参考链接。

:gem: 预训练模型

[可选] 请根据 pretrained 文件夹中各模型的 model_path.txt 文件中的指导，将预训练权重下载到 ~/.cache/vbench 目录下。

:bookmark_tabs: 提示词套件

我们提供的提示词列表位于 prompts/ 目录下。

查看提示词套件的详细信息，以及关于如何采样视频用于评估的说明。

:bookmark_tabs: 采样视频

为了便于未来的研究并确保完全透明，我们发布了所有用于 VBench 评估的采样视频。您可以在Google Drive上下载这些视频。

有关采样视频的详细说明，请参阅此处。

我们还提供了被评估模型的详细设置在此处。

:surfer: 评估方法套件

要对某一维度进行评估，运行以下命令：

python evaluate.py --videos_path $VIDEOS_PATH --dimension $DIMENSION

• 完整的维度列表如下：

  ['subject_consistency', 'background_consistency', 'temporal_flickering', 'motion_smoothness', 'dynamic_degree', 'aesthetic_quality', 'imaging_quality', 'object_class', 'multiple_objects', 'human_action', 'color', 'spatial_relationship', 'scene', 'temporal_style', 'appearance_style', 'overall_consistency']
  

或者，您也可以使用此脚本同时评估多个模型和多个维度：

bash evaluate.sh

• 默认的采样视频路径为：

  vbench_videos/{model}/{dimension}/{prompt}-{index}.mp4/gif
  

在评估时间闪烁维度之前，必须先过滤掉静态视频。

要过滤时间闪烁维度中的静态视频，运行以下命令：

# 此命令仅过滤掉与时间闪烁维度提示匹配的静态视频。
python static_filter.py --videos_path $VIDEOS_PATH

您可以调整过滤范围，方法如下：

# 1. 将过滤范围改为考虑 videos_path 内的所有文件进行过滤。
python static_filter.py --videos_path $VIDEOS_PATH --filter_scope all

# 2. 指定一个 JSON 文件路径 ($filename)，只考虑提示与 $filename 中列出的提示匹配的视频。
python static_filter.py --videos_path $VIDEOS_PATH --filter_scope $filename

:hearts: 致谢

:muscle: VBench 贡献者

顺序按加入项目的时间排列：

黄子奇、何一楠、于家硕、张帆、纳塔波尔·差恩派西特、徐晓杰、马千里、董子悦、郑典、刘洪波、邹凯

:hugs: 开源仓库

如果没有以下开源仓库，本项目将无法实现： AMT、UMT、RAM、CLIP、RAFT、GRiT、IQA-PyTorch、ViCLIP以及LAION 美学预测器。

相关链接

我们正在整理 Awesome-Evaluation-of-Visual-Generation，该项目收集了用于评估视觉生成模型的相关工作。

我们的相关项目包括：Evaluation Agent、Uni-MMMU 和 WorldLens。

@InProceedings{zhang2024evaluationagent,
      title = {Evaluation Agent: 针对视觉生成模型的高效且可提示式评估框架},
      author = {Zhang, Fan and Tian, Shulin and Huang, Ziqi and Qiao, Yu and Liu, Ziwei},
      booktitle={计算语言学协会年会 (ACL), 2025},
      year = {2025}
}

@article{zou2025unimmmumassivemultidisciplinemultimodal,
      title={{Uni-MMMU}: 一个大规模多学科多模态统一基准},
      author = {Kai Zou and Ziqi Huang and Yuhao Dong and Shulin Tian and Dian Zheng and Hongbo Liu and Jingwen He and Bin Liu and Yu Qiao and Ziwei Liu},
      journal={arXiv 预印本 arXiv:2510.13759},
      year = {2025}
}

@article{worldlens,
    title   = {{WorldLens}: 在真实世界中对驾驶类世界模型的全谱评估},
    author  = {Ao Liang and Lingdong Kong and Tianyi Yan and Hongsi Liu and Wesley Yang and Ziqi Huang and Wei Yin and Jialong Zuo and Yixuan Hu and Dekai Zhu and Dongyue Lu and Youquan Liu and Guangfeng Jiang and Linfeng Li and Xiangtai Li and Long Zhuo and Lai Xing Ng and Benoit R. Cottereau and Changxin Gao and Liang Pan and Wei Tsang Ooi and Ziwei Liu},
    journal = {arXiv 预印本 arXiv:2512.xxxxx},
    year    = {2025}
}

联系方式

如何联系我们：

• 代码问题：如遇到任何问题或 bug，请在我们的 GitHub 仓库中提交 issue。
• 评估请求：如需提交您的样本视频进行评估，请填写此 Google 表单。
• 一般咨询：请查看我们的 FAQ，以获取常见问题解答。如有其他问题，请联系黄子琪，邮箱为 ZIQI002 [at] e [dot] ntu [dot] edu [dot] sg。

:black_nib: 引用

如果您认为我们的仓库对您的研究有所帮助，请考虑引用我们的论文：

 @InProceedings{huang2023vbench,
     title={{VBench}: 视频生成模型的综合基准套件},
     author={Huang, Ziqi and He, Yinan and Yu, Jiashuo and Zhang, Fan and Si, Chenyang and Jiang, Yuming and Zhang, Yuanhan and Wu, Tianxing and Jin, Qingyang and Chanpaisit, Nattapol and Wang, Yaohui and Chen, Xinyuan and Wang, Limin and Lin, Dahua and Qiao, Yu and Liu, Ziwei},
     booktitle={IEEE/CVF 计算机视觉与模式识别会议论文集},
     year={2024}
 }

 @article{huang2025vbench++,
     title={{VBench++}: 视频生成模型的全面且多功能基准套件},
     author={Huang, Ziqi and Zhang, Fan and Xu, Xiaojie and He, Yinan and Yu, Jiashuo and Dong, Ziyue and Ma, Qianli and Chanpaisit, Nattapol and Si, Chenyang and Jiang, Yuming and Wang, Yaohui and Chen, Xinyuan and Chen, Ying-Cong and Wang, Limin and Lin, Dahua and Qiao, Yu and Liu, Ziwei},
     journal={IEEE 模式分析与机器智能汇刊}, 
     year={2025},
     doi={10.1109/TPAMI.2025.3633890}
 }

 @article{zheng2025vbench2,
     title={{VBench-2.0}: 推进视频生成基准套件以提升内在忠实度},
     author={Zheng, Dian and Huang, Ziqi and Liu, Hongbo and Zou, Kai and He, Yinan and Zhang, Fan and Zhang, Yuanhan and He, Jingwen and Zheng, Wei-Shi and Qiao, Yu and Liu, Ziwei},
     journal={arXiv 预印本 arXiv:2503.21755},
     year={2025}
 }

VBench 快速上手指南

VBench 是一个全面的视频生成模型基准测试套件，支持从基础技术质量到内在真实性（Intrinsic Faithfulness）的多维度评估。本指南涵盖 VBench、VBench++ 及 VBench-2.0 的核心安装与使用流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。
• Python 版本: Python 3.8 或更高版本。
• 硬件要求: 建议配备 NVIDIA GPU 以加速评估过程（部分评估指标依赖深度学习模型）。
• 前置依赖:
  • pip (包管理工具)
  • git (代码克隆)
  • ffmpeg (视频处理必备，用于视频解码和帧提取)

安装 ffmpeg (Ubuntu/Debian):

sudo apt-get update && sudo apt-get install -y ffmpeg

安装 ffmpeg (macOS):

brew install ffmpeg

安装步骤

您可以通过 PyPI 直接安装稳定版，或从源码安装以获取最新功能。

方式一：通过 PyPI 安装（推荐）

这是最快捷的方式，适合大多数用户。

pip install vbench

国内加速提示: 如果下载速度较慢，建议使用清华或阿里镜像源：

pip install vbench -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（获取最新特性）

如果您需要使用 VBench-2.0 的最新评估维度或特定分支功能，建议克隆仓库安装。

git clone https://github.com/Vchitect/VBench.git
cd VBench
pip install -e .

国内加速提示: 克隆仓库时若速度慢，可使用 Gitee 镜像（如有）或配置 git 代理。

基本使用

安装完成后，您可以使用 Python 脚本调用 VBench 对生成的视频进行评估。以下是一个最简单的文本生成视频（Text-to-Video）评估示例。

1. 准备数据

确保您有一个包含生成视频的文件夹，以及对应的提示词（Prompt）列表。假设结构如下：

my_videos/
├── video_001.mp4
├── video_002.mp4
└── ...
prompts.txt (每行一个提示词)

2. 运行评估

创建一个 Python 脚本（例如 run_eval.py），输入以下代码：

from vbench.api import Benchmark

# 初始化 Benchmark
# dimension_list: 选择要评估的维度，例如 'subject_consistency', 'background_consistency', 'aesthetic_quality' 等
# 若不指定，默认评估所有维度
benchmark = Benchmark(
    dimension_list=['subject_consistency', 'background_consistency', 'aesthetic_quality'],
    chart_dir='./results/charts',
    video_dir='./my_videos',
    prompt_path='./prompts.txt'
)

# 运行评估
results = benchmark.run()

# 打印结果
print(results)

运行脚本：

python run_eval.py

3. 进阶：使用 VBench-2.0 评估内在真实性

如果您需要评估模型的物理规律遵循度、常识推理等高级能力（VBench-2.0 特性），请使用子模块路径：

# 注意：VBench-2.0 的代码位于 VBench-2.0 目录下
from VBench-2.0.vbench2.api import Benchmark as Benchmark2

benchmark_v2 = Benchmark2(
    dimension_list=['physics_based_realism', 'human_motion'], # 示例维度
    video_dir='./my_videos',
    prompt_path='./prompts.txt'
)

results_v2 = benchmark_v2.run()
print(results_v2)

4. 查看结果

评估完成后，结果将以字典形式返回，并在指定的 chart_dir 目录下生成可视化图表和详细报告。您也可以访问 HuggingFace Leaderboard 对比您的模型与社区其他模型的表现。