[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-mbzuai-oryx--Video-ChatGPT":3,"similar-mbzuai-oryx--Video-ChatGPT":98},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":18,"owner_email":18,"owner_twitter":18,"owner_website":19,"owner_url":20,"languages":21,"stars":30,"forks":31,"last_commit_at":32,"license":33,"difficulty_score":34,"env_os":35,"env_gpu":36,"env_ram":37,"env_deps":38,"category_tags":45,"github_topics":50,"view_count":62,"oss_zip_url":18,"oss_zip_packed_at":18,"status":63,"created_at":64,"updated_at":65,"faqs":66,"releases":97},4366,"mbzuai-oryx\u002FVideo-ChatGPT","Video-ChatGPT","[ACL 2024 🔥] Video-ChatGPT is a video conversation model capable of generating meaningful conversation about videos. It combines the capabilities of LLMs with a pretrained visual encoder adapted for spatiotemporal video representation. We also introduce a rigorous 'Quantitative Evaluation Benchmarking' for video-based conversational models.","Video-ChatGPT 是一款专为视频理解设计的对话模型，旨在让 AI 不仅能“看”懂视频内容，还能像人类一样围绕视频进行深度交流。它有效解决了传统模型难以捕捉视频时空动态变化、无法生成连贯且有意义对话的痛点，让用户可以通过自然语言提问，获取关于视频情节、动作细节及因果关系的精准回答。\n\n这款工具非常适合人工智能研究人员、开发者以及需要处理视频数据分析的专业人士使用。对于希望探索多模态大模型潜力的研究者，Video-ChatGPT 提供了宝贵的基线模型；对于开发者，其开源特性便于二次开发与集成；同时，对视频内容分析有需求的普通用户也能通过它获得更智能的交互体验。\n\n其核心技术亮点在于巧妙结合了大型语言模型（LLM）的强大推理能力与经过适配的预训练视觉编码器，专门用于提取视频的时空特征。此外，项目团队还首创了一套严谨的“定量评估基准”（VCGBench），填补了视频对话模型缺乏标准化评测体系的空白，推动了该领域的规范化发展。作为 ACL 2024 的亮点成果，Video-ChatGPT 不仅展示了卓越的性能，更为实现细致的视频理解树立了新的标杆。","# Oryx Video-ChatGPT :movie_camera: :speech_balloon:\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fi.imgur.com\u002FwaxVImv.png\" alt=\"Oryx Video-ChatGPT\">\n\u003C\u002Fp>\n\n### Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models [ACL 2024 🔥]\n\n#### [Muhammad Maaz](https:\u002F\u002Fwww.mmaaz60.com)* , [Hanoona Rasheed](https:\u002F\u002Fwww.hanoonarasheed.com\u002F)* , [Salman Khan](https:\u002F\u002Fsalman-h-khan.github.io\u002F) and [Fahad Khan](https:\u002F\u002Fsites.google.com\u002Fview\u002Ffahadkhans\u002Fhome)\n\\* Equally contributing first authors\n\n#### **Mohamed bin Zayed University of Artificial Intelligence**\n\n---\n#### **Diverse Video-based Generative Performance Benchmarking (VCGBench-Diverse)**\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fvcgbench-diverse-on-videoinstruct)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fvcgbench-diverse-on-videoinstruct?p=video-chatgpt-towards-detailed-video)\n\n\n#### **Video-based Generative Performance Benchmarking**\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fvideo-based-generative-performance)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fvideo-based-generative-performance?p=video-chatgpt-towards-detailed-video)\n\n\n#### **Zeroshot Question-Answer Evaluation**\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-msvd-qa)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-msvd-qa?p=video-chatgpt-towards-detailed-video)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-msrvtt-qa)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-msrvtt-qa?p=video-chatgpt-towards-detailed-video)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-tgif-qa)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-tgif-qa?p=video-chatgpt-towards-detailed-video)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-activitynet)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-activitynet?p=video-chatgpt-towards-detailed-video)\n\n\n---\n\n| Demo | Paper | Demo Clips | Offline Demo | Training | Video Instruction Data | Quantitative Evaluation | Qualitative Analysis |\n| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| [![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Try%20it%20out-green)](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt) [![YouTube](https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg)](https:\u002F\u002Fyoutu.be\u002FfRhm---HWJY) | [![paper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.05424) | [![DemoClip-1](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-DemoClip1-blue)](https:\u002F\u002Fyoutu.be\u002FR8qW5EJD2-k) [![DemoClip-2](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-DemoClip2-yellow)](https:\u002F\u002Fyoutu.be\u002FujCxqxMXLVw) [![DemoClip-3](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-DemoClip3-violet)](https:\u002F\u002Fyoutu.be\u002F97IWKMsbZ80) [![DemoClip-4](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-DemoClip4-orange)](https:\u002F\u002Fyoutu.be\u002FZyJZfTg_Ttc) | [Offline Demo](#running-demo-offline-cd) | [Training](#training-train) | [Video Instruction Dataset](#video-instruction-dataset-open_file_folder) | [Quantitative Evaluation](#quantitative-evaluation-bar_chart) | [Qualitative Analysis](#qualitative-analysis-mag) |\n\n---\n\n## :loudspeaker: Latest Updates\n- **Mar-28-25**: *Mobile-VideoGPT* is released. It achieves excellent results on multiple benchmarks with 2x higher throughput. Check it out [Mobile-VideoGPT](https:\u002F\u002Fgithub.com\u002FAmshaker\u002FMobile-VideoGPT) :fire::fire:\n---\n\n- **Jun-14-24**: *VideoGPT+* is released. It achieves SoTA results on multiple benchmarks. Check it out at [VideoGPT+](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideoGPT-plus) :fire::fire:\n- **Jun-14-24**: *Semi-automatic video annotation pipeline* is released. Check it out at [GitHub](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideoGPT-plus), [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002Fvideo_annotation_pipeline). :fire::fire:\n- **Jun-14-24**: *VCGBench-Diverse Benchmarks* are released. It provides 4,354 human annotated QA pairs across 18 video categories to extensively evaluate the performance of a video-conversation model. Check it out at [GitHub](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideoGPT-plus), [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVCGBench-Diverse). :fire::fire:\n---\n\n- **May-16-24**: Video-ChatGPT is accepted at ACL 2024! 🎊🎊\n- **Sep-30-23**: Our VideoInstruct100K dataset can be downloaded from [HuggingFace\u002FVideoInstruct100K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVideoInstruct-100K). :fire::fire:\n- **Jul-15-23**: Our quantitative evaluation benchmark for Video-based Conversational Models now has its own dedicated website: [https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT](https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT). :fire::fire:\n- **Jun-28-23**: Updated GitHub readme featuring benchmark comparisons of Video-ChatGPT against recent models - Video Chat, Video LLaMA, and LLaMA Adapter. Amid these advanced conversational models, Video-ChatGPT continues to deliver state-of-the-art performance.:fire::fire:\n- **Jun-08-23** : Released the training code, offline demo, instructional data and technical report. \nAll the resources including models, datasets and extracted features are available \n[here](https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fhanoona_bangalath_mbzuai_ac_ae\u002FEudc2kLOX4hIuCenDmFe-UIBthkBQKpF9p6KrY2q_s9hwQ?e=zHKbTX). :fire::fire:\n- **May-21-23** : Video-ChatGPT: demo released.\n\n---\n\n## Online Demo :computer:\n\n:fire::fire: **You can try our demo using the provided examples or by uploading your own videos [HERE](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt).** :fire::fire:\n\n:fire::fire: **Or click the image to try the demo!** :fire::fire:\n[![demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_e569544e2f51.png)](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt)\nYou can access all the videos we demonstrate on [here](https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fhanoona_bangalath_mbzuai_ac_ae\u002FEqrZjHG0KoFNhx6nDcCmFU0BtRqWyg8_zUgzvNQDY5t_3Q?e=AoEdnI).\n\n---\n\n## Video-ChatGPT Overview :bulb:\n\nVideo-ChatGPT is a video conversation model capable of generating meaningful conversation about videos. \nIt combines the capabilities of LLMs with a pretrained visual encoder adapted for spatiotemporal video representation.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_ea09c6290d4c.gif\" alt=\"Video-ChatGPT Architectural Overview\">\n\u003C\u002Fp>\n\n---\n\n## Contributions :trophy:\n\n- We introduce 100K high-quality video-instruction pairs together with a novel annotation framework that is scalable and generates a diverse range of video-specific instruction sets of high-quality.\n- We develop the first quantitative video conversation evaluation framework for benchmarking video conversation models.\n- Unique multimodal (vision-language) capability combining video understanding and language generation that is comprehensively \nevaluated using quantitative and qualitiative comparisons on video reasoning, creativitiy, spatial and temporal understanding, and action recognition tasks.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_2b31c823e4c7.png\" alt=\"Contributions\">\n\u003C\u002Fp>\n\n---\n\n## Installation :wrench:\n\nWe recommend setting up a conda environment for the project:\n```shell\nconda create --name=video_chatgpt python=3.10\nconda activate video_chatgpt\n\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT.git\ncd Video-ChatGPT\npip install -r requirements.txt\n\nexport PYTHONPATH=\".\u002F:$PYTHONPATH\"\n```\nAdditionally, install [FlashAttention](https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention) for training,\n```shell\npip install ninja\n\ngit clone https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention.git\ncd flash-attention\ngit checkout v1.0.7\npython setup.py install\n```\n\n---\n\n## Running Demo Offline :cd:\n\nTo run the demo offline, please refer to the instructions in [offline_demo.md](docs\u002Foffline_demo.md).\n\n---\n\n## Training :train:\n\nFor training instructions, check out [train_video_chatgpt.md](docs\u002Ftrain_video_chatgpt.md).\n\n---\n\n## Video Instruction Dataset :open_file_folder:\n\nWe are releasing our 100,000 high-quality video instruction dataset that was used for training our Video-ChatGPT model. You can download the dataset from \n[here](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVideoInstruct-100K). \nMore details on our human-assisted and semi-automatic annotation framework for generating the data are available at [VideoInstructionDataset.md](data\u002FREADME.md).\n\n---\n\n## Quantitative Evaluation :bar_chart:\nOur paper introduces a new Quantitative Evaluation Framework for Video-based Conversational Models. To explore our benchmarks and understand the framework in greater detail, \nplease visit our dedicated website: [https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT](https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT).\n\nFor detailed instructions on performing quantitative evaluation, please refer to [QuantitativeEvaluation.md](quantitative_evaluation\u002FREADME.md).\n\n**Video-based Generative Performance Benchmarking**  and **Zero-Shot Question-Answer Evaluation** tables are provided for a detailed performance overview. \n\n### Zero-Shot Question-Answer Evaluation\n\n| **Model** | **MSVD-QA** |  | **MSRVTT-QA** |  | **TGIF-QA** |  | **Activity Net-QA** |  |\n| --- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| | **Accuracy** | **Score** | **Accuracy** | **Score** | **Accuracy** | **Score** | **Accuracy** | **Score** |\n| FrozenBiLM | 32.2 | -- | 16.8 | -- | 41.0 | -- | 24.7 | -- |\n| Video Chat | 56.3 | 2.8 | 45.0 | 2.5 | 34.4 | 2.3 | 26.5 | 2.2 |\n| LLaMA Adapter | 54.9 | 3.1 | 43.8 | 2.7 | - | - | 34.2 | 2.7 |\n| Video LLaMA | 51.6 | 2.5 | 29.6 | 1.8 | - | - | 12.4 | 1.1 |\n| Video-ChatGPT | **64.9** | **3.3** | **49.3** | **2.8** | **51.4** | **3.0** | **35.2** | **2.7** |\n\n\n---\n\n### Video-based Generative Performance Benchmarking\n\n| **Evaluation Aspect** | **Video Chat** | **LLaMA Adapter** | **Video LLaMA** | **Video-ChatGPT** |\n| --- |:--------------:|:-----------------:|:--------------:|:-----------------:|\n| Correctness of Information |      2.23      |       2.03        |      1.96      |       **2.40**        |\n| Detail Orientation |      2.50      |       2.32        |      2.18      |       **2.52**        |\n| Contextual Understanding |      2.53      |       2.30        |      2.16      |       **2.62**        |\n| Temporal Understanding |      1.94      |       **1.98**        |      1.82      |       **1.98**        |\n| Consistency |      2.24      |       2.15        |      1.79      |       **2.37**        |\n\n---\n\n## Qualitative Analysis :mag:\nA Comprehensive Evaluation of Video-ChatGPT's Performance across Multiple Tasks.\n\n### Video Reasoning Tasks :movie_camera:\n![sample1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_a1fc2b2f1189.png)\n\n---\n### Creative and Generative Tasks :paintbrush:\n![sample5](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_eb8e89248849.png)\n\n---\n### Spatial Understanding :globe_with_meridians:\n![sample8](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_e809d10781e3.png)\n\n---\n### Video Understanding and Conversational Tasks :speech_balloon:\n![sample10](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_f6d7c78b4bc9.png)\n\n---\n### Action Recognition :runner:\n![sample22](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_f8d4f889cf31.png)\n\n---\n### Question Answering Tasks :question:\n![sample14](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_4ac7a62ed0bf.png)\n\n---\n### Temporal Understanding :hourglass_flowing_sand:\n![sample18](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_4dc8b1cff784.png)\n\n---\n\n## Acknowledgements :pray:\n\n+ [LLaMA](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama): A great attempt towards open and efficient LLMs!\n+ [Vicuna](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat): Has the amazing language capabilities!\n+ [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA): our architecture is inspired from LLaVA.\n+ Thanks to our colleagues at MBZUAI for their essential contribution to the video annotation task, \nincluding Salman Khan, Fahad Khan, Abdelrahman Shaker, Shahina Kunhimon, Muhammad Uzair, Sanoojan Baliah, Malitha Gunawardhana, Akhtar Munir, \nVishal Thengane, Vignagajan Vigneswaran, Jiale Cao, Nian Liu, Muhammad Ali, Gayal Kurrupu, Roba Al Majzoub, \nJameel Hassan, Hanan Ghani, Muzammal Naseer, Akshay Dudhane, Jean Lahoud, Awais Rauf, Sahal Shaji, Bokang Jia,\nwithout which this project would not be possible.\n\nIf you're using Video-ChatGPT in your research or applications, please cite using this BibTeX:\n```bibtex\n@inproceedings{Maaz2023VideoChatGPT,\n    title={Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models},\n    author={Maaz, Muhammad and Rasheed, Hanoona and Khan, Salman and Khan, Fahad Shahbaz},\n    booktitle={Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (ACL 2024)},\n    year={2024}\n}\n```\n\n## License :scroll:\n\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">\u003Cimg alt=\"Creative Commons License\" style=\"border-width:0\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_8a4e76cf0ed2.png\" \u002F>\u003C\u002Fa>\u003Cbr \u002F>This work is licensed under a \u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License\u003C\u002Fa>.\n\n\nLooking forward to your feedback, contributions, and stars! :star2:\nPlease raise any issues or questions [here](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues). \n\n\n---\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_45d2297f2f63.png\" width=\"200\" height=\"100\">](https:\u002F\u002Fwww.ival-mbzuai.com)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_f7ee9d1ef19f.png\" width=\"100\" height=\"100\">](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_5538daa7b5d2.png\" width=\"360\" height=\"85\">](https:\u002F\u002Fmbzuai.ac.ae)\n","# 独角兽 视频-ChatGPT :movie_camera: :speech_balloon:\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fi.imgur.com\u002FwaxVImv.png\" alt=\"独角兽 视频-ChatGPT\">\n\u003C\u002Fp>\n\n### 视频-ChatGPT：通过大型视觉与语言模型实现细节丰富的视频理解 [ACL 2024 🔥]\n\n#### [Muhammad Maaz](https:\u002F\u002Fwww.mmaaz60.com)* , [Hanoona Rasheed](https:\u002F\u002Fwww.hanoonarasheed.com\u002F)* , [Salman Khan](https:\u002F\u002Fsalman-h-khan.github.io\u002F) 和 [Fahad Khan](https:\u002F\u002Fsites.google.com\u002Fview\u002Ffahadkhans\u002Fhome)\n\\* 共同第一作者\n\n#### **穆罕默德·本·扎耶德人工智能大学**\n\n---\n#### **多样化视频生成性能基准测试 (VCGBench-Diverse)**\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fvcgbench-diverse-on-videoinstruct)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fvcgbench-diverse-on-videoinstruct?p=video-chatgpt-towards-detailed-video)\n\n\n#### **基于视频的生成性能基准测试**\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fvideo-based-generative-performance)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fvideo-based-generative-performance?p=video-chatgpt-towards-detailed-video)\n\n\n#### **零样本问答评估**\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-msvd-qa)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-msvd-qa?p=video-chatgpt-towards-detailed-video)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-msrvtt-qa)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-msrvtt-qa?p=video-chatgpt-towards-detailed-video)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-tgif-qa)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-tgif-qa?p=video-chatgpt-towards-detailed-video)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideo-chatgpt-towards-detailed-video\u002Fzeroshot-video-question-answer-on-activitynet)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fzeroshot-video-question-answer-on-activitynet?p=video-chatgpt-towards-detailed-video)\n\n\n---\n\n| 演示 | 论文 | 演示片段 | 离线演示 | 训练 | 视频指令数据 | 定量评估 | 定性分析 |\n| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| [![演示](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-试一试-green)](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt) [![YouTube](https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg)](https:\u002F\u002Fyoutu.be\u002FfRhm---HWJY) | [![论文](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F论文-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.05424) | [![演示片段-1](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-演示片段1-blue)](https:\u002F\u002Fyoutu.be\u002FR8qW5EJD2-k) [![演示片段-2](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-演示片段2-yellow)](https:\u002F\u002Fyoutu.be\u002FujCxqxMXLVw) [![演示片段-3](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-演示片段3-violet)](https:\u002F\u002Fyoutu.be\u002F97IWKMsbZ80) [![演示片段-4](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-演示片段4-orange)](https:\u002F\u002Fyoutu.be\u002FZyJZfTg_Ttc) | [离线演示](#running-demo-offline-cd) | [训练](#training-train) | [视频指令数据集](#video-instruction-dataset-open_file_folder) | [定量评估](#quantitative-evaluation-bar_chart) | [定性分析](#qualitative-analysis-mag) |\n\n---\n\n## :loudspeaker: 最新动态\n- **25年3月28日**：*移动版-VideoGPT* 发布。它在多个基准测试中取得了优异成绩，吞吐量提高了两倍。请查看 [移动版-VideoGPT](https:\u002F\u002Fgithub.com\u002FAmshaker\u002FMobile-VideoGPT) :fire::fire:\n---\n\n- **24年6月14日**：*VideoGPT+* 发布。它在多个基准测试中达到了最先进水平。请访问 [VideoGPT+] (https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideoGPT-plus) 了解详情 :fire::fire:\n- **24年6月14日**：*半自动视频标注流水线* 发布。请访问 [GitHub](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideoGPT-plus) 和 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002Fvideo_annotation_pipeline) 查看详情 :fire::fire:\n- **24年6月14日**：*VCGBench-Diverse 基准测试* 发布。该基准提供了涵盖18个视频类别的4,354组人工标注的问答对，用于全面评估视频对话模型的性能。请访问 [GitHub](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideoGPT-plus) 和 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVCGBench-Diverse) 查看详情 :fire::fire:\n---\n\n- **24年5月16日**：视频-ChatGPT 被 ACL 2024 接受！ 🎊🎊\n- **23年9月30日**：我们的 VideoInstruct100K 数据集可从 [HuggingFace\u002FVideoInstruct100K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVideoInstruct-100K) 下载。 :fire::fire:\n- **23年7月15日**：我们针对基于视频的对话模型的定量评估基准现在有了专门的网站：[https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT](https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT)。 :fire::fire:\n- **23年6月28日**：更新了 GitHub 说明文档，其中包含了视频-ChatGPT 与近期模型——Video Chat、Video LLaMA 和 LLaMA Adapter 的基准比较。在这些先进的对话模型中，视频-ChatGPT 依然保持着最先进的性能。:fire::fire:\n- **23年6月8日**：发布了训练代码、离线演示、教学数据和技术报告。所有资源，包括模型、数据集和提取的特征，均可在此处获取 [这里](https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fhanoona_bangalath_mbzuai_ac_ae\u002FEudc2kLOX4hIuCenDmFe-UIBthkBQKpF9p6KrY2q_s9hwQ?e=zHKbTX)。 :fire::fire:\n- **23年5月21日**：视频-ChatGPT 演示发布。\n\n---\n\n## 在线演示 :computer:\n\n:fire::fire: **您可以通过提供的示例或上传自己的视频来试用我们的演示 [在这里](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt)。** :fire::fire:\n\n:fire::fire: **或者点击图片即可试用演示！** :fire::fire:\n[![演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_e569544e2f51.png)](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt)\n您可以在 [这里](https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fhanoona_bangalath_mbzuai_ac_ae\u002FEqrZjHG0KoFNhx6nDcCmFU0BtRqWyg8_zUgzvNQDY5t_3Q?e=AoEdnI)查看我们演示的所有视频。\n\n---\n\n## 视频-ChatGPT 概述 :bulb:\n\n视频-ChatGPT 是一种能够围绕视频生成有意义对话的视频对话模型。它结合了大型语言模型的能力，并配备了一个为时空视频表示而优化的预训练视觉编码器。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_ea09c6290d4c.gif\" alt=\"视频-ChatGPT 架构概览\">\n\u003C\u002Fp>\n\n---\n\n## 贡献 :trophy:\n\n- 我们引入了10万对高质量的视频-指令数据，并提出了一种可扩展的新型标注框架，能够生成多样化且高质量的视频特定指令集。\n- 我们开发了首个用于基准测试视频对话模型的定量视频对话评估框架。\n- 具备独特的多模态（视觉-语言）能力，结合视频理解和语言生成，并通过定量和定性的比较，在视频推理、创造力、时空理解以及动作识别等任务上进行了全面评估。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_2b31c823e4c7.png\" alt=\"Contributions\">\n\u003C\u002Fp>\n\n---\n\n## 安装 :wrench:\n\n我们建议为该项目设置一个 conda 环境：\n```shell\nconda create --name=video_chatgpt python=3.10\nconda activate video_chatgpt\n\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT.git\ncd Video-ChatGPT\npip install -r requirements.txt\n\nexport PYTHONPATH=\".\u002F:$PYTHONPATH\"\n```\n此外，为了进行训练，请安装 [FlashAttention](https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention)：\n```shell\npip install ninja\n\ngit clone https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention.git\ncd flash-attention\ngit checkout v1.0.7\npython setup.py install\n```\n\n---\n\n## 离线运行演示 :cd:\n\n要离线运行演示，请参阅 [offline_demo.md](docs\u002Foffline_demo.md) 中的说明。\n\n---\n\n## 训练 :train:\n\n有关训练的说明，请查看 [train_video_chatgpt.md](docs\u002Ftrain_video_chatgpt.md)。\n\n---\n\n## 视频指令数据集 :open_file_folder:\n\n我们发布了用于训练 Video-ChatGPT 模型的10万条高质量视频指令数据集。您可以从 \n[这里](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVideoInstruct-100K) 下载该数据集。\n关于用于生成该数据的人工辅助与半自动标注框架的更多详细信息，请参阅 [VideoInstructionDataset.md](data\u002FREADME.md)。\n\n---\n\n## 定量评估 :bar_chart:\n我们的论文提出了一种新的基于视频的对话模型定量评估框架。如需探索我们的基准测试并深入了解该框架，\n请访问我们的专用网站：[https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT](https:\u002F\u002Fmbzuai-oryx.github.io\u002FVideo-ChatGPT)。\n\n有关如何进行定量评估的详细说明，请参阅 [QuantitativeEvaluation.md](quantitative_evaluation\u002FREADME.md)。\n\n提供了 **基于视频的生成性能基准测试** 和 **零样本问答评估** 表格，以供详细性能概览。\n\n### 零样本问答评估\n\n| **模型** | **MSVD-QA** |  | **MSRVTT-QA** |  | **TGIF-QA** |  | **Activity Net-QA** |  |\n| --- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| | **准确率** | **分数** | **准确率** | **分数** | **准确率** | **分数** | **准确率** | **分数** |\n| FrozenBiLM | 32.2 | -- | 16.8 | -- | 41.0 | -- | 24.7 | -- |\n| Video Chat | 56.3 | 2.8 | 45.0 | 2.5 | 34.4 | 2.3 | 26.5 | 2.2 |\n| LLaMA Adapter | 54.9 | 3.1 | 43.8 | 2.7 | - | - | 34.2 | 2.7 |\n| Video LLaMA | 51.6 | 2.5 | 29.6 | 1.8 | - | - | 12.4 | 1.1 |\n| Video-ChatGPT | **64.9** | **3.3** | **49.3** | **2.8** | **51.4** | **3.0** | **35.2** | **2.7** |\n\n\n---\n\n### 基于视频的生成性能基准测试\n\n| **评估方面** | **Video Chat** | **LLaMA Adapter** | **Video LLaMA** | **Video-ChatGPT** |\n| --- |:--------------:|:-----------------:|:--------------:|:-----------------:|\n| 信息准确性 |      2.23      |       2.03        |      1.96      |       **2.40**        |\n| 细节导向性 |      2.50      |       2.32        |      2.18      |       **2.52**        |\n| 上下文理解 |      2.53      |       2.30        |      2.16      |       **2.62**        |\n| 时间理解 |      1.94      |       **1.98**        |      1.82      |       **1.98**        |\n| 一致性 |      2.24      |       2.15        |      1.79      |       **2.37**        |\n\n---\n\n## 定性分析 :mag:\n对 Video-ChatGPT 在多项任务中的表现进行全面评估。\n\n### 视频推理任务 :movie_camera:\n![sample1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_a1fc2b2f1189.png)\n\n---\n### 创意与生成任务 :paintbrush:\n![sample5](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_eb8e89248849.png)\n\n---\n### 空间理解 :globe_with_meridians:\n![sample8](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_e809d10781e3.png)\n\n---\n### 视频理解和对话任务 :speech_balloon:\n![sample10](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_f6d7c78b4bc9.png)\n\n---\n### 动作识别 :runner:\n![sample22](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_f8d4f889cf31.png)\n\n---\n### 问答任务 :question:\n![sample14](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_4ac7a62ed0bf.png)\n\n---\n### 时间理解 :hourglass_flowing_sand:\n![sample18](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_4dc8b1cff784.png)\n\n---\n\n## 致谢 :pray:\n\n+ [LLaMA](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)：一项致力于开放高效大语言模型的伟大尝试！\n+ [Vicuna](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat)：拥有令人惊叹的语言能力！\n+ [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)：我们的架构灵感来源于 LLaVA。\n+ 感谢 MBZUAI 的同事们在视频标注任务中做出的重要贡献，包括 Salman Khan、Fahad Khan、Abdelrahman Shaker、Shahina Kunhimon、Muhammad Uzair、Sanoojan Baliah、Malitha Gunawardhana、Akhtar Munir、\nVishal Thengane、Vignagajan Vigneswaran、Jiale Cao、Nian Liu、Muhammad Ali、Gayal Kurrupu、Roba Al Majzoub、\nJameel Hassan、Hanan Ghani、Muzammal Naseer、Akshay Dudhane、Jean Lahoud、Awais Rauf、Sahal Shaji、Bokang Jia，\n没有他们的努力，本项目将无法实现。\n\n如果您在研究或应用中使用 Video-ChatGPT，请使用以下 BibTeX 格式引用：\n```bibtex\n@inproceedings{Maaz2023VideoChatGPT,\n    title={Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models},\n    author={Maaz, Muhammad and Rasheed, Hanoona and Khan, Salman and Khan, Fahad Shahbaz},\n    booktitle={Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (ACL 2024)},\n    year={2024}\n}\n```\n\n## 许可证 :scroll:\n\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">\u003Cimg alt=\"知识共享许可协议\" style=\"border-width:0\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_8a4e76cf0ed2.png\" \u002F>\u003C\u002Fa>\u003Cbr \u002F>本作品采用 \u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">知识共享 署名-非商业性使用-相同方式共享 4.0 国际许可协议\u003C\u002Fa>授权。\n\n\n我们期待您的反馈、贡献和星级评价！ :star2:\n如有任何问题或疑问，请在此处提交：[这里](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues)。\n\n\n---\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_45d2297f2f63.png\" width=\"200\" height=\"100\">](https:\u002F\u002Fwww.ival-mbzuai.com)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_f7ee9d1ef19f.png\" width=\"100\" height=\"100\">](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_readme_5538daa7b5d2.png\" width=\"360\" height=\"85\">](https:\u002F\u002Fmbzuai.ac.ae)","# Video-ChatGPT 快速上手指南\n\nVideo-ChatGPT 是一款能够生成有意义视频对话的多模态模型。它结合了大型语言模型（LLM）的能力与专为时空视频表示而预训练的视觉编码器。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python 版本**: 3.10\n*   **硬件**: 支持 CUDA 的 NVIDIA GPU (用于训练和推理)\n*   **依赖管理**: Conda\n\n## 2. 安装步骤\n\n### 2.1 创建并激活 Conda 环境\n首先创建一个名为 `video_chatgpt` 的独立环境：\n\n```shell\nconda create --name=video_chatgpt python=3.10\nconda activate video_chatgpt\n```\n\n### 2.2 克隆项目并安装基础依赖\n下载源代码并安装 `requirements.txt` 中的依赖包：\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT.git\ncd Video-ChatGPT\npip install -r requirements.txt\n\nexport PYTHONPATH=\".\u002F:$PYTHONPATH\"\n```\n\n> **提示**：国内用户若遇到 pip 下载缓慢，可添加清华源加速：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 2.3 安装 FlashAttention (训练必需)\n为了获得最佳训练性能，需要额外安装 FlashAttention (v1.0.7)：\n\n```shell\npip install ninja\n\ngit clone https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention.git\ncd flash-attention\ngit checkout v1.0.7\npython setup.py install\n```\n\n## 3. 基本使用\n\n### 3.1 在线体验 (无需安装)\n如果您只想快速测试模型效果，可以直接访问官方提供的在线 Demo，支持上传自有视频或试用示例视频：\n*   **Demo 地址**: [https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt](https:\u002F\u002Fwww.ival-mbzuai.com\u002Fvideo-chatgpt)\n\n### 3.2 离线运行 Demo\n若需在本地运行演示程序，请参考项目目录下的详细文档：\n*   **操作指南**: `docs\u002Foffline_demo.md`\n\n### 3.3 模型训练\n若需使用自定义数据训练模型，请查阅训练专用文档：\n*   **操作指南**: `docs\u002Ftrain_video_chatgpt.md`\n\n### 3.4 数据集获取\n本项目发布了用于训练的 10 万条高质量视频指令数据集 (VideoInstruct-100K)：\n*   **下载地址**: [HuggingFace - VideoInstruct-100K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FVideoInstruct-100K)","某在线教育平台的内容审核团队每天需要处理数千段用户上传的教学视频，以确保内容合规并提取关键知识点用于检索。\n\n### 没有 Video-ChatGPT 时\n- 审核人员必须全程人工观看长视频，耗时费力且容易因疲劳漏掉违规片段或细微的错误演示。\n- 现有的图像识别工具只能分析单帧画面，无法理解视频中动作的连续性（如实验操作步骤是否连贯），导致误判率高。\n- 想要搜索特定教学内容（如“展示牛顿第二定律实验”）时，只能依赖上传者手动填写的标签，缺乏对视频实际内容的深度语义理解。\n- 为视障学生生成视频语音描述时，需要专门聘请编剧撰写脚本，成本高昂且更新速度远远跟不上视频上传量。\n\n### 使用 Video-ChatGPT 后\n- 审核团队只需将视频输入 Video-ChatGPT，它便能自动生成详细的内容摘要和潜在风险点报告，将单视频审核时间从 15 分钟缩短至 30 秒。\n- 借助其时空视觉编码能力，Video-ChatGPT 能精准理解动态过程，准确判断实验步骤的逻辑顺序，大幅降低了因静态分析导致的误报。\n- 教师可以直接用自然语言提问（如“视频中哪一段展示了错误的电路连接？”），Video-ChatGPT 能直接定位时间段并给出解释，实现了基于内容的智能检索。\n- 系统可利用 Video-ChatGPT 批量自动生成符合无障碍标准的详细旁白脚本，让海量新视频能即时服务于视障群体，几乎零边际成本。\n\nVideo-ChatGPT 通过将深层视频理解与大语言模型的推理能力结合，把原本依赖人力的视频内容处理流程转变为高效、精准且可交互的自动化智能工作流。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_Video-ChatGPT_e569544e.png","mbzuai-oryx","ORYX","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmbzuai-oryx_e1ef1b3c.jpg","A Library for Large Vision-Language Models",null,"https:\u002F\u002Fival-mbzuai.com","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx",[22,26],{"name":23,"color":24,"percentage":25},"Python","#3572A5",99.4,{"name":27,"color":28,"percentage":29},"Shell","#89e051",0.6,1498,130,"2026-03-23T07:48:55","CC-BY-4.0",4,"Linux","需要 NVIDIA GPU（用于安装 FlashAttention 及训练），具体型号和显存未说明，需支持 CUDA","未说明",{"notes":39,"python":40,"dependencies":41},"建议使用 conda 创建名为 video_chatgpt 的环境。训练时必须额外编译安装 FlashAttention (v1.0.7)。README 未直接列出 requirements.txt 的具体内容，但项目基于 LLaVA 架构，通常依赖 PyTorch、Transformers 等深度学习库。","3.10",[42,43,44],"requirements.txt 中定义的依赖","flash-attention==1.0.7","ninja",[46,47,48,49],"插件","视频","开发框架","语言模型",[51,52,53,54,55,56,57,58,59,60,61],"chatbot","clip","gpt-4","llama","llava","mulit-modal","vicuna","vision-language","vision-language-pretraining","video-chatboat","video-conversation",2,"ready","2026-03-27T02:49:30.150509","2026-04-06T20:03:42.563866",[67,72,77,82,87,92],{"id":68,"question_zh":69,"answer_zh":70,"source_url":71},19852,"运行离线 Demo 时点击“上传视频”按钮无响应或报错怎么办？","这通常是由于 `pydantic` 版本不兼容导致的。请尝试安装特定版本的 pydantic 来解决该问题：\n```bash\npip install pydantic==1.10.7\n```\n此外，确保在安装 transformers 库时使用指定的版本：\n```bash\npip install transformers@git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers.git@cae78c46\n```\n如果问题依旧，也可以直接使用终端推理脚本 `video_chatgpt\u002Fsingle_video_inference.py` 进行推理，绕过 Gradio 界面。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues\u002F23",{"id":73,"question_zh":74,"answer_zh":75,"source_url":76},19853,"如何在非 A100\u002FH100 GPU（如 A6000、A40）上进行模型训练？","Flash Attention 仅支持 A100 或 H100 GPU。如果您使用其他型号的 GPU（如 A6000 或 A40），需要禁用 Flash Attention。\n解决方法是注释掉 `video_chatgpt\u002Ftrain\u002Ftrain_mem.py` 文件中的以下代码行：\n```python\nreplace_llama_attn_with_flash_attn()\n```\n移除或注释该行后，即可在其他 GPU 上正常启动训练，虽然可能会轻微影响速度，但能保证程序运行。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues\u002F71",{"id":78,"question_zh":79,"answer_zh":80,"source_url":81},19854,"ActivityNet few-shot 评估所需的测试视频无法下载或链接失效怎么办？","官方提供的 SharePoint 链接可能因网络限制难以通过 `wget` 或 `curl` 下载。维护者建议改用 Hugging Face 数据集进行下载，该数据集包含分割好的小体积 `tar` 文件，更易于下载和管理。\n下载地址：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmmaaz60\u002FActivityNet-QA-Test-Videos","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues\u002F73",{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},19855,"MSRVTT-QA 和 MSVD-QA 的视频数据在哪里下载？","由于部分原始数据集官网已不再维护，项目维护者提供了直接的下载链接（SharePoint）：\n1. **MSVD** (验证集): https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fhanoona_bangalath_mbzuai_ac_ae\u002FEeoc0dCbhuFGvpJN0csStFcBSsajcV6hsYU6Yzw9No-Vyg?e=euSNcg\n2. **MSRVTT** (验证集): https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fhanoona_bangalath_mbzuai_ac_ae\u002FEXCVnB-P1L9HggLpR4quVFIBlLwcUSMwqg2VyvanDHyshA?e=Svx18a\n请注意这些链接可能需要特定的网络环境才能访问。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues\u002F65",{"id":88,"question_zh":89,"answer_zh":90,"source_url":91},19856,"在 MSVD-QA 等数据集上评估准确率时，模型输出长句子而标准答案只有一个词，如何计算准确率？","这是一个常见的评估细节问题。虽然模型倾向于输出完整句子，但在计算准确率（Accuracy）时，通常需要将模型的预测结果与标准答案进行精确匹配（prediction == answer）。\n如果在代码中发现逻辑错误（例如在某些评估脚本中索引 `index` 未在循环中递增导致所有答案判定为 'no'），请确保修复代码逻辑：在每次迭代中正确执行 `index += 1`。维护者已确认相关代码库已更新修复了此类索引问题，请使用最新代码进行评估。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues\u002F28",{"id":93,"question_zh":94,"answer_zh":95,"source_url":96},19857,"是否有 Docker 镜像可以直接使用，以避免环境配置问题？","针对本地环境配置复杂（如依赖冲突、Gradio 报错）的问题，维护者表示正在创建并上传 Docker 镜像以简化部署。在 Docker 镜像可用之前，建议严格遵循以下环境配置步骤：\n1. 创建 Python 3.10 环境。\n2. 安装 requirements.txt 中的依赖。\n3. 强制安装指定版本的 pydantic：`pip install pydantic==1.10.7`。\n4. 安装指定版本的 transformers。\n如果仍然遇到问题，推荐优先使用命令行推理脚本 `video_chatgpt\u002Fsingle_video_inference.py` 代替 Gradio Web UI 进行测试。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FVideo-ChatGPT\u002Fissues\u002F85",[],[99,111,119,127,135,143],{"id":100,"name":101,"github_repo":102,"description_zh":103,"stars":104,"difficulty_score":105,"last_commit_at":106,"category_tags":107,"status":63},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[108,48,109,110],"Agent","图像","数据工具",{"id":112,"name":113,"github_repo":114,"description_zh":115,"stars":116,"difficulty_score":105,"last_commit_at":117,"category_tags":118,"status":63},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[48,109,108],{"id":120,"name":121,"github_repo":122,"description_zh":123,"stars":124,"difficulty_score":62,"last_commit_at":125,"category_tags":126,"status":63},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,"2026-04-06T11:32:54",[48,108,49],{"id":128,"name":129,"github_repo":130,"description_zh":131,"stars":132,"difficulty_score":62,"last_commit_at":133,"category_tags":134,"status":63},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[48,109,108],{"id":136,"name":137,"github_repo":138,"description_zh":139,"stars":140,"difficulty_score":105,"last_commit_at":141,"category_tags":142,"status":63},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[49,109,108,48],{"id":144,"name":145,"github_repo":146,"description_zh":147,"stars":148,"difficulty_score":105,"last_commit_at":149,"category_tags":150,"status":63},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[48,109,108,47]]