[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ShareGPT4Omni--ShareGPT4Video":3,"tool-ShareGPT4Omni--ShareGPT4Video":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[14,35],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":86,"forks":87,"last_commit_at":88,"license":75,"difficulty_score":89,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":101,"github_topics":103,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":113,"updated_at":114,"faqs":115,"releases":141},4286,"ShareGPT4Omni\u002FShareGPT4Video","ShareGPT4Video","[NeurIPS 2024] An official implementation of \"ShareGPT4Video: Improving Video Understanding and Generation with Better Captions\"","ShareGPT4Video 是一个旨在提升视频理解与生成能力的开源项目，其核心突破在于“用更优质的字幕驱动模型进化”。针对当前视频多模态领域高质量标注数据匮乏、现有模型难以精准捕捉长视频细节的痛点，该项目构建了一个包含 4 万条由 GPT-4V 生成的高描述性字幕及约 40 万条隐式分段字幕的大规模数据集。\n\n基于此数据，团队训练出了 ShareGPT4Video-8B 模型，并开发了通用的 ShareCaptioner-Video 字幕生成器。后者能够适应不同时长、分辨率和画幅的视频，提供接近 GPT-4V 水平的字幕描述，且兼顾了推理质量与效率。实验表明，利用其生成的高质量字幕，能显著优化文生视频（Text-to-Video）模型的输出效果。\n\n这套工具非常适合人工智能研究人员、多模态算法开发者以及希望提升视频生成质量的技术团队使用。无论是需要大规模视频文本数据进行模型训练，还是寻求高效的视频自动字幕生成方案，ShareGPT4Video 都提供了完整的代码、预训练模型及在线演示资源。作为 NeurIPS 2024 的接收成果，它以开放的态度推动了视频大模型在细粒度理解与可控生成","ShareGPT4Video 是一个旨在提升视频理解与生成能力的开源项目，其核心突破在于“用更优质的字幕驱动模型进化”。针对当前视频多模态领域高质量标注数据匮乏、现有模型难以精准捕捉长视频细节的痛点，该项目构建了一个包含 4 万条由 GPT-4V 生成的高描述性字幕及约 40 万条隐式分段字幕的大规模数据集。\n\n基于此数据，团队训练出了 ShareGPT4Video-8B 模型，并开发了通用的 ShareCaptioner-Video 字幕生成器。后者能够适应不同时长、分辨率和画幅的视频，提供接近 GPT-4V 水平的字幕描述，且兼顾了推理质量与效率。实验表明，利用其生成的高质量字幕，能显著优化文生视频（Text-to-Video）模型的输出效果。\n\n这套工具非常适合人工智能研究人员、多模态算法开发者以及希望提升视频生成质量的技术团队使用。无论是需要大规模视频文本数据进行模型训练，还是寻求高效的视频自动字幕生成方案，ShareGPT4Video 都提供了完整的代码、预训练模型及在线演示资源。作为 NeurIPS 2024 的接收成果，它以开放的态度推动了视频大模型在细粒度理解与可控生成方向的发展。","# \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FShareGPT4Omni_ShareGPT4Video_readme_491799f6cbfa.png\" style=\"vertical-align: -10px;\" :height=\"50px\" width=\"50px\"> ShareGPT4Video: Improving Video Understanding and Generation with Better Captions\n\n⭐️ **Our series works:** [[**MMStar**](https:\u002F\u002Fmmstar-benchmark.github.io\u002F)]  [[**ShareGPT4V**](https:\u002F\u002Fsharegpt4v.github.io\u002F)]  [[**ShareGPT4Omni**](https:\u002F\u002Fsharegpt4omni.github.io\u002F)]\n\n\n---\n\n🚀🚀🚀 Official implementation of **ShareGPT4Video: Improving Video Understanding and Generation with Better Captions**.\n\nHere is a video for introducing ShareGPT4Video clearly:\n\n[![video]](https:\u002F\u002Fuser-images.githubusercontent.com\u002F56393454\u002F334307144-1b106612-447b-4e35-bb9f-9b904fa3a464.mp4)\n\n- **Authors**: [Lin Chen*](https:\u002F\u002Flin-chen.site), [Xilin Wei*]() [Jinsong Li*](https:\u002F\u002Fli-jinsong.github.io\u002F), [Xiaoyi Dong](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=FscToE0AAAAJ&hl=en), [Pan Zhang](https:\u002F\u002Fpanzhang0212.github.io\u002F), [Yuhang Zang](https:\u002F\u002Fyuhangzang.github.io\u002F), [Zehui Chen](https:\u002F\u002Flovesnowbest.site\u002F), [Haodong Duan](https:\u002F\u002Fkennymckormick.github.io\u002F), [Bin Lin](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=GCOVDKoAAAAJ&hl=en), [Zhenyu Tang](), [Li Yuan](https:\u002F\u002Fyuanli2333.github.io\u002F), [Yu Qiao](https:\u002F\u002Fscholar.google.co.uk\u002Fcitations?user=gFtI-8QAAAAJ&hl=en), [Dahua Lin](http:\u002F\u002Fdahua.site\u002F), [Feng Zhao📧](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=r6CvuOUAAAAJ), [Jiaqi Wang 📧](https:\u002F\u002Fmyownskyw7.github.io\u002F)\n- **Institutes**: University of Science and Technology of China; The Chinese University of Hong Kong; Peking University; Shanghai AI Laboratory\n- **Resources**: [[Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.04325v1)] [[Project Page](https:\u002F\u002Fsharegpt4video.github.io\u002F)] [[ShareGPT4Video Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video)] [[Colab](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FShareGPT4Video-jupyter)]\n- **Models**: [[🤗ShareGPT4Video-8B](https:\u002F\u002Fhuggingface.co\u002FLin-Chen\u002Fsharegpt4video-8b)] [[🤗ShareCaptioner-Video](https:\u002F\u002Fhuggingface.co\u002FLin-Chen\u002FShareCaptioner-Video)]\n- **Demo**: [[🤗ShareGPT4Video-8B](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FLin-Chen\u002FShareGPT4Video-8B)] [[🤗ShareCaptioner-Video](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FLin-Chen\u002FShareCaptioner-Video)]\n\n## 💡 Highlights\n\n- 🔥 A **large-scale** **highly descriptive** video-text dataset, **40K** GPT4-Vision-generated video captions, around **400K** implicit video split captions.\n- 🔥 A **general video captioner for various video durations, resolutions, and aspect ratios**, approaching GPT4-Vision's caption capability, featuring two inference modes targeted for quality and efficiency, separately.\n- 🔥 A superior large video-language model **ShareGPT4Video-8B**, lasting **5 hours** on 8xA100 GPUs of training respectively.\n- 🔥 **Improving Text-to-Video performance** with high-quality video captions generated by our ShareCaptioner-Video. Thanks to [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan).\n\n## 📜 News\n\n**[2024\u002F10\u002F1]** ShareGPT4Video was accepted by NeurIPS 2024 D&B track!\n\n**[2024\u002F7\u002F1]** The code about batch-inference of ShareCaptioner-Video is available now!\n\n**[2024\u002F6\u002F11]** The web demo and local demo of ShareCaptioner-Video are available now!\n\n**[2024\u002F6\u002F11]** The web demo and local demo of ShareGPT4Video-8B are available now!\n\n**[2024\u002F6\u002F7]** Our paper has been featured as [HuggingFace Daily Papers](https:\u002F\u002Fhuggingface.co\u002Fpapers?date=2024-06-07) and ranked 1st in 6.7.\n\n**[2024\u002F5\u002F27]** The [ShareGPT4Video-8B](https:\u002F\u002Fhuggingface.co\u002FLin-Chen\u002Fsharegpt4video-8b) model is released!\n\n**[2024\u002F5\u002F26]** The [ShareGPT4Video dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video) and [project page](https:\u002F\u002Fsharegpt4video.github.io\u002F) are released!\n\n## 👨‍💻 Todo\n\n- [x] Training code for ShareGPT4Video-8B\n- [x] Batch inference code for ShareCaptioner-Video\n- [x] Web demo and local demo of ShareCaptioner-Video\n- [x] Web demo and local demo of ShareGPT4Video-8B\n- [x] Checkpoints of ShareGPT4Video-8B\n\n## Quick Usage\n\nYou can directly use our ShareGPT4Video model for conversation with your own video by the following command:\n\n```\npython run.py --model-path Lin-Chen\u002Fsharegpt4video-8b --video examples\u002Fyoga.mp4 --query Describe this video in detail.\n```\n\nOr you can build your local demo to enjoy our ShareGPT4Video-8B with the following command:\n\n```\npython app.py\n```\n\nYou can build your local demo for enjoying our ShareCaptioner-Video with the following command:\n\n```\ncd captioner\n\npython app.py\n```\n\n## Install\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\nconda create -n share4video python=3.10 -y\nconda activate share4video\n\ncd ShareGPT4Video\npip install --upgrade pip\npip install -e .\npip install -e \".[train]\"\npip install flash-attn --no-build-isolation\n```\n\n## Train\n\nTo validate the effectiveness of high-quality video captions for helping to improve the LVLMs' comprehension capabilities. We choose the [VideoLLaVA](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FVideo-LLaVA?tab=readme-ov-file) and [LLaMA-VID](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FLLaMA-VID) models as our baselines. The SFT data used for both models is LLaVA-mix665K image data plus VideoChatGPT-100K video data. We replace 28K caption data in VideoChatGPT-100K with 28K high quality caption data from ShareGPT4Video. Next, we take VideoLLaVA as the example.\n\nYou need to follow the [instructions](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FVideo-LLaVA\u002Fblob\u002Fmain\u002FTRAIN_AND_VALIDATE.md) in VideoLLaVA to prepare the images and videos first, then download the 28K videos used in ShareGPT4Video from [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video\u002Ftree\u002Fmain\u002Fzip_folder) (only involves bdd100k, ego4d, and panda).\n\nFinally, you can specify the llava_v1_5_mix665k_with_video_chatgpt72k_share4video28k.json file in the [finetune.sh](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FVideo-LLaVA\u002Fblob\u002Fmain\u002Fscripts\u002Fv1_5\u002Ffinetune.sh) to perform the SFT to reproduce the results in the paper.\n\n## ✒️ Citation\n\nIf you find our work helpful for your research, please consider giving a star ⭐ and citation 📝\n\n```bibtex\n\n@article{chen2024sharegpt4video,\n  title={ShareGPT4Video: Improving Video Understanding and Generation with Better Captions},\n  author={Chen, Lin and Wei, Xilin and Li, Jinsong and Dong, Xiaoyi and Zhang, Pan and Zang, Yuhang and Chen, Zehui and Duan, Haodong and Lin, Bin and Tang, Zhenyu and others},\n  journal={arXiv preprint arXiv:2406.04325},\n  year={2024}\n}\n\n@article{chen2023sharegpt4v,\n  title={ShareGPT4V: Improving Large Multi-Modal Models with Better Captions},\n  author={Chen, Lin and Li, Jisong and Dong, Xiaoyi and Zhang, Pan and He, Conghui and Wang, Jiaqi and Zhao, Feng and Lin, Dahua},\n  journal={arXiv preprint arXiv:2311.12793},\n  year={2023}\n}\n\n@article{chen2024we,\n  title={Are We on the Right Way for Evaluating Large Vision-Language Models?},\n  author={Chen, Lin and Li, Jinsong and Dong, Xiaoyi and Zhang, Pan and Zang, Yuhang and Chen, Zehui and Duan, Haodong and Wang, Jiaqi and Qiao, Yu and Lin, Dahua and others},\n  journal={arXiv preprint arXiv:2403.20330},\n  year={2024}\n}\n```\n\n## ❤️ Acknowledgments\n\n- [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA): the codebase we built upon. Thanks for their wonderful work.\n- [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan): an excellent open-source codebase for Sora-like text-to-video implementation. Thanks for their wonderful work.\n- [Open-LLaVA-NeXT](https:\u002F\u002Fgithub.com\u002Fxiaoachen98\u002FOpen-LLaVA-NeXT): an open-source codebase for re-producing the training procedure of LLaVA-NeXT series.\n","# \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FShareGPT4Omni_ShareGPT4Video_readme_491799f6cbfa.png\" style=\"vertical-align: -10px;\" :height=\"50px\" width=\"50px\"> ShareGPT4Video：通过更优质的字幕提升视频理解与生成能力\n\n⭐️ **我们的系列工作：** [[**MMStar**](https:\u002F\u002Fmmstar-benchmark.github.io\u002F)]  [[**ShareGPT4V**](https:\u002F\u002Fsharegpt4v.github.io\u002F)]  [[**ShareGPT4Omni**](https:\u002F\u002Fsharegpt4omni.github.io\u002F)]\n\n\n---\n\n🚀🚀🚀 **ShareGPT4Video：通过更优质的字幕提升视频理解与生成能力** 的官方实现。\n\n这里有一段清晰介绍 ShareGPT4Video 的视频：\n\n[![video]](https:\u002F\u002Fuser-images.githubusercontent.com\u002F56393454\u002F334307144-1b106612-447b-4e35-bb9f-9b904fa3a464.mp4)\n\n- **作者**：[Lin Chen*](https:\u002F\u002Flin-chen.site)、[Xilin Wei*]()、[Jinsong Li*](https:\u002F\u002Fli-jinsong.github.io\u002F)、[Xiaoyi Dong](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=FscToE0AAAAJ&hl=en)、[Pan Zhang](https:\u002F\u002Fpanzhang0212.github.io\u002F)、[Yuhang Zang](https:\u002F\u002Fyuhangzang.github.io\u002F)、[Zehui Chen](https:\u002F\u002Flovesnowbest.site\u002F)、[Haodong Duan](https:\u002F\u002Fkennymckormick.github.io\u002F)、[Bin Lin](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=GCOVDKoAAAAJ&hl=en)、[Zhenyu Tang]()、[Li Yuan](https:\u002F\u002Fyuanli2333.github.io\u002F)、[Yu Qiao](https:\u002F\u002Fscholar.google.co.uk\u002Fcitations?user=gFtI-8QAAAAJ&hl=en)、[Dahua Lin](http:\u002F\u002Fdahua.site\u002F)、[Feng Zhao📧](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=r6CvuOUAAAAJ)、[Jiaqi Wang 📧](https:\u002F\u002Fmyownskyw7.github.io\u002F)\n- **机构**：中国科学技术大学；香港中文大学；北京大学；上海人工智能实验室\n- **资源**：[[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.04325v1)] [[项目主页](https:\u002F\u002Fsharegpt4video.github.io\u002F)] [[ShareGPT4Video 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video)] [[Colab](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FShareGPT4Video-jupyter)]\n- **模型**：[[🤗ShareGPT4Video-8B](https:\u002F\u002Fhuggingface.co\u002FLin-Chen\u002Fsharegpt4video-8b)] [[🤗ShareCaptioner-Video](https:\u002F\u002Fhuggingface.co\u002FLin-Chen\u002FShareCaptioner-Video)]\n- **演示**：[[🤗ShareGPT4Video-8B](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FLin-Chen\u002FShareGPT4Video-8B)] [[🤗ShareCaptioner-Video](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FLin-Chen\u002FShareCaptioner-Video)]\n\n## 💡 亮点\n\n- 🔥 一个 **大规模**、**高度描述性**的视频-文本数据集，包含 **4万条** GPT4-Vision 生成的视频字幕，以及约 **40万条** 隐式分割的视频字幕。\n- 🔥 一个 **适用于各种时长、分辨率和宽高比的通用视频字幕生成器**，其字幕生成能力接近 GPT4-Vision，提供针对质量和效率优化的两种推理模式。\n- 🔥 一款性能卓越的大规模视频-语言模型 **ShareGPT4Video-8B**，在 8 张 A100 GPU 上分别训练了 **5 小时**。\n- 🔥 通过我们生成的高质量视频字幕 **提升文本到视频生成性能**。感谢 [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) 的支持。\n\n## 📜 最新消息\n\n**[2024年10月1日]** ShareGPT4Video 已被 NeurIPS 2024 D&B 轨道接收！\n\n**[2024年7月1日]** ShareCaptioner-Video 的批量推理代码现已可用！\n\n**[2024年6月11日]** ShareCaptioner-Video 的网页版和本地版演示现已上线！\n\n**[2024年6月11日]** ShareGPT4Video-8B 的网页版和本地版演示现已上线！\n\n**[2024年6月7日]** 我们的论文被选为 [HuggingFace Daily Papers](https:\u002F\u002Fhuggingface.co\u002Fpapers?date=2024-06-07)，并在 6 月 7 日排名第一。\n\n**[2024年5月27日]** [ShareGPT4Video-8B](https:\u002F\u002Fhuggingface.co\u002FLin-Chen\u002Fsharegpt4video-8b) 模型正式发布！\n\n**[2024年5月26日]** [ShareGPT4Video 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video) 和 **项目主页**（[sharegpt4video.github.io](https:\u002F\u002Fsharegpt4video.github.io\u002F)）正式上线！\n\n## 👨‍💻 待办事项\n\n- [x] ShareGPT4Video-8B 的训练代码\n- [x] ShareCaptioner-Video 的批量推理代码\n- [x] ShareCaptioner-Video 的网页版和本地版演示\n- [x] ShareGPT4Video-8B 的网页版和本地版演示\n- [x] ShareGPT4Video-8B 的检查点\n\n## 快速使用\n\n你可以通过以下命令直接使用我们的 ShareGPT4Video 模型与自己的视频进行对话：\n\n```\npython run.py --model-path Lin-Chen\u002Fsharegpt4video-8b --video examples\u002Fyoga.mp4 --query 请详细描述这段视频。\n```\n\n或者，你也可以通过以下命令搭建本地演示，体验我们的 ShareGPT4Video-8B：\n\n```\npython app.py\n```\n\n如果你想体验我们的 ShareCaptioner-Video，可以按照以下步骤搭建本地演示：\n\n```\ncd captioner\n\npython app.py\n```\n\n## 安装\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\nconda create -n share4video python=3.10 -y\nconda activate share4video\n\ncd ShareGPT4Video\npip install --upgrade pip\npip install -e .\npip install -e \".[train]\"\npip install flash-attn --no-build-isolation\n```\n\n## 训练\n\n为了验证高质量视频字幕对提升 LVLM 理解能力的有效性，我们选择了 [VideoLLaVA](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FVideo-LLaVA?tab=readme-ov-file) 和 [LLaMA-VID](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FLLaMA-VID) 作为基线模型。两者的 SFT 数据均采用 LLaVA-mix665K 图像数据加上 VideoChatGPT-100K 视频数据。我们将 VideoChatGPT-100K 中的 2.8万条字幕替换为来自 ShareGPT4Video 的 2.8万条高质量字幕。接下来以 VideoLLaVA 为例说明。\n\n你需要先按照 VideoLLaVA 的 [说明文档](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FVideo-LLaVA\u002Fblob\u002Fmain\u002FTRAIN_AND_VALIDATE.md) 准备好图像和视频，然后从 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video\u002Ftree\u002Fmain\u002Fzip_folder) 下载 ShareGPT4Video 中使用的 2.8万条视频（仅涉及 bdd100k、ego4d 和 panda）。\n\n最后，在 [finetune.sh](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FVideo-LLaVA\u002Fblob\u002Fmain\u002Fscripts\u002Fv1_5\u002Ffinetune.sh) 中指定 llava_v1_5_mix665k_with_video_chatgpt72k_share4video28k.json 文件，即可执行 SFT，从而复现论文中的结果。\n\n## ✒️ 引用\n\n如果您觉得我们的工作对您的研究有所帮助，请考虑给项目点赞 ⭐ 并引用 📝 我们的工作。\n\n```bibtex\n\n@article{chen2024sharegpt4video,\n  title={ShareGPT4Video：通过更优质的字幕提升视频理解与生成能力},\n  author={陈林、魏锡林、李劲松、董晓怡、张攀、臧宇航、陈泽辉、段浩东、林彬、唐振宇等},\n  journal={arXiv 预印本 arXiv:2406.04325},\n  year={2024}\n}\n\n@article{chen2023sharegpt4v,\n  title={ShareGPT4V：利用更优质的字幕改进大型多模态模型},\n  author={陈林、李劲松、董晓怡、张攀、何聪辉、王佳琪、赵峰、林大华},\n  journal={arXiv 预印本 arXiv:2311.12793},\n  year={2023}\n}\n\n@article{chen2024we,\n  title={我们在评估大型视觉-语言模型的道路上走对了吗？},\n  author={陈林、李劲松、董晓怡、张攀、臧宇航、陈泽辉、段浩东、王佳琪、乔宇、林大华等},\n  journal={arXiv 预印本 arXiv:2403.20330},\n  year={2024}\n}\n```\n\n## ❤️ 致谢\n\n- [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)：我们在此基础上进行开发的代码库。感谢他们出色的工作。\n- [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan)：一款优秀的开源代码库，用于实现类似 Sora 的文本到视频生成。感谢他们出色的工作。\n- [Open-LLaVA-NeXT](https:\u002F\u002Fgithub.com\u002Fxiaoachen98\u002FOpen-LLaVA-NeXT)：一个用于复现 LLaVA-NeXT 系列训练流程的开源代码库。","# ShareGPT4Video 快速上手指南\n\nShareGPT4Video 是一个旨在通过高质量视频描述提升视频理解与生成能力的大型多模态模型项目。本指南将帮助您快速部署并体验其核心功能。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python 版本**: 3.10\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（训练或运行大模型建议使用显存较大的显卡，如 A100\u002FV100\u002F3090\u002F4090 等）\n*   **包管理工具**: Conda (推荐 Miniconda 或 Anaconda)\n*   **网络环境**: 需要访问 Hugging Face 和 GitHub。国内用户建议配置代理或使用镜像源加速下载。\n\n## 安装步骤\n\n请按照以下步骤克隆代码库并安装依赖：\n\n1.  **克隆项目代码**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\n    cd ShareGPT4Video\n    ```\n\n2.  **创建并激活 Conda 环境**\n    ```bash\n    conda create -n share4video python=3.10 -y\n    conda activate share4video\n    ```\n\n3.  **安装基础依赖与训练组件**\n    *注：国内用户若下载缓慢，可临时配置 pip 使用清华或阿里镜像源。*\n    ```bash\n    pip install --upgrade pip\n    # 可选：配置国内镜像源加速\n    # pip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    \n    pip install -e .\n    pip install -e \".[train]\"\n    ```\n\n4.  **安装 Flash Attention**\n    这是提升模型推理和训练效率的关键组件，需指定参数安装以避免构建隔离问题：\n    ```bash\n    pip install flash-attn --no-build-isolation\n    ```\n\n## 基本使用\n\n安装完成后，您可以选择直接通过命令行与视频对话，或启动本地 Web Demo 进行交互。模型权重会自动从 Hugging Face 下载（首次运行可能需要一些时间）。\n\n### 方式一：命令行快速推理\n\n使用 `run.py` 脚本，指定模型路径、视频文件和问题即可获取回答。\n\n```bash\npython run.py --model-path Lin-Chen\u002Fsharegpt4video-8b --video examples\u002Fyoga.mp4 --query \"Describe this video in detail.\"\n```\n*注意：请确保 `examples\u002Fyoga.mp4` 替换为您本地的实际视频路径。*\n\n### 方式二：启动本地 Web Demo (视频对话)\n\n启动交互式界面，上传视频并进行多轮对话：\n\n```bash\npython app.py\n```\n启动后，请在浏览器访问终端显示的地址（通常为 `http:\u002F\u002Flocalhost:7860`）。\n\n### 方式三：启动本地 Web Demo (视频描述生成)\n\n如果您只想使用 **ShareCaptioner-Video** 模型来生成高质量的视频描述：\n\n```bash\ncd captioner\npython app.py\n```","某短视频平台的内容运营团队正试图构建一个智能系统，用于自动分析海量用户上传的视频并生成精准的标签与摘要，以优化推荐算法。\n\n### 没有 ShareGPT4Video 时\n- **描述过于简略**：传统模型生成的视频字幕往往只包含“一个人在跑步”等基础动作，丢失了环境细节、人物表情及镜头语言等关键语义。\n- **长视频理解困难**：面对超过一分钟的复杂叙事视频，现有工具难以捕捉前后逻辑关联，导致生成的摘要支离破碎，无法反映完整剧情。\n- **训练数据匮乏**：团队缺乏高质量的视频 - 文本配对数据来微调自有模型，导致在特定垂直领域（如教学演示或体育分析）的识别准确率极低。\n- **生成效果受限**：由于缺乏精细的文字描述作为引导，尝试利用 AI 进行文生视频创作时，生成的画面往往与预期构思偏差巨大，动态连贯性差。\n\n### 使用 ShareGPT4Video 后\n- **细节捕捉精准**：ShareGPT4Video 能生成媲美 GPT-4V 的高密度描述，不仅识别动作，还能准确输出“夕阳下运动员在红色跑道上冲刺且面露坚毅”等丰富场景信息。\n- **长程逻辑贯通**：得益于其针对多种时长优化的架构，该工具能梳理长达数分钟视频的因果脉络，输出逻辑严密、情节完整的深度摘要。\n- **数据飞轮启动**：团队直接利用 ShareGPT4Video 提供的 40K 高质量标注数据集微调模型，迅速提升了在垂直领域的语义理解能力。\n- **文生视频质变**：将 ShareCaptioner-Video 生成的精细描述作为提示词输入生成模型，显著提升了合成视频的指令遵循度与画面一致性。\n\nShareGPT4Video 通过提供工业级的高质量视频描述能力，彻底打通了从深度视频理解到可控视频生成的技术闭环。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FShareGPT4Omni_ShareGPT4Video_a031da17.png","ShareGPT4Omni","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FShareGPT4Omni_292b7759.png",null,"https:\u002F\u002Fgithub.com\u002FShareGPT4Omni",[78,82],{"name":79,"color":80,"percentage":81},"Python","#3572A5",98.1,{"name":83,"color":84,"percentage":85},"Shell","#89e051",1.9,1091,45,"2026-03-25T08:24:40",4,"Linux","训练必需：8x NVIDIA A100；推理未明确具体型号，但安装 flash-attn 暗示需要支持 CUDA 的 NVIDIA GPU","未说明",{"notes":94,"python":95,"dependencies":96},"项目基于 LLaVA 代码库构建。安装时必须使用 'pip install flash-attn --no-build-isolation' 命令。训练过程在 8 张 A100 GPU 上耗时约 5 小时。推理和演示可通过 run.py 或 app.py 启动。数据集包含 40K GPT-4V 生成的视频字幕。","3.10",[97,98,99,100],"flash-attn","torch","transformers","accelerate",[35,13,52,102],"其他",[104,105,106,107,108,109,110,111,112],"chatgpt","gpt","gpt-4v","large-language-models","large-multimodal-models","large-vision-language-models","large-video-language-models","sora","text-to-video","2026-03-27T02:49:30.150509","2026-04-06T16:10:27.884932",[116,121,126,131,136],{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},19510,"在哪里可以下载 Panda 视频数据集？Hugging Face 页面上似乎缺少该文件夹。","Panda 视频的剪辑版本现已在 Hugging Face 上提供。您可以直接访问以下链接下载：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FShareGPT4Video\u002FShareGPT4Video\u002Ftree\u002Fmain\u002Fzip_folder\u002Fpanda。如果您尝试通过 panda.csv 文件下载但失败（例如只下载了部分视频），建议直接使用上述提供的压缩包链接。","https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\u002Fissues\u002F8",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},19511,"模型加载成功，但推理时返回空字符串（null str）怎么办？","该问题通常是因为 Captioner 组件尚未就绪或配置不当导致的。目前项目的 Captioner 功能已经可用，请确保您使用的是最新版本的代码和模型权重。如果问题仍然存在，请检查是否正确调用了 Captioner 相关的接口。","https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\u002Fissues\u002F2",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},19512,"加载模型时报错：ValueError: Trying to set a tensor of shape torch.Size([577, 1024]) in \"weight\" (which has shape torch.Size([257, 1024]))，如何解决？","这个错误通常是由于视觉塔（vision tower）的预训练权重与模型架构不匹配造成的（例如使用了错误的 ViT 版本）。请检查您的 `run.py` 或加载脚本中指定的视觉塔路径是否正确（例如是否错误地指向了 ViT-L-14 而模型期望的是其他尺寸）。维护者建议提供具体的运行参数和命令以便复现问题，通常重新下载匹配的模型权重或修正 `load_pretrained_model` 中的参数即可解决。","https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\u002Fissues\u002F10",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},19513,"如何获取 ShareCaptioner-Video 模型的使用示例？run.py 中似乎只有 sharegpt4video-8b 的演示。","ShareCaptioner-Video 模型的四种角色使用示例之前正在开发中，现在已正式可用。请拉取最新的代码库，项目中已更新了相关演示代码，您可以直接在更新后的 `run.py` 或相关示例脚本中找到如何使用该模型进行不同任务的具体用法。","https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\u002Fissues\u002F6",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},19514,"Panda 视频数据集无法正常下载，是否有替代方案或直接提供的下载包？","是的，为了解决视频无法正常下载的问题，项目组已将下载好的视频整理并提供在 Hugging Face 仓库中。您可以直接在 Hugging Face 的数据集页面找到已处理好的视频文件，无需再自行通过脚本批量下载，从而避免网络不稳定导致的下载失败问题。","https:\u002F\u002Fgithub.com\u002FShareGPT4Omni\u002FShareGPT4Video\u002Fissues\u002F23",[]]