[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jy0205--LaVIT":3,"tool-jy0205--LaVIT":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,2,"2026-04-18T11:30:52",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":73,"owner_twitter":73,"owner_website":78,"owner_url":79,"languages":80,"stars":93,"forks":94,"last_commit_at":95,"license":96,"difficulty_score":10,"env_os":97,"env_gpu":98,"env_ram":97,"env_deps":99,"category_tags":102,"github_topics":73,"view_count":32,"oss_zip_url":73,"oss_zip_packed_at":73,"status":17,"created_at":105,"updated_at":106,"faqs":107,"releases":143},9078,"jy0205\u002FLaVIT","LaVIT","LaVIT: Empower the Large Language Model to Understand and Generate Visual Content","LaVIT 是一款旨在赋予大语言模型（LLM）理解与生成视觉内容能力的多模态基础模型。它解决了传统 AI 模型难以在统一框架下同时处理图像\u002F视频理解（如看图问答）与视觉内容生成（如文生图、文生视频）的痛点，打破了感知与创造之间的壁垒。\n\n该工具特别适合人工智能研究人员、开发者以及希望探索多模态应用的技术团队使用。其核心亮点在于独特的“动态离散视觉分词”技术：通过视觉分词器将非语言的图像或视频转化为大模型可理解的离散令牌序列，再经由逆分词器还原为连续视觉信号。这种设计让大语言模型能像处理外语一样流畅地“阅读”和“创作”视觉信息。\n\n基于此架构，LaVIT 不仅能精准描述图片内容、回答视频相关问题，还能根据文本提示生成高质量图像与视频，甚至支持复杂的多模态提示生成。作为在 ICLR 2024 和 ICML 2024 上获得认可的开源项目，LaVIT 为构建通用的视觉 - 语言智能系统提供了高效且统一的解决方案。","# LaVIT: Empower the Large Language Model to Understand and Generate Visual Content\n\nThis is the official repository for the multi-modal large language models: **LaVIT** and **Video-LaVIT**. The LaVIT project aims to leverage the exceptional capability of LLM to deal with visual content. The proposed pre-training strategy supports visual understanding and generation with one unified framework.\n\n* Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization, ICLR 2024, [[`arXiv`](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.04669)] [[`BibTeX`](#Citing)]\n\n* Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization, ICML 2024 Oral, [[`arXiv`](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.03161)] [[`Project`](https:\u002F\u002Fvideo-lavit.github.io)] [[`BibTeX`](#Citing)]\n\n\n\n## News and Updates\n\n* ```2024.06.01``` 👏👏👏 Video-LaVIT has been accepted by ICML 2024 as an Oral presentation!\n\n* ```2024.04.21``` 🚀🚀🚀 We have released the pre-trained weight for **Video-LaVIT** on the HuggingFace and provide the inference code.\n\n* ```2024.02.05``` 🌟🌟🌟  We have proposed the **Video-LaVIT**: an effective multimodal pre-training approach that empowers LLMs to comprehend and generate video content in a unified framework.\n\n* ```2024.01.15``` 👏👏👏 LaVIT has been accepted by ICLR 2024!\n\n* ```2023.10.17``` 🚀🚀🚀  We release the pre-trained weight for **LaVIT** on the HuggingFace and provide the inference code of using it for both multi-modal understanding and generation.\n\n\n## Introduction\nThe **LaVIT** and **Video-LaVIT** are general-purpose multi-modal foundation models that inherit the successful learning paradigm of LLM: predicting the next visual\u002Ftextual token in an auto-regressive manner. The core design of the LaVIT series works includes a **visual tokenizer** and a **detokenizer**. The visual tokenizer aims to translate the non-linguistic visual content (e.g., image, video) into a sequence of discrete tokens like a foreign language that LLM can read. The detokenizer recovers the generated discrete tokens from LLM to the continuous visual signals.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjy0205_LaVIT_readme_698f103f1e9e.png\"\u002F>\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n\n\u003Cdiv align=\"center\">\n  LaVIT Pipeline\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjy0205_LaVIT_readme_20cb40476dc1.jpg\"\u002F>\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n\u003Cdiv align=\"center\">\n  Video-LaVIT Pipeline\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\nAfter pre-training, LaVIT and Video-LaVIT can support\n\n* Read image and video content, generate the captions, and answer the questions.\n* Text-to-image, Text-to-Video and Image-to-Video generation.\n* Generation via Multi-modal Prompt.\n\n## \u003Ca name=\"Citing\">\u003C\u002Fa>Citation\nConsider giving this repository a star and cite LaVIT in your publications if it helps your research.\n\n```\n@inproceedings{jin2024unified,\n  title={Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization},\n  author={Jin, Yang and Xu, Kun and Xu, Kun and Chen, Liwei and Liao, Chao and Tan, Jianchao and Mu, Yadong and others},\n  booktitle={International Conference on Learning Representations},\n  year={2024}\n}\n\n@inproceedings{jin2024video,\n  title={Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization},\n  author={Jin, Yang and Sun, Zhicheng and Xu, Kun and Chen, Liwei and Jiang, Hao and Huang, Quzhe and Song, Chengru and Liu, Yuliang and Zhang, Di and Song, Yang and Gai, Kun and Mu, Yadong},\n  booktitle={International Conference on Machine Learning},\n  pages={22185--22209},\n  year={2024}\n}","# LaVIT：赋能大型语言模型理解与生成视觉内容\n\n这是多模态大型语言模型 **LaVIT** 和 **Video-LaVIT** 的官方仓库。LaVIT 项目旨在利用大型语言模型在处理视觉内容方面的卓越能力。我们提出的预训练策略通过一个统一的框架支持视觉理解和生成任务。\n\n* 基于动态离散视觉分词的大型语言模型统一语言-视觉预训练，ICLR 2024，[[`arXiv`](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.04669)] [[`BibTeX`](#Citing)]\n\n* Video-LaVIT：基于解耦视觉-运动分词的统一视频-语言预训练，ICML 2024 口头报告，[[`arXiv`](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.03161)] [[`项目`](https:\u002F\u002Fvideo-lavit.github.io)] [[`BibTeX`](#Citing)]\n\n\n\n## 新闻与更新\n\n* ```2024.06.01``` 👏👏👏 Video-LaVIT 已被 ICML 2024 接受为口头报告！\n\n* ```2024.04.21``` 🚀🚀🚀 我们已在 HuggingFace 上发布了 **Video-LaVIT** 的预训练权重，并提供了推理代码。\n\n* ```2024.02.05``` 🌟🌟🌟 我们提出了 **Video-LaVIT**：一种高效的多模态预训练方法，使大型语言模型能够在统一框架下理解和生成视频内容。\n\n* ```2024.01.15``` 👏👏👏 LaVIT 已被 ICLR 2024 接受！\n\n* ```2023.10.17``` 🚀🚀🚀 我们在 HuggingFace 上发布了 **LaVIT** 的预训练权重，并提供了用于多模态理解和生成的推理代码。\n\n\n## 简介\n**LaVIT** 和 **Video-LaVIT** 是通用的多模态基础模型，继承了大型语言模型的成功学习范式：以自回归方式预测下一个视觉\u002F文本标记。LaVIT 系列的核心设计包括一个 **视觉分词器** 和一个 **反分词器**。视觉分词器旨在将非语言的视觉内容（如图像、视频）转换为一串离散的标记，就像一种大型语言模型能够理解的外语一样。反分词器则负责将大型语言模型生成的离散标记还原为连续的视觉信号。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjy0205_LaVIT_readme_698f103f1e9e.png\"\u002F>\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n\n\u003Cdiv align=\"center\">\n  LaVIT 流程图\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjy0205_LaVIT_readme_20cb40476dc1.jpg\"\u002F>\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n\u003Cdiv align=\"center\">\n  Video-LaVIT 流程图\n\u003C\u002Fdiv>\u003Cbr\u002F>\n\n经过预训练后，LaVIT 和 Video-LaVIT 可以支持：\n\n* 阅读图像和视频内容、生成描述性文字以及回答问题。\n* 文本到图像、文本到视频以及图像到视频的生成。\n* 通过多模态提示进行内容生成。\n\n## \u003Ca name=\"Citing\">\u003C\u002Fa>引用\n如果您觉得本项目对您的研究有所帮助，请为本仓库点赞，并在您的论文中引用 LaVIT。\n\n```\n@inproceedings{jin2024unified,\n  title={Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization},\n  author={Jin, Yang and Xu, Kun and Xu, Kun and Chen, Liwei and Liao, Chao and Tan, Jianchao and Mu, Yadong and others},\n  booktitle={International Conference on Learning Representations},\n  year={2024}\n}\n\n@inproceedings{jin2024video,\n  title={Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization},\n  author={Jin, Yang and Sun, Zhicheng and Xu, Kun and Chen, Liwei and Jiang, Hao and Huang, Quzhe and Song, Chengru and Liu, Yuliang and Zhang, Di and Song, Yang and Gai, Kun and Mu, Yadong},\n  booktitle={International Conference on Machine Learning},\n  pages={22185--22209},\n  year={2024}\n}","# LaVIT 快速上手指南\n\nLaVIT 和 Video-LaVIT 是通用的多模态基础模型，旨在利用大语言模型（LLM）的能力来理解和生成视觉内容（图像和视频）。该系列模型采用统一的自回归框架，支持视觉理解、图文\u002F文视频生成等多种任务。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (建议显存 16GB 以上以运行推理)\n*   **前置依赖**:\n    *   PyTorch (与您的 CUDA 版本匹配)\n    *   Transformers\n    *   Accelerate\n    *   Pillow\n    *   Decord (Video-LaVIT 必需)\n\n> **提示**：国内用户建议使用清华或阿里镜像源加速 Python 包安装。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FLaVIT-Lab\u002FLaVIT.git\n    cd LaVIT\n    ```\n\n2.  **安装依赖**\n    创建虚拟环境并安装所需库（推荐使用国内镜像源）：\n    ```bash\n    python -m venv lavit_env\n    source lavit_env\u002Fbin\u002Factivate\n    \n    # 使用清华镜像源安装依赖\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n3.  **获取预训练权重**\n    项目权重已托管在 Hugging Face。国内用户若访问受限，可使用镜像站或手动下载后放置到指定目录。\n    \n    *   **LaVIT (图像)**: `YangJin\u002FLaVIT`\n    *   **Video-LaVIT (视频)**: `YangJin\u002FVideo-LaVIT`\n\n    手动下载示例（以 LaVIT 为例）：\n    ```bash\n    # 确保已安装 huggingface-cli\n    pip install huggingface_hub -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    \n    # 下载模型权重到本地缓存\n    huggingface-cli download YangJin\u002FLaVIT --local-dir .\u002Fcheckpoints\u002FLaVIT\n    ```\n\n## 基本使用\n\n以下示例展示如何使用 LaVIT 进行最简单的**图像描述生成**（Image Captioning）。\n\n### 1. 图像理解示例 (Python)\n\n创建一个名为 `demo_image.py` 的文件，填入以下代码：\n\n```python\nimport torch\nfrom PIL import Image\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\n# 配置模型路径 (替换为您本地下载的路径或 HuggingFace ID)\nmodel_path = \".\u002Fcheckpoints\u002FLaVIT\" \n# 如果网络通畅，也可直接使用: model_path = \"YangJin\u002FLaVIT\"\n\n# 加载分词器和模型\ntokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_path, \n    trust_remote_code=True, \n    device_map=\"auto\", \n    torch_dtype=torch.float16\n)\nmodel.eval()\n\n# 准备输入\nimage_path = \"assets\u002Fexample.jpg\"  # 替换为您的图片路径\nimage = Image.open(image_path).convert(\"RGB\")\n\n# 构建 Prompt (根据具体任务调整，此处为生成描述)\nprompt = \"\u003Cimage>\\nPlease describe this image in detail.\"\n\n# 推理\ninputs = tokenizer(prompt, return_tensors=\"pt\").to(model.device)\n# 注意：实际使用时需按照仓库提供的 preprocess 逻辑处理图像 token\n# 以下为简化示意，具体图像编码请参考仓库内的 inference.py 脚本\nwith torch.no_grad():\n    # 此处调用需参考官方 inference 脚本中的完整预处理流程\n    # 因为 LaVIT 需要先将图像通过 Visual Tokenizer 转为离散 Token\n    pass \n\nprint(\"请参考仓库根目录下的 inference.py 脚本运行完整的图像\u002F视频推理流程。\")\nprint(\"命令示例: python inference.py --model_path .\u002Fcheckpoints\u002FLaVIT --image assets\u002Fexample.jpg --task caption\")\n```\n\n> **注意**：由于多模态模型涉及复杂的图像 Tokenizer 预处理，最稳定的使用方式是直接运行官方提供的推理脚本。\n\n### 2. 命令行推理 (推荐)\n\n直接使用仓库提供的 `inference.py` 脚本是最快捷的上手方式。\n\n**图像描述生成：**\n```bash\npython inference.py \\\n    --model_path .\u002Fcheckpoints\u002FLaVIT \\\n    --image assets\u002Fexample.jpg \\\n    --task caption \\\n    --prompt \"Please describe this image.\"\n```\n\n**文生图 (Text-to-Image)：**\n```bash\npython inference.py \\\n    --model_path .\u002Fcheckpoints\u002FLaVIT \\\n    --task text_to_image \\\n    --prompt \"A cute cat playing with a ball in the garden, high quality, 4k\" \\\n    --output_dir .\u002Fgenerated_images\n```\n\n**视频理解 (Video-LaVIT)：**\n```bash\npython inference.py \\\n    --model_path .\u002Fcheckpoints\u002FVideo-LaVIT \\\n    --video assets\u002Fexample.mp4 \\\n    --task video_caption \\\n    --prompt \"Describe the video content.\"\n```\n\n通过以上步骤，您即可快速体验 LaVIT 系列模型在多模态理解和生成方面的强大能力。更多高级用法（如多轮对话、复杂指令遵循）请参阅仓库中的详细文档。","某电商平台的运营团队需要为数千款新品快速生成包含商品展示图及动态讲解视频的营销素材，以应对大促期间的流量高峰。\n\n### 没有 LaVIT 时\n- **工具链割裂严重**：团队需分别调用独立的图像识别模型、文案大模型和视频生成工具，数据在不同系统间反复流转，极易出错且耗时。\n- **多模态理解偏差**：传统方案难以精准捕捉商品细节与文本指令的深层关联，导致生成的视频画面常出现“文不对题”或商品特征扭曲的现象。\n- **开发维护成本高**：工程师需编写大量胶水代码来串联不同模型接口，且无法统一优化端到端的生成效果，迭代周期长达数周。\n- **动态内容生成困难**：静态图片转视频往往动作生硬，缺乏对物体运动规律的理解，难以生成自然流畅的商品展示动画。\n\n### 使用 LaVIT 后\n- **统一框架高效处理**：LaVIT 凭借统一的预训练架构，直接在单一模型内完成从“读取商品图”到“生成解说视频”的全流程，大幅简化技术栈。\n- **精准语义对齐**：借助动态离散视觉 Token 化技术，LaVIT 能像理解外语一样精准解析视觉内容，确保生成的视频严格对应“展示面料纹理”等复杂指令。\n- **端到端自主生成**：开发人员只需输入多模态提示词，LaVIT 即可自回归地预测并输出连贯的视觉序列，无需额外编写复杂的调度逻辑，新需求当天即可上线。\n- **自然动态演绎**：Video-LaVIT 特有的解耦视觉 - 运动 Token 化机制，让生成的商品视频动作流畅自然，完美呈现衣物飘动或电子产品旋转的细节。\n\nLaVIT 通过将视觉内容转化为大语言模型可理解的统一令牌，真正实现了“所想即所见”的多模态内容自动化生产。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjy0205_LaVIT_724e78c0.png","jy0205",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjy0205_7e935222.png","Computer Vision and Machine Learning","Peking University","Beijing, China","https:\u002F\u002Fjy0205.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fjy0205",[81,85,89],{"name":82,"color":83,"percentage":84},"Jupyter Notebook","#DA5B0B",95,{"name":86,"color":87,"percentage":88},"Python","#3572A5",5,{"name":90,"color":91,"percentage":92},"Shell","#89e051",0,605,31,"2026-03-27T17:33:45","NOASSERTION","未说明","未说明（通常此类多模态大模型需要 NVIDIA GPU，具体显存和 CUDA 版本需参考代码实现）",{"notes":100,"python":97,"dependencies":101},"README 中未提供具体的运行环境配置、依赖库列表或硬件需求。该项目包含 LaVIT 和 Video-LaVIT 两个模型，支持图像\u002F视频的理解与生成。预训练权重已发布在 HuggingFace，建议查看仓库中的代码文件或 requirements.txt 以获取准确的安装指南。",[97],[35,15,103,104],"视频","其他","2026-03-27T02:49:30.150509","2026-04-18T22:35:22.940047",[108,113,118,123,128,133,138],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},40737,"加载最新模型权重进行文本图像生成需要多少显存？","加载该模型至少需要 22GB 的显存。如果显存不足（如 12GB 的 RTX 3060），将无法直接加载模型权重。目前官方尚未提供 int8 量化版本的权重。","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F18",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},40738,"是否会开源预训练代码？如果没有，用户如何微调模型？","目前官方没有计划开源预训练代码。用户需要自行编写微调代码以适应特定需求。虽然预训练代码不开源，但用户可以基于发布的模型权重开发自己的微调流程。","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F1",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},40732,"生成的 GIF 文件噪点过多或无法运行怎么办？","这通常是环境配置问题，特别是 xformers 版本不兼容导致的。维护者确认其机器上使用的是 xformers 0.0.19 版本且运行正常。如果安装 xformers 时强制更新了 PyTorch 到 2.0 版本，可能会导致演示失败。建议检查并调整 xformers 和 PyTorch 的版本兼容性。","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F22",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},40733,"在 CentOS 系统上 mvextractor 不兼容，有什么替代方案用于光流提取？","可以使用基于 pyav 的 VideoCap 类作为替代方案。具体实现代码如下：\n```python\nimport av\nclass VideoCap:\n    def __init__(self):\n        self.container = None\n    def open(self, video_path):\n        try:\n            self.container = av.open(video_path)\n            stream = self.container.streams.video[0]\n            codec_context = stream.codec_context\n            codec_context.export_mvs = True\n            return True\n        except:\n            return False\n    # 后续需实现 _process_motion_vectors 和 _iter_frames 方法处理运动向量\n```\n此外，也可以参考 LSTP-Chat 项目中的 flow_to_image 函数实现。","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F23",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},40734,"项目中使用的 EVA-CLIP ViT-G\u002F14 模型具体是哪个版本？在哪里下载？","项目使用的是 EVA-01-CLIP 系列模型，具体模型名称为 EVA01_CLIP_g_14_plus_psz14_s11B。可以从 Hugging Face 下载该权重文件：https:\u002F\u002Fhuggingface.co\u002FQuanSun\u002FEVA-CLIP\u002Fblob\u002Fmain\u002FEVA01_CLIP_g_14_plus_psz14_s11B.pt","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F7",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},40735,"动态视觉分词器（Dynamic Visual Tokenizer）中包含离散操作，是如何通过余弦相似度和 Mask Loss 进行训练的？","训练分为两个阶段：首先训练 token 预测器并冻结其他模块（不进行特征量化），以选出信息量最大的 patch；然后冻结 token 预测器，使用论文公式 4 中的目标函数进行联合 VQ 训练以更新其他模块。为了在训练过程中保持梯度传递，使用了 Gumbel-Softmax 技巧来处理离散化带来的不可导问题。","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F10",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},40736,"生成任务和理解任务使用的视觉分词器有什么区别？第二阶段预训练优化了哪些模块？","理解任务使用的分词器通常不包含量化步骤。在第二阶段（Stage 2）预训练中，仅优化语言模型（language model）、token 合并器（token merger）以及一个映射到 4096 维的投影层（projector），其他部分保持冻结。","https:\u002F\u002Fgithub.com\u002Fjy0205\u002FLaVIT\u002Fissues\u002F9",[]]