[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-omerbt--Text2LIVE":3,"tool-omerbt--Text2LIVE":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,2,"2026-04-06T11:32:50",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[43,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":76,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":10,"env_os":91,"env_gpu":92,"env_ram":91,"env_deps":93,"category_tags":100,"github_topics":101,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":142},4885,"omerbt\u002FText2LIVE","Text2LIVE","Official Pytorch Implementation for \"Text2LIVE: Text-Driven Layered Image and Video Editing\" (ECCV 2022 Oral)","Text2LIVE 是一款基于 PyTorch 的开源工具，专为通过自然语言指令编辑真实世界的图像和视频而设计。它主要解决了如何在无需手动绘制蒙版或依赖预训练生成器的情况下，精准地改变物体纹理（如将草地变为雪地）或在场景中添加半透明特效（如烟雾、火焰、雪花）的难题。\n\n该工具的核心亮点在于其独特的“分层编辑”理念：它不直接重绘整张图片，而是生成一个包含颜色和透明度信息的“编辑层”叠加在原图上。这种方法结合内部数据学习与外部 CLIP 模型的理解能力，既能确保修改内容符合文字描述的语义，又能最大程度保留原始画面的高保真度和空间结构，特别适合处理高分辨率素材。对于视频编辑，Text2LIVE 还利用神经分层图集技术保证了帧间的时间一致性，避免画面闪烁。\n\nText2LIVE 非常适合研究人员探索零样本图像编辑算法，也适合开发者将其集成到多媒体工作流中。虽然它对普通用户有一定技术门槛（需配置环境并运行代码），但对于希望实现精细化、语义化视觉创作的设计师和极客而言，这是一个强大且灵活的实验性平台。","# Text2LIVE: Text-Driven Layered Image and Video Editing (ECCV 2022 - Oral)\n## [\u003Ca href=\"https:\u002F\u002Ftext2live.github.io\u002F\" target=\"_blank\">Project Page\u003C\u002Fa>]\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Text2LIVE-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.02491)\n![Pytorch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch->=1.10.0-Red?logo=pytorch)\n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002Ftext2live)\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_Text2LIVE_readme_a2e3c226f04a.png)\n\n**Text2LIVE** is a method for text-driven editing of real-world images and videos, as described in \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.02491\" target=\"_blank\">(link to paper)\u003C\u002Fa>.\n\n[\u002F\u002F]: # (. It can be used for localized and global edits that change the texture of existing objects or augment the scene with semi-transparent effects (e.g. smoke, fire, snow).)\n\n[\u002F\u002F]: # (### Abstract)\n>We present a method for zero-shot, text-driven appearance manipulation in natural images and videos. Specifically, given an input image or video and a target text prompt, our goal is to edit the appearance of existing objects (e.g., object's texture) or augment the scene with new visual effects (e.g., smoke, fire) in a semantically meaningful manner. Our framework trains a generator using an internal dataset of training examples, extracted from a single input (image or video and target text prompt), while leveraging an external pre-trained CLIP model to establish our losses. Rather than directly generating the edited output, our key idea is to generate an edit layer (color+opacity) that is composited over the original input. This allows us to constrain the generation process and maintain high fidelity to the original input via novel text-driven losses that are applied directly to the edit layer. Our method neither relies on a pre-trained generator nor requires user-provided edit masks. Thus, it can perform localized, semantic edits on high-resolution natural images and videos across a variety of objects and scenes.\n\n\n## Getting Started\n### Installation\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fomerbt\u002FText2LIVE.git\nconda create --name text2live python=3.9 \nconda activate text2live \npip install -r requirements.txt\n```\n\n### Download sample images and videos\nDownload sample images and videos from the DAVIS dataset:\n```\ncd Text2LIVE\ngdown https:\u002F\u002Fdrive.google.com\u002Fuc?id=1osN4PlPkY9uk6pFqJZo8lhJUjTIpa80J&export=download\nunzip data.zip\n```\nIt will create a folder `data`:\n```\nText2LIVE\n├── ...\n├── data\n│   ├── pretrained_nla_models # NLA models are stored here\n│   ├── images # sample images\n│   └── videos # sample videos from DAVIS dataset\n│         ├── car-turn # contains video frames \n│         ├── ...\n└── ...\n```\nTo enforce temporal consistency in video edits, we utilize the Neural Layered Atlases (NLA). Pretrained NLA models are taken from \u003Ca href=\"https:\u002F\u002Flayered-neural-atlases.github.io\">here\u003C\u002Fa>, and are already inside the `data` folder.\n\n### Run examples \n* Our method is designed to change textures of existing objects \u002F augment the scene with semi-transparent effects (e.g., smoke, fire). It is not designed for adding new objects or significantly deviating from the original spatial layout.\n* Training **Text2LIVE** multiple times with the same inputs can lead to slightly different results.\n* CLIP sometimes exhibits bias towards specific solutions (see figure 9 in the paper), thus slightly different text prompts may lead to different flavors of edits.\n\n\nThe required GPU memory depends on the input image\u002Fvideo size, but you should be good with a Tesla V100 32GB :).\nCurrently mixed precision introduces some instability in the training process, but it could be added later.\n\n#### Video Editing\nRun the following command to start training\n```\npython train_video.py --example_config car-turn_winter.yaml\n```\n#### Image Editing\nRun the following command to start training\n```\npython train_image.py --example_config golden_horse.yaml\n```\nIntermediate results will be saved to `results` during optimization. The frequency of saving intermediate results is indicated in the `log_images_freq` flag of the configuration.\n\n## Sample Results\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F22198039\u002F179797381-983e0453-2e5d-40e8-983d-578217b358e4.mov\n\nFor more see the [supplementary material](https:\u002F\u002Ftext2live.github.io\u002Fsm\u002Findex.html).\n\n\n## Citation\n```\n@inproceedings{bar2022text2live,\n  title={Text2live: Text-driven layered image and video editing},\n  author={Bar-Tal, Omer and Ofri-Amar, Dolev and Fridman, Rafail and Kasten, Yoni and Dekel, Tali},\n  booktitle={European Conference on Computer Vision},\n  pages={707--723},\n  year={2022},\n  organization={Springer}\n}\n```\n","# Text2LIVE：文本驱动的分层图像与视频编辑（ECCV 2022 - 口头报告）\n## [\u003Ca href=\"https:\u002F\u002Ftext2live.github.io\u002F\" target=\"_blank\">项目页面\u003C\u002Fa>]\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Text2LIVE-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.02491)\n![Pytorch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch->=1.10.0-Red?logo=pytorch)\n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002Ftext2live)\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_Text2LIVE_readme_a2e3c226f04a.png)\n\n**Text2LIVE** 是一种用于现实世界图像和视频的文本驱动编辑方法，详情请参阅 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.02491\" target=\"_blank\">(论文链接)\u003C\u002Fa>。\n\n[\u002F\u002F]: # (. 它可用于局部和全局编辑，既能改变现有物体的纹理，也能通过半透明效果(如烟雾、火焰、雪)来增强场景。)\n\n[\u002F\u002F]: # (### 摘要)\n我们提出了一种无需预训练、基于文本驱动的自然图像和视频外观操控方法。具体而言，给定一张输入图像或视频以及一个目标文本提示，我们的目标是以语义上合理的方式编辑现有物体的外观（例如物体的纹理），或通过新的视觉效果（如烟雾、火焰）来增强场景。我们的框架使用从单个输入（图像或视频及目标文本提示）中提取的内部训练数据集来训练生成器，同时利用外部预训练的 CLIP 模型来定义损失函数。与直接生成编辑后的输出不同，我们的核心思想是生成一个叠加在原始输入之上的编辑图层（颜色+不透明度）。这使得我们能够通过新颖的文本驱动损失函数直接作用于编辑图层，从而约束生成过程并保持对原始输入的高度保真度。我们的方法既不依赖于预训练的生成器，也不需要用户提供编辑掩码。因此，它可以在各种物体和场景中对高分辨率自然图像和视频进行局部化的语义编辑。\n\n\n## 快速入门\n### 安装\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fomerbt\u002FText2LIVE.git\nconda create --name text2live python=3.9 \nconda activate text2live \npip install -r requirements.txt\n```\n\n### 下载示例图像和视频\n从 DAVIS 数据集下载示例图像和视频：\n```\ncd Text2LIVE\ngdown https:\u002F\u002Fdrive.google.com\u002Fuc?id=1osN4PlPkY9uk6pFqJZo8lhJUjTIpa80J&export=download\nunzip data.zip\n```\n这将创建一个名为 `data` 的文件夹：\n```\nText2LIVE\n├── ...\n├── data\n│   ├── pretrained_nla_models # NLA 模型存储于此\n│   ├── images # 示例图像\n│   └── videos # 来自 DAVIS 数据集的示例视频\n│         ├── car-turn # 包含视频帧\n│         ├── ...\n└── ...\n```\n为了在视频编辑中保持时间一致性，我们使用神经分层图谱（NLA）。预训练的 NLA 模型来自 \u003Ca href=\"https:\u002F\u002Flayered-neural-atlases.github.io\">这里\u003C\u002Fa>,并且已经放置在 `data` 文件夹中。\n\n### 运行示例 \n* 我们的方法旨在改变现有物体的纹理或通过半透明效果（如烟雾、火焰）来增强场景，而非添加新物体或显著偏离原始的空间布局。\n* 使用相同输入多次训练 **Text2LIVE** 可能会产生略有不同的结果。\n* CLIP 有时会对特定解决方案表现出偏好（参见论文中的图 9），因此稍微不同的文本提示可能会导致不同风格的编辑效果。\n\n\n所需的 GPU 内存取决于输入图像\u002F视频的大小，但配备 Tesla V100 32GB 显卡应该足够了 :).\n目前混合精度训练在过程中会带来一些不稳定，不过以后可以再加入。\n\n#### 视频编辑\n运行以下命令开始训练：\n```\npython train_video.py --example_config car-turn_winter.yaml\n```\n#### 图像编辑\n运行以下命令开始训练：\n```\npython train_image.py --example_config golden_horse.yaml\n```\n优化过程中，中间结果会保存到 `results` 文件夹中。保存中间结果的频率由配置文件中的 `log_images_freq` 标志指定。\n\n## 示例结果\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F22198039\u002F179797381-983e0453-2e5d-40e8-983d-578217b358e4.mov\n\n更多内容请参阅 [补充材料](https:\u002F\u002Ftext2live.github.io\u002Fsm\u002Findex.html)。\n\n\n## 引用\n```\n@inproceedings{bar2022text2live,\n  title={Text2live: Text-driven layered image and video editing},\n  author={Bar-Tal, Omer and Ofri-Amar, Dolev and Fridman, Rafail and Kasten, Yoni and Dekel, Tali},\n  booktitle={欧洲计算机视觉会议},\n  pages={707--723},\n  year={2022},\n  organization={Springer}\n}\n```","# Text2LIVE 快速上手指南\n\nText2LIVE 是一个基于文本驱动的图像和视频编辑工具，能够零样本（zero-shot）地修改现有对象的纹理（如改变材质）或为场景添加半透明特效（如烟、火、雪）。它无需预训练生成器，也无需用户提供编辑掩码，即可在高分辨率自然图像和视频中实现局部语义编辑。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: 3.9\n*   **PyTorch**: >= 1.10.0\n*   **GPU**: 推荐 Tesla V100 32GB 或同等显存大小的显卡（显存需求取决于输入图像\u002F视频分辨率）。\n*   **依赖项**: `git`, `conda`, `gdown` (用于下载数据)\n\n## 安装步骤\n\n### 1. 克隆项目并创建虚拟环境\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fomerbt\u002FText2LIVE.git\ncd Text2LIVE\nconda create --name text2live python=3.9 \nconda activate text2live \npip install -r requirements.txt\n```\n> **提示**: 国内用户若遇到 pip 下载慢的问题，可添加清华源加速：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 2. 下载示例数据与预训练模型\n本项目需要 DAVIS 数据集的样本以及预训练的 NLA (Neural Layered Atlases) 模型以保证视频编辑的时间一致性。\n\n```bash\n# 确保当前在 Text2LIVE 目录下\ngdown https:\u002F\u002Fdrive.google.com\u002Fuc?id=1osN4PlPkY9uk6pFqJZo8lhJUjTIpa80J&export=download\nunzip data.zip\n```\n*注：若无法访问 Google Drive，请自行寻找替代下载方式或手动下载后解压至项目根目录。解压后将自动生成 `data` 文件夹，包含 `images`、`videos` 及 `pretrained_nla_models`。*\n\n## 基本使用\n\nText2LIVE 通过读取配置文件中的文本提示（prompt）来驱动编辑过程。中间结果将保存在 `results` 文件夹中。\n\n### 视频编辑示例\n以下命令将加载 `car-turn` 视频示例，并根据配置文件中的文本提示（如添加冬季效果）进行训练和编辑：\n\n```bash\npython train_video.py --example_config car-turn_winter.yaml\n```\n\n### 图像编辑示例\n以下命令将对单张图像进行纹理编辑（例如将马变成金色）：\n\n```bash\npython train_image.py --example_config golden_horse.yaml\n```\n\n### 使用说明与注意事项\n*   **适用场景**: 适用于改变现有物体纹理或添加半透明特效。**不适用**于添加全新的物体或大幅改变原始空间布局。\n*   **结果差异**: 由于内部训练机制和 CLIP 模型的特性，即使使用相同的输入和提示词，多次运行也可能产生略有不同的结果。\n*   **显存优化**: 目前混合精度训练（mixed precision）可能导致不稳定，默认未开启。如遇显存不足，请尝试降低输入分辨率。","一位影视后期设计师需要为一段冬季行车素材快速添加“暴风雪”氛围，以匹配客户临时提出的叙事需求。\n\n### 没有 Text2LIVE 时\n- **手动逐帧绘制效率极低**：要在视频中添加半透明的风雪效果，传统流程需在每一帧上手动绘制遮罩或粒子特效，耗时数小时甚至数天。\n- **难以保持时序一致性**：手动添加的动态效果容易在帧与帧之间出现闪烁或抖动，破坏视频的自然流畅感。\n- **依赖高精度蒙版**：若只想让雪落在特定区域（如路面而非天空），必须预先制作精确的物体分割蒙版，增加了技术门槛和工作量。\n- **修改成本高昂**：一旦客户调整描述（例如从“小雪”改为“暴风雪”），几乎需要推翻重来，无法快速迭代。\n\n### 使用 Text2LIVE 后\n- **文本驱动一键生成**：只需输入\"heavy snowstorm\"（暴风雪）等提示词，Text2LIVE 即可自动在视频中生成逼真的半透明风雪层，无需逐帧操作。\n- **原生保障时序稳定**：工具内部利用神经分层图集（NLA）技术，自动确保生成的风雪效果在时间维度上平滑连续，无闪烁瑕疵。\n- **零蒙版语义编辑**：无需提供任何掩码，Text2LIVE 能理解语义，智能将风雪效果限定在合理区域，同时保留原始背景的高保真度。\n- **即时响应需求变更**：修改提示词即可实时重新渲染不同强度的雪景，让创意验证和方案调整在分钟级内完成。\n\nText2LIVE 通过将复杂的视频特效制作简化为自然的语言交互，彻底打破了传统后期流程中效率与灵活性的瓶颈。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_Text2LIVE_a2e3c226.png","omerbt","Omer Bar Tal","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fomerbt_66fbd24d.jpg",null,"Runway","omer234@gmail.com","omerbartal","https:\u002F\u002Fomerbt.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fomerbt",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,888,76,"2026-03-15T18:08:16","MIT","未说明","需要 NVIDIA GPU，推荐 Tesla V100 32GB（显存需求取决于输入图像\u002F视频大小），不支持混合精度训练",{"notes":94,"python":95,"dependencies":96},"需通过 conda 创建名为 text2live 的环境；首次运行需下载 DAVIS 数据集样本及预训练的 NLA 模型（位于 data 文件夹）；该方法主要用于改变现有物体纹理或添加半透明效果（如烟、火），不适用于添加新物体或大幅改变空间布局；训练结果可能因随机性略有不同。","3.9",[97,98,99],"PyTorch>=1.10.0","gdown","CLIP (预训练模型)",[15,43,61],[102,103,104,105,106,107,108,109,110,111],"eccv2022","image-editing","text2live","clip","generative-model","image-manipulation","video-editing","text-driven-editing","single-image","single-video","2026-03-27T02:49:30.150509","2026-04-07T13:27:25.840749",[115,120,124,129,134,138],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},22200,"运行训练脚本时遇到 'CUDA out of memory' 错误，显存不足怎么办？","当前实现需要较大的显存才能训练视频。根据官方回复，实验中使用的是具有 32GB 显存的 Tesla V100 显卡。如果您的显存较小（例如 5.78GB 或 8GB），则不足以运行该方法的训练过程。目前官方未提供降低显存占用（如卸载到内存）的解决方案，建议更换更高显存的 GPU 或使用预训练模型。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FText2LIVE\u002Fissues\u002F11",{"id":121,"question_zh":122,"answer_zh":123,"source_url":119},22201,"是否有办法在显存较小的情况下运行模型，或者能否发布预训练模型？","根据维护者回复，由于当前实现对显存要求较高（实验使用 32GB 显存的 Tesla V100），小显存显卡（如 5.78GB）无法进行视频训练。关于释放预训练模型或支持显存卸载（offloading to ram\u002Fswap）的功能，目前尚未在 Issue 中提供具体方案，建议关注项目更新或尝试使用其他低资源替代方案。",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},22202,"如何制作自己的检查点（checkpoints）以生成自定义视频？","要制作自己的 NLA（Layered Neural Atlases）检查点，请遵循原始 NLA 仓库中描述的步骤。参考链接：https:\u002F\u002Fgithub.com\u002Fykasten\u002Flayered-neural-atlases 。完成该步骤后，即可用于生成自定义视频。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FText2LIVE\u002Fissues\u002F14",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},22203,"在 Windows 上使用 RTX 3060 Ti (8GB) 运行时出现 CUDA 显存溢出，设置 max_split_size_mb 有用吗？","该问题本质上仍是显存不足导致的。维护者指出，请参考 Issue #11，您的 GPU 显存（8GB）不足以运行该方法。虽然可以通过设置环境变量 `os.environ[\"PYTORCH_CUDA_ALLOC_CONF\"] = \"max_split_size_mb:1024\"` 尝试优化内存分配碎片，但这无法解决根本的显存容量不足问题，建议升级至更大显存的 GPU。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FText2LIVE\u002Fissues\u002F13",{"id":135,"question_zh":136,"answer_zh":137,"source_url":119},22204,"运行脚本时出现 torch.meshgrid 警告，是否需要处理？","该警告提示在未来的 PyTorch 版本中将必须传递 indexing 参数。虽然目前不影响运行，但建议在代码中找到 `torch.meshgrid(tensors, **kwargs)` 调用处，显式添加 indexing 参数（如 `indexing='ij'` 或 `indexing='xy'`）以消除警告并确保未来兼容性。",{"id":139,"question_zh":140,"answer_zh":141,"source_url":133},22205,"运行过程中出现关于 nn.Upsample 的 align_corners 警告，该如何修复？","自 PyTorch 0.4.0 起，当 mode 为 bilinear 或 bicubic 时，默认的上采样行为已更改为 align_corners=False。如果希望保留旧行为，请在代码中查找 `nn.Upsample` 相关调用，并显式指定 `align_corners=True` 参数。",[]]