[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Haian-Jin--LVSM":3,"tool-Haian-Jin--LVSM":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":94,"env_os":95,"env_gpu":96,"env_ram":95,"env_deps":97,"category_tags":104,"github_topics":105,"view_count":23,"oss_zip_url":105,"oss_zip_packed_at":105,"status":16,"created_at":106,"updated_at":107,"faqs":108,"releases":144},3969,"Haian-Jin\u002FLVSM","LVSM","[ICLR 2025 Oral] Official code for \"LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias\"","LVSM 是一款荣获 ICLR 2025 Oral 的开源视图合成模型，旨在通过极少的 3D 归纳偏置实现高质量的场景新视角生成。传统方法往往依赖复杂的几何先验或特定的 3D 结构假设，限制了其在多样化场景中的泛化能力；而 LVSM 创新性地采用大规模数据驱动策略，仅凭少量输入图像即可推理出逼真的新视角画面，有效解决了复杂场景下视图合成灵活性不足与泛化性差的难题。\n\n该工具特别适合计算机视觉领域的研究人员、AI 开发者以及对三维重建和沉浸式内容创作感兴趣的技术人员使用。无论是学术探索还是工程落地，LVSM 都提供了 Decoder-Only 和 Encoder-Decoder 两种架构选择，并支持不同分辨率的微调，方便用户根据具体需求进行定制。其核心技术亮点在于“最小化 3D 归纳偏置”的设计理念，让模型直接从数据中学习空间关系，而非人为强加几何约束，从而在 RealEstate10K 等基准测试中取得了领先的性能表现（如 PSNR 达 29.67）。目前官方已提供预训练权重和复现代码，只需具备计算能力大于 8.0 的 GPU 即可快速上手体验这一前沿成果。","\u003Cdiv align=\"center\">\n\n# LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias \n\n### ICLR 2025 (Oral)\n\n\u003Cp align=\"center\">  \n    \u003Ca href=\"https:\u002F\u002Fhaian-jin.github.io\u002F\">Haian Jin\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fhwjiang1510.github.io\u002F\">Hanwen Jiang\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fwww.cs.unc.edu\u002F~airsplay\u002F\">Hao Tan\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fkai-46.github.io\u002Fwebsite\u002F\">Kai Zhang\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fsai-bi.github.io\u002F\">Sai Bi\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Ftianyuanzhang.com\u002F\">Tianyuan Zhang\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fluanfujun.com\u002F\">Fujun Luan\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fwww.cs.cornell.edu\u002F~snavely\u002F\">Noah Snavely\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fzexiangxu.github.io\u002F\">Zexiang Xu\u003C\u002Fa>\n\n\u003C\u002Fp>\n\n\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fhaian-jin.github.io\u002Fprojects\u002FLVSM\u002F\">\u003Cstrong>Project Page\u003C\u002Fstrong>\u003C\u002Fa> |\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.17242\">\u003Cstrong>Paper\u003C\u002Fstrong>\u003C\u002Fa> \n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n\n## 0. Clarification\n\nThis is the **official repository** for the paper _\"LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias\"_.\n\nThe code here is a **re-implementation** and **differs** from the original version developed at Adobe. However, the provided checkpoints are from the original Adobe implementation and were trained inside Adobe.\n\nWe have verified that the re-implemented version matches the performance of the original. For any questions or issues, please contact Haian Jin at [haianjin0415@gmail.com](mailto:haianjin0415@gmail.com).\n\n---\n\n\n\n## 1. Preparation\n\n### Environment\n```\nconda create -n LVSM python=3.11\nconda activate LVSM\npip install -r requirements.txt\n```\nAs we used [xformers](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers) `memory_efficient_attention`, the GPU device compute capability needs > 8.0. Otherwise, it would pop up an error. Check your GPU compute capability in [CUDA GPUs Page](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-gpus#compute).\n\n### Data\nDownload the RealEstate10K dataset from [this link](http:\u002F\u002Fschadenfreude.csail.mit.edu:8000\u002F), which is provided by [pixelSplat](https:\u002F\u002Fgithub.com\u002Fdcharatan\u002Fpixelsplat), and `unzip` the zip file and put the data in `YOUR_RAW_DATAPATH`.\nRun the following command to preprocess the data into our format.\n```bash\npython process_data.py --base_path YOUR_RAW_DATAPATH --output_dir YOUR_PROCESSED_DATAPATH --mode ['train' or 'test']\n```\n\n### Checkpoints\nThe scene-level evaluation is conducted on the [RealEstate10K](http:\u002F\u002Fschadenfreude.csail.mit.edu:8000\u002F) dataset prepocessed by [pixelSplat](https:\u002F\u002Fgithub.com\u002Fdcharatan\u002Fpixelsplat). The model checkpoints are host on [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Ftree\u002Fmain). \n\n| Model | PSNR  | SSIM  | LPIPS |\n| ----- | ----- | ----- | ----- |\n| [LVSM Decoder-Only Scene-Level res256×256 (full)](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fresolve\u002Fmain\u002Fscene_decoder_only_256.pt?download=true) | 29.67 | 0.906 | 0.098 |\n| [LVSM Encoder-Decoder Scene-Level res256×256 (full)](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fresolve\u002Fmain\u002Fscene_encoder_decoder_256.pt?download=true) | 28.60 | 0.893 | 0.114 |\n| [LVSM Decoder-Only Scene-Level res512×512](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fblob\u002Fmain\u002Flvsm_scene_decoder_only_res512.pt) | N\u002FA | N\u002FA | N\u002FA |\n| [LVSM Encoder-Decoder Scene-Level res512×512](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fblob\u002Fmain\u002Flvsm_scene_encoder_decoder_res512.pt) | N\u002FA | N\u002FA | N\u002FA |\n\nAs we discussed in the limitation sections of this paper:\n\n>Our model’s performance degrades when provided with images with aspect ratios and resolutions different from those seen during training.\n\nTherefore, if you plan to use the model for inference at resolutions or aspect ratios different from those used to train our provided checkpoints (256×256 or 512×512), we recommend fine-tuning the model for the specific resolution and aspect ratio.\n\n\n\n## 2. Training\n\nBefore training, you need to follow the instructions [here](https:\u002F\u002Fdocs.wandb.ai\u002Fguides\u002Ftrack\u002Fpublic-api-guide\u002F#:~:text=You%20can%20generate%20an%20API,in%20the%20upper%20right%20corner.) to generate the Wandb key file for logging and save it in the `configs` folder as `api_keys.yaml`. You can use the `configs\u002Fapi_keys_example.yaml` as a template.\n\nThe original training command:\n```bash\ntorchrun --nproc_per_node 8 --nnodes 8 \\\n    --rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29502 \\\n    train.py --config configs\u002FLVSM_scene_decoder_only.yaml\n```\nThe training will be distributed across 8 GPUs and 8 nodes with a total batch size of 512.\n`LVSM_scene_decoder_only.yaml` is the config file for the scene-level Decoder-Only LVSM model. You can also use `LVSM_scene_encoder_decoder.yaml` for the training of the scene-level Encoder-Decoder LVSM model.\n\nIf you have limited resources, you can use the following command to train a smaller model with a smaller batch size:\n```bash\ntorchrun --nproc_per_node 8 --nnodes 1 \\\n    --rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29502 \\\n    train.py --config configs\u002FLVSM_scene_decoder_only.yaml \\\n    model.transformer.n_layer = 12 \\\n    training.batch_size_per_gpu = 16\n\n```\nHere, we decrease the total batch size from 512 to 128, and the transformer layers from 24 to 12. You can also increase the patch-size from 8 to 16 for faster training with lower performance. \nWe have also discussed the efficient settings (single\u002Ftwo GPU training) in the paper.\n\n\n## 3. Inference\n\n```bash\ntorchrun --nproc_per_node 8 --nnodes 1 \\\n--rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29506 \\\ninference.py --config \"configs\u002FLVSM_scene_decoder_only.yaml\" \\\ntraining.dataset_path = \".\u002Fpreprocessed_data\u002Ftest\u002Ffull_list.txt\" \\\ntraining.batch_size_per_gpu = 4 \\\ntraining.target_has_input =  false \\\ntraining.num_views = 5 \\\ntraining.square_crop = true \\\ntraining.num_input_views = 2 \\\ntraining.num_target_views = 3 \\\ninference.if_inference = true \\\ninference.compute_metrics = true \\\ninference.render_video = true \\\ninference_out_dir = .\u002Fexperiments\u002Fevaluation\u002Ftest\n```\nWe use `.\u002Fdata\u002Fevaluation_index_re10k.json` to specify the input and target view indice. This json file is originally from [pixelSplat](https:\u002F\u002Fgithub.com\u002Fdcharatan\u002Fpixelsplat). \n\nAfter the inference, the code will generate a html file in the `inference_out_dir` folder. You can open the html file to view the results.\n\n## 4. Citation \n\nIf you find this work useful in your research, please consider citing:\n\n```bibtex\n@inproceedings{\njin2025lvsm,\ntitle={LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias},\nauthor={Haian Jin and Hanwen Jiang and Hao Tan and Kai Zhang and Sai Bi and Tianyuan Zhang and Fujun Luan and Noah Snavely and Zexiang Xu},\nbooktitle={The Thirteenth International Conference on Learning Representations},\nyear={2025},\nurl={https:\u002F\u002Fopenreview.net\u002Fforum?id=QQBPWtvtcn}\n}\n```\n\n## 5. Acknowledgement\nWe thank Kalyan Sunkavalli for helpful discussions and support. This work was done when Haian Jin, Hanwen Jiang, and Tianyuan Zhang were research interns at Adobe Research.  This work was also partly funded by the National Science Foundation (IIS-2211259, IIS-2212084).\n\n","\u003Cdiv align=\"center\">\n\n# LVSM：一种具有极小三维归纳偏置的大规模视图合成模型\n\n### ICLR 2025（口头报告）\n\n\u003Cp align=\"center\">  \n    \u003Ca href=\"https:\u002F\u002Fhaian-jin.github.io\u002F\">金海安\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fhwjiang1510.github.io\u002F\">江瀚文\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fwww.cs.unc.edu\u002F~airsplay\u002F\">谭浩\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fkai-46.github.io\u002Fwebsite\u002F\">张凯\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fsai-bi.github.io\u002F\">毕赛\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Ftianyuanzhang.com\u002F\">张天元\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fluanfujun.com\u002F\">栾福军\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fwww.cs.cornell.edu\u002F~snavely\u002F\">诺亚·斯纳维利\u003C\u002Fa>,\n    \u003Ca href=\"https:\u002F\u002Fzexiangxu.github.io\u002F\">徐泽翔\u003C\u002Fa>\n\n\u003C\u002Fp>\n\n\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fhaian-jin.github.io\u002Fprojects\u002FLVSM\u002F\">\u003Cstrong>项目页面\u003C\u002Fstrong>\u003C\u002Fa> |\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.17242\">\u003Cstrong>论文\u003C\u002Fstrong>\u003C\u002Fa> \n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n\n## 0. 说明\n\n这是论文 _\"LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias\"_ 的**官方仓库**。\n\n这里的代码是**重新实现**的，与Adobe开发的原始版本**不同**。不过，我们提供的检查点来自Adobe的原始实现，并且是在Adobe内部训练得到的。\n\n我们已经验证过，重新实现的版本在性能上与原始版本一致。如有任何疑问或问题，请联系金海安，邮箱地址为 [haianjin0415@gmail.com](mailto:haianjin0415@gmail.com)。\n\n---\n\n\n\n## 1. 准备工作\n\n### 环境\n```\nconda create -n LVSM python=3.11\nconda activate LVSM\npip install -r requirements.txt\n```\n由于我们使用了 [xformers](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers) 的 `memory_efficient_attention`，因此GPU设备的计算能力需要大于8.0。否则会报错。请在 [CUDA GPUs 页面](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-gpus#compute) 上查看你的GPU计算能力。\n\n### 数据\n从[这个链接](http:\u002F\u002Fschadenfreude.csail.mit.edu:8000\u002F)下载RealEstate10K数据集，该数据集由[pixelSplat](https:\u002F\u002Fgithub.com\u002Fdcharatan\u002Fpixelsplat)提供。解压zip文件后，将数据放入 `YOUR_RAW_DATAPATH` 目录中。然后运行以下命令，将数据预处理为我们所需的格式。\n```bash\npython process_data.py --base_path YOUR_RAW_DATAPATH --output_dir YOUR_PROCESSED_DATAPATH --mode ['train' or 'test']\n```\n\n### 检查点\n场景级别的评估是在由[pixelSplat](https:\u002F\u002Fgithub.com\u002Fdcharatan\u002Fpixelsplat)预处理过的[RealEstate10K](http:\u002F\u002Fschadenfreude.csail.mit.edu:8000\u002F)数据集上进行的。模型检查点托管在[HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Ftree\u002Fmain)上。\n\n| 模型 | PSNR  | SSIM  | LPIPS |\n| ----- | ----- | ----- | ----- |\n| [LVSM 解码器-only 场景级 res256×256（完整）](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fresolve\u002Fmain\u002Fscene_decoder_only_256.pt?download=true) | 29.67 | 0.906 | 0.098 |\n| [LVSM 编码器-解码器 场景级 res256×256（完整）](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fresolve\u002Fmain\u002Fscene_encoder_decoder_256.pt?download=true) | 28.60 | 0.893 | 0.114 |\n| [LVSM 解码器-only 场景级 res512×512](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fblob\u002Fmain\u002Flvsm_scene_decoder_only_res512.pt) | N\u002FA | N\u002FA | N\u002FA |\n| [LVSM 编码器-解码器 场景级 res512×512](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fblob\u002Fmain\u002Flvsm_scene_encoder_decoder_res512.pt) | N\u002FA | N\u002FA | N\u002FA |\n\n正如我们在论文的局限性部分所讨论的：\n\n>当输入图像的宽高比和分辨率与训练时使用的不同，我们的模型性能会下降。\n\n因此，如果你计划在不同于我们提供的检查点训练分辨率和宽高比（256×256或512×512）的情况下使用该模型进行推理，我们建议针对特定的分辨率和宽高比对模型进行微调。\n\n\n\n## 2. 训练\n\n在开始训练之前，你需要按照[这里](https:\u002F\u002Fdocs.wandb.ai\u002Fguides\u002Ftrack\u002Fpublic-api-guide\u002F#:~:text=You%20can%20generate%20an%20API,in%20the%20upper%20right%20corner.)的说明生成Wandb密钥文件用于日志记录，并将其保存到 `configs` 文件夹中，命名为 `api_keys.yaml`。你可以以 `configs\u002Fapi_keys_example.yaml` 作为模板。\n\n原始训练命令：\n```bash\ntorchrun --nproc_per_node 8 --nnodes 8 \\\n    --rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29502 \\\n    train.py --config configs\u002FLVSM_scene_decoder_only.yaml\n```\n训练将在8个GPU和8个节点上分布式进行，总批量大小为512。`LVSM_scene_decoder_only.yaml` 是场景级Decoder-Only LVSM模型的配置文件。你也可以使用 `LVSM_scene_encoder_decoder.yaml` 来训练场景级Encoder-Decoder LVSM模型。\n\n如果你的资源有限，可以使用以下命令来训练一个更小的模型，采用较小的批量：\n```bash\ntorchrun --nproc_per_node 8 --nnodes 1 \\\n    --rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29502 \\\n    train.py --config configs\u002FLVSM_scene_decoder_only.yaml \\\n    model.transformer.n_layer = 12 \\\n    training.batch_size_per_gpu = 16\n\n```\n在这里，我们将总批量从512减少到128，同时将Transformer层数从24层减少到12层。你还可以将patch-size从8增加到16，以提高训练速度，但性能会有所降低。我们在论文中也讨论了高效的设置（单\u002F双GPU训练）。\n\n\n\n## 3. 推理\n\n```bash\ntorchrun --nproc_per_node 8 --nnodes 1 \\\n--rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29506 \\\ninference.py --config \"configs\u002FLVSM_scene_decoder_only.yaml\" \\\ntraining.dataset_path = \".\u002Fpreprocessed_data\u002Ftest\u002Ffull_list.txt\" \\\ntraining.batch_size_per_gpu = 4 \\\ntraining.target_has_input =  false \\\ntraining.num_views = 5 \\\ntraining.square_crop = true \\\ntraining.num_input_views = 2 \\\ntraining.num_target_views = 3 \\\ninference.if_inference = true \\\ninference.compute_metrics = true \\\ninference.render_video = true \\\ninference_out_dir = .\u002Fexperiments\u002Fevaluation\u002Ftest\n```\n我们使用 `.\u002Fdata\u002Fevaluation_index_re10k.json` 来指定输入和目标视图的索引。这个json文件最初是由[pixelSplat](https:\u002F\u002Fgithub.com\u002Fdcharatan\u002Fpixelsplat)提供的。\n\n推理完成后，代码会在 `inference_out_dir` 文件夹中生成一个html文件。你可以打开该html文件查看结果。\n\n## 4. 引用 \n\n如果你的研究中使用了这项工作，请考虑引用以下内容：\n\n```bibtex\n@inproceedings{\njin2025lvsm,\ntitle={LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias},\nauthor={Haian Jin and Hanwen Jiang and Hao Tan and Kai Zhang and Sai Bi and Tianyuan Zhang and Fujun Luan and Noah Snavely and Zexiang Xu},\nbooktitle={The Thirteenth International Conference on Learning Representations},\nyear={2025},\nurl={https:\u002F\u002Fopenreview.net\u002Fforum?id=QQBPWtvtcn}\n}\n```\n\n## 5. 致谢\n我们感谢Kalyan Sunkavalli提供的有益讨论和支持。本工作完成时，金海安、蒋翰文和张天元均为Adobe Research的研究实习生。此外，本研究还得到了美国国家科学基金会的部分资助（项目编号：IIS-2211259、IIS-2212084）。","# LVSM 快速上手指南\n\nLVSM (Large View Synthesis Model) 是一个具有最小 3D 归纳偏置的大型视图合成模型，适用于从少量输入图像生成新视角的场景级渲染任务。\n\n## 1. 环境准备\n\n### 系统要求\n- **Python**: 3.11\n- **GPU**: 计算能力 (Compute Capability) 必须 **> 8.0** (如 RTX 3090, A100 等)，因为模型依赖 `xformers` 的 `memory_efficient_attention`。\n- **显存**: 建议单卡显存充足，分布式训练需多卡支持。\n\n### 前置依赖\n确保已安装 CUDA 和对应的 NVIDIA 驱动。\n\n## 2. 安装步骤\n\n### 创建虚拟环境并安装依赖\n```bash\nconda create -n LVSM python=3.11\nconda activate LVSM\npip install -r requirements.txt\n```\n> **提示**: 如果 `pip` 下载速度慢，可添加国内镜像源加速：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 数据准备\n1. 从 [RealEstate10K 数据集链接](http:\u002F\u002Fschadenfreude.csail.mit.edu:8000\u002F) 下载数据（由 pixelSplat 提供）。\n2. 解压文件至自定义路径 `YOUR_RAW_DATAPATH`。\n3. 运行以下命令预处理数据：\n```bash\npython process_data.py --base_path YOUR_RAW_DATAPATH --output_dir YOUR_PROCESSED_DATAPATH --mode 'train'\n# 测试集请将 mode 改为 'test'\n```\n\n### 下载预训练模型\n从 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Ftree\u002Fmain) 下载检查点。推荐场景级解码器模型 (Decoder-Only)：\n- **256x256 分辨率**: [下载链接](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fresolve\u002Fmain\u002Fscene_decoder_only_256.pt?download=true)\n- **512x512 分辨率**: [下载链接](https:\u002F\u002Fhuggingface.co\u002Fcoast01\u002FLVSM\u002Fblob\u002Fmain\u002Flvsm_scene_decoder_only_res512.pt)\n\n> **注意**: 模型对分辨率和长宽比敏感。若需使用非训练分辨率（非 256 或 512），建议先进行微调。\n\n## 3. 基本使用 (推理示例)\n\n以下命令演示如何使用预训练模型在测试集上进行推理、评估指标计算并生成可视化视频。\n\n**前提**: 确保已配置好预处理后的数据路径，并修改命令中的 `training.dataset_path` 指向你的测试列表文件（如 `.\u002Fpreprocessed_data\u002Ftest\u002Ffull_list.txt`）。\n\n```bash\ntorchrun --nproc_per_node 8 --nnodes 1 \\\n--rdzv_id 18635 --rdzv_backend c10d --rdzv_endpoint localhost:29506 \\\ninference.py --config \"configs\u002FLVSM_scene_decoder_only.yaml\" \\\ntraining.dataset_path = \".\u002Fpreprocessed_data\u002Ftest\u002Ffull_list.txt\" \\\ntraining.batch_size_per_gpu = 4 \\\ntraining.target_has_input =  false \\\ntraining.num_views = 5 \\\ntraining.square_crop = true \\\ntraining.num_input_views = 2 \\\ntraining.num_target_views = 3 \\\ninference.if_inference = true \\\ninference.compute_metrics = true \\\ninference.render_video = true \\\ninference_out_dir = .\u002Fexperiments\u002Fevaluation\u002Ftest\n```\n\n**结果查看**:\n运行完成后，会在 `inference_out_dir` 指定目录生成一个 HTML 文件。直接在浏览器中打开该文件即可查看渲染结果对比和视频。\n\n> **资源受限用户**: 若显存不足，可减少 `--nproc_per_node` 数量（如改为 1 或 2），并相应调小 `training.batch_size_per_gpu`。","某虚拟现实内容团队正在为房地产平台构建沉浸式看房功能，需要从有限的室内照片生成任意角度的连续视角视频。\n\n### 没有 LVSM 时\n- **视角僵硬受限**：传统方法依赖强 3D 几何先验，一旦摄像头移动角度超出训练数据范围，生成的画面就会出现严重撕裂或模糊。\n- **数据成本高昂**：为了覆盖各种户型和光照，必须采集海量多视角图像数据进行针对性训练，数据采集与清洗周期长达数周。\n- **泛化能力薄弱**：模型难以适应未见过的房间布局或不同长宽比的输入图片，每遇到新场景往往需要重新微调模型。\n- **细节丢失严重**：在复杂纹理（如地毯花纹、装饰画）区域，合成结果往往过度平滑，缺乏真实感，无法满足高清展示需求。\n\n### 使用 LVSM 后\n- **自由视角合成**：凭借极少的 3D 归纳偏置设计，LVSM 能基于少量输入图像，流畅生成任意新奇视角的清晰画面，彻底打破视角限制。\n- **大幅降低数据依赖**：利用在 RealEstate10K 等大规模数据集上预训练的权重，团队无需针对每个新房型重新采集大量数据，即可直接推理。\n- **强大的场景适应性**：模型展现出卓越的泛化能力，能够轻松处理不同户型结构及分辨率的输入，显著减少了特定场景的微调工作。\n- **高保真纹理还原**：生成的视图在 PSNR 和 SSIM 指标上表现优异，完美保留了墙面材质、家具细节等高频信息，视觉体验接近实拍。\n\nLVSM 通过最小化 3D 先验约束，让开发者仅凭少量照片即可低成本构建出高保真、可自由探索的虚拟空间。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHaian-Jin_LVSM_f3d06acb.png","Haian-Jin","Haian Jin","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHaian-Jin_1b8502fb.jpg","CS Ph.D. student at Cornell University","Cornell University","New York, US","haianjin0415@gmail.com","Haian_Jin","https:\u002F\u002Fhaian-jin.github.io\u002F","https:\u002F\u002Fgithub.com\u002FHaian-Jin",[86],{"name":87,"color":88,"percentage":89},"Python","#3572A5",100,521,28,"2026-04-01T14:54:57","NOASSERTION",4,"未说明","必需 NVIDIA GPU，计算能力 (Compute Capability) > 8.0 (如 A100, RTX 3090\u002F4090 等)，因使用了 xformers 的 memory_efficient_attention。训练推荐多卡环境（原文示例为 8 卡），显存需求未明确具体数值但高分辨率训练需大显存。",{"notes":98,"python":99,"dependencies":100},"1. 必须使用计算能力大于 8.0 的 GPU，否则会报错。2. 代码是原始 Adobe 版本的重实现，但提供的检查点来自原始实现。3. 模型在训练时见过的分辨率和长宽比（256x256 或 512x512）下表现最佳，若用于其他规格推理建议微调。4. 训练和推理均使用 torchrun 进行分布式启动。5. 需自行下载 RealEstate10K 数据集并按脚本预处理。6. 训练前需配置 Wandb API Key。","3.11",[101,102,103],"xformers","torch","wandb",[14,37],null,"2026-03-27T02:49:30.150509","2026-04-06T07:15:07.473859",[109,114,119,124,129,134,139],{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},18121,"训练时显存占用较低（如仅 24GB）是否正常？是否应该增大 batch size 以充分利用资源？","这是正常现象。作者在使用 40GB 显存的 A100 GPU 进行实验时，也未完全占满显存。关键在于 GPU 利用率（utilization rate）在大部分时间达到了 100%。在这种情况下，强行增大 batch size 反而会导致训练速度变慢。为了最大化训练速度，作者选择了较小的 batch size 并分布在更多的 GPU 节点上进行训练。用户可以根据自身硬件配置在 GPU 数量和训练时间之间进行权衡调整。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F24",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},18122,"在 Objaverse 数据集上进行物体级训练时，遇到梯度爆炸（grad norm too large）或坐标系问题该如何解决？","物体级训练不需要复用场景级（RealEstate10K）的相机姿态预处理流程（如 `preprocess_poses`）。场景级训练中的归一化步骤在物体级数据渲染时通常已完成。建议检查渲染时的姿态分布，或直接注释掉 dataloader 中的姿态预处理代码（例如 `input_c2ws = self.preprocess_poses(...)`）。此外，开启 qk-norm 有助于稳定训练。如果梯度范数没有剧烈爆炸（例如保持在 20 以下）且模型性能未显著下降，可以忽略相关的警告信息。若问题依旧，可尝试降低学习率峰值（例如从 0.0004 降至 0.00005）。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F6",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},18123,"相机外参平移向量（translation vectors）的最佳归一化策略是什么？使用最大值还是均值？","推荐使用“先去中心化，再按最大值缩放”的策略。具体步骤是：首先减去平均平移量以重新设定坐标原点，然后使用数据集中最大的平移值进行缩放，将所有值限制在固定范围内（如 [-1, 1]）。虽然在多视图情况下按均值归一化可能对异常值更鲁棒，但在 LVSM 这种稀疏输入（通常 2-4 视图）的新视角合成任务中，单个远距离相机往往主导了尺度，因此按最大值缩放能提供更好的训练稳定性。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F21",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},18124,"安装依赖时遇到 `imageio` 和 `scikit-image` 版本冲突报错怎么办？","这是因为 `scikit-image` 0.23.2 版本需要 `imageio>=2.33`，而原配置文件锁定了旧版本。解决方法是修改 `requirements.txt`，将相关包的版本更新为：`imageio==2.33.0` 和 `imageio-ffmpeg==0.5.0`。修改后重新创建环境即可成功导入库并运行训练脚本。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F4",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},18125,"生成非正方形（横屏\u002F竖屏）视频时出现水平伪影（horizontal artifact）的原因是什么？","这通常是因为输入的两个视图的相机姿态（camera poses）不准确导致的，而非单纯的宽高比问题。建议检查输入数据的姿态估计精度。另外，也有用户发现左右手坐标系不一致会导致此类问题，尝试对姿态数据乘以 `[-1, 1, 1]` 进行坐标系转换后解决了该问题。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F7",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},18126,"为什么模型实现中没有使用位置编码（Positional Encoding）？","位置编码常用于编码 3D 坐标（如 NeRF），但在基于姿态条件控制的图像合成模型中，直接利用姿态信息作为条件并不像 NeRF 那样普遍依赖位置编码。在该工作的设定下，不使用位置编码也能达到良好的效果。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F13",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},18127,"如何获取论文中使用的 Objaverse 数据集上的物体级检查点（checkpoints）？","社区用户曾请求发布在 Objaverse 数据集上训练的物体级检查点。虽然维护者未直接在 Issue 中提供下载链接，但确认了白色背景下的物体级渲染是可行的标准做法。建议关注项目主页更新或查看是否有后续的模型释放公告。","https:\u002F\u002Fgithub.com\u002FHaian-Jin\u002FLVSM\u002Fissues\u002F2",[]]