[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Fyusion--LLFF":3,"tool-Fyusion--LLFF":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":76,"owner_url":77,"languages":78,"stars":115,"forks":116,"last_commit_at":117,"license":118,"difficulty_score":10,"env_os":119,"env_gpu":120,"env_ram":121,"env_deps":122,"category_tags":131,"github_topics":132,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":137,"updated_at":138,"faqs":139,"releases":178},8141,"Fyusion\u002FLLFF","LLFF","Code release for Local Light Field Fusion at SIGGRAPH 2019","LLFF（Local Light Field Fusion）是一款基于深度学习的开源工具，旨在从少量稀疏拍摄的照片中合成高质量的新视角图像或视频。它主要解决了传统光场渲染需要密集采样（即拍摄大量照片）的痛点，让用户仅凭几张不同角度的输入图片，就能生成流畅、逼真的中间视角画面，从而实现“自由视角”的浏览体验。\n\n该工具特别适合计算机视觉研究人员、图形学开发者以及希望探索前沿视图合成技术的创作者使用。虽然其部署涉及 CUDA、TensorFlow 和 COLMAP 等技术栈，对普通用户有一定门槛，但它提供了 Docker 容器化方案，大大简化了环境配置流程。\n\nLLFF 的核心技术亮点在于其提出的“局部光场融合”算法及配套的规范性采样指南。不同于端到端的黑盒生成，该方法通过构建多平面图像（MPI）表示场景几何与纹理，能够更稳健地处理遮挡关系并保留高频细节。作为 SIGGRAPH 2019 的获奖成果，LLFF 不仅在学术上具有重要参考价值，也为虚拟现实、全景漫游等应用提供了实用的技术基线。","\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_d6861ec63a29.gif' align=\"right\" height=\"120px\">\n\n\u003Cbr>\u003Cbr>\u003Cbr>\u003Cbr>\n\n# Local Light Field Fusion\n### [Project](https:\u002F\u002Fbmild.github.io\u002Fllff) | [Video](https:\u002F\u002Fyoutu.be\u002FLY6MgDUzS3M) | [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F1905.00889) \n\nTensorflow implementation for novel view synthesis from sparse input images.\u003Cbr>\u003Cbr>\n[Local Light Field Fusion: Practical View Synthesis \nwith Prescriptive Sampling Guidelines](https:\u002F\u002Fbmild.github.io\u002Fllff)  \n [Ben Mildenhall](https:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~bmild\u002F)\\*\u003Csup>1\u003C\u002Fsup>, \n [Pratul Srinivasan](https:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~pratul\u002F)\\*\u003Csup>1\u003C\u002Fsup>, \n [Rodrigo Ortiz-Cayon](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=yZMAlU4AAAAJ)\u003Csup>2\u003C\u002Fsup>, \n [Nima Khademi Kalantari](http:\u002F\u002Ffaculty.cs.tamu.edu\u002Fnimak\u002F)\u003Csup>3\u003C\u002Fsup>, \n [Ravi Ramamoorthi](http:\u002F\u002Fcseweb.ucsd.edu\u002F~ravir\u002F)\u003Csup>4\u003C\u002Fsup>, \n [Ren Ng](https:\u002F\u002Fwww2.eecs.berkeley.edu\u002FFaculty\u002FHomepages\u002Fyirenng.html)\u003Csup>1\u003C\u002Fsup>, \n [Abhishek Kar](https:\u002F\u002Fabhishekkar.info\u002F)\u003Csup>2\u003C\u002Fsup>  \n \u003Csup>1\u003C\u002Fsup>UC Berkeley, \u003Csup>2\u003C\u002Fsup>Fyusion Inc, \u003Csup>3\u003C\u002Fsup>Texas A&M, \u003Csup>4\u003C\u002Fsup>UC San Diego  \n  \\*denotes equal contribution  \n  In SIGGRAPH 2019\n  \n\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_3e185e29c4e2.jpg'\u002F>\n\n## Table of Contents\n\n  * [Installation TL;DR: Setup and render a demo scene](#installation-tldr-setup-and-render-a-demo-scene)\n  * [Full Installation Details](#full-installation-details)\n    * [Manual installation](#manual-installation)\n    * [Docker installation](#docker-installation)\n  * [Using your own input images for view synthesis](#using-your-own-input-images-for-view-synthesis)\n    * [Quickstart: rendering a video from a zip file of your images](#quickstart-rendering-a-video-from-a-zip-file-of-your-images)\n  * [General step-by-step usage](#general-step-by-step-usage)\n    * [1. Recover camera poses](#1-recover-camera-poses)\n    * [2. Generate MPIs](#2-generate-mpis)\n    * [3. Render novel views](#3-render-novel-views)\n  * [Using your own poses without running COLMAP](#using-your-own-poses-without-running-colmap)\n  * [Troubleshooting](#troubleshooting)\n  * [Citation](#citation)\n\n## Installation TL;DR: Setup and render a demo scene\n\nFirst install `docker` ([instructions](https:\u002F\u002Fdocs.docker.com\u002Finstall\u002Flinux\u002Fdocker-ce\u002Fubuntu\u002F)) and `nvidia-docker` ([instructions](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fnvidia-docker)).\n\nRun this in the base directory to download a pretrained checkpoint, download a Docker image, and run code to generate MPIs and a rendered output video on an example input dataset:\n```\nbash download_data.sh\nsudo docker pull bmild\u002Ftf_colmap\nsudo docker tag bmild\u002Ftf_colmap tf_colmap\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap bash demo.sh\n```\nA video like this should be output to `data\u002Ftestscene\u002Foutputs\u002Ftest_vid.mp4`:  \n\u003C\u002Fbr>\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_2a53b3094ca7.gif'\u002F>\n\nIf this works, then you are ready to start processing your own images! Run\n```\nsudo nvidia-docker run -it --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap\n```\nto enter a shell inside the Docker container, and [skip ahead](#using-your-own-input-images-for-view-synthesis) to the section on using your own input images for view synthesis.\n\n## Full Installation Details\n\nYou can either install the prerequisites by hand or use our provided Dockerfile to make a docker image.\n\nIn either case, start by downloading this repository, then running the `download_data.sh` script to download a pretrained model and example input dataset:\n```\nbash download_data.sh\n```\nAfter installing dependencies, try running `bash demo.sh` from the base directory. (If using Docker, run this inside the container.) This should generate the video shown in the *Installation TL;DR* section at `data\u002Ftestscene\u002Foutputs\u002Ftest_vid.mp4`.\n\n### Manual installation\n\n- Install CUDA, Tensorflow, COLMAP, ffmpeg\n- Install the required Python packages:\n```\npip install -r requirements.txt\n```\n- Optional: run `make` in `cuda_renderer\u002F` directory.\n- Optional: run `make` in `opengl_viewer\u002F` directory. You may need to install GLFW or some other OpenGL libraries. For GLFW:\n```\nsudo apt-get install libglfw3-dev\n```\n\n\n### Docker installation\n\nTo build the docker image on your own machine, which may take 15-30 mins:\n```\nsudo docker build -t tf_colmap:latest .\n```\nTo download the image (~6GB) instead:\n```\nsudo docker pull bmild\u002Ftf_colmap\nsudo docker tag bmild\u002Ftf_colmap tf_colmap\n```\n\nAfterwards, you can launch an interactive shell inside the container:\n```\nsudo nvidia-docker run -it --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap\n```\nFrom this shell, all the code in the repo should work (except `opengl_viewer`).\n\nTo run any single command `\u003Ccommand...>` inside the docker container:\n```\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap \u003Ccommand...>\n```\n\n\n## Using your own input images for view synthesis\n\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_c6a20b675058.gif'\u002F>\n\nOur method takes in a set of images of a static scene, promotes each image to a local layered representation (MPI), and blends local light fields rendered from these MPIs to render novel views. Please see our paper for more details. \n\nAs a rule of thumb, you should use images where the maximum disparity between views is no more than about 64 pixels (watch the closest thing to the camera and don't let it move more than ~1\u002F8 the horizontal field of view between images). Our datasets usually consist of 20-30 images captured handheld in a rough grid pattern.\n\n#### Quickstart: rendering a video from a zip file of your images\n\nYou can quickly render novel view frames and a .mp4 video from a zip file of your captured input images with the `zip2mpis.sh` bash script. \n```\nbash zip2mpis.sh \u003Czipfile> \u003Cyour_outdir> [--height HEIGHT]\n```\n`height` is the output height in pixels. We recommend using a height of 360 pixels for generating results quickly.\n\n## General step-by-step usage\n\nBegin by creating a base scene directory (e.g., `scenedir\u002F`), and copying your images into a subdirectory called `images\u002F` (e.g., `scenedir\u002Fimages`).\n\n#### 1. Recover camera poses\n\nThis script calls COLMAP to run structure from motion to get 6-DoF camera poses and near\u002Ffar depth bounds for the scene.\n```\npython imgs2poses.py \u003Cyour_scenedir>\n```\n\n#### 2. Generate MPIs\n\nThis script uses our pretrained Tensorflow graph (make sure it exists in `checkpoints\u002Fpapermodel`) to generate MPIs from the posed images. They will be saved in `\u003Cyour_mpidir>`, a directory will be created by the script.\n```\npython imgs2mpis.py \u003Cyour_scenedir> \u003Cyour_mpidir> \\\n    [--checkpoint CHECKPOINT] \\\n    [--factor FACTOR] [--width WIDTH] [--height HEIGHT] [--numplanes NUMPLANES] \\\n    [--disps] [--psvs] \n```\nYou should set at most one of `factor`, `width`, or `height` to determine the output MPI resolution (factor will scale the input image size down an integer factor, eg. 2, 4, 8, and height\u002Fwidth directly scale the input images to have the specified height or width). `numplanes` is 32 by default. `checkpoint` is set to the downloaded checkpoint by default.\n\nExample usage:\n```\npython imgs2mpis.py scenedir scenedir\u002Fmpis --height 360\n```\n\n#### 3. Render novel views\n\nYou can either generate a list of novel view camera poses and render out a video, or you can load the saved MPIs in our interactive OpenGL viewer.\n\n#### Generate poses for new view path\nFirst, generate a smooth new view path by calling\n```\npython imgs2renderpath.py \u003Cyour_scenedir> \u003Cyour_posefile> \\\n\t[--x_axis] [--y_axis] [--z_axis] [--circle][--spiral]\n```\n`\u003Cyour_posefile>` is the path of an output .txt file that will be created by the script, and will contain camera poses for the rendered novel views. The five optional arguments specify the trajectory of the camera. The xyz-axis options are straight lines along each camera axis respectively, \"circle\" is a circle in the camera plane, and \"spiral\" is a circle combined with movement along the z-axis.  \n\nExample usage:\n```\npython imgs2renderpath.py scenedir scenedir\u002Fspiral_path.txt --spiral\n```\nSee `llff\u002Fmath\u002Fpose_math.py` for the code that generates these path trajectories.\n\n#### Render video with CUDA\nYou can build this in the `cuda_renderer\u002F` directory by calling `make`.\n\nUses CUDA to render out a video. Specify the height of the output video in pixels (-1 for same resolution as the MPIs), the factor for cropping the edges of the video (default is 1.0 for no cropping), and the compression quality (crf) for the saved MP4 file (default is 18, lossless is 0, reasonable is 12-28).\n```\n.\u002Fcuda_renderer mpidir \u003Cyour_posefile> \u003Cyour_videofile> height crop crf\n```\n`\u003Cyour_videofile>` is the path to the video file that will be written by FFMPEG.\n\nExample usage:\n```\n.\u002Fcuda_renderer scenedir\u002Fmpis scenedir\u002Fspiral_path.txt scenedir\u002Fspiral_render.mp4 -1 0.8 18\n```\n\n\n#### Render video with Tensorflow\nUse Tensorflow to render out a video (~100x slower than CUDA renderer). Optionally, specify how many MPIs are blended for each rendered output (default is 5) and what factor to crop the edges of the video (default is 1.0 for no cropping).\n```\npython mpis2video.py \u003Cyour_mpidir> \u003Cyour_posefile> videofile [--use_N USE_N] [--crop_factor CROP_FACTOR]\n```\nExample usage:\n```\npython mpis2video.py scenedir\u002Fmpis scenedir\u002Fspiral_path.txt scenedir\u002Fspiral_render.mp4 --crop_factor 0.8\n```\n\n\n#### Interactive OpenGL viewer\n\nControls:\n- ESC to quit\n- Move mouse to translate in camera plane\n- Click and drag to rotate camera\n- Scroll to change focal length (zoom)\n- 'L' to animate circle render path\n\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_ae04823af8b7.gif'\u002F>\n\n*The OpenGL viewer cannot be used in the Docker container.*\n\nYou need OpenGL installed, particularly GLFW:\n```\nsudo apt-get install libglfw3-dev\n```\n\nYou can build the viewer in the `opengl_viewer\u002F` directory by calling `make`.  \n\nGeneral usage (in `opengl_viewer\u002F` directory) is \n```\n.\u002Fopengl_viewer mpidir\n```\n\n## Using your own poses without running COLMAP\n\nHere we explain the `poses_bounds.npy` file format. This file stores a numpy array of size Nx17 (where N is the number of input images). You can see how it is loaded in the [three lines here](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fblob\u002Fmaster\u002Fllff\u002Fposes\u002Fpose_utils.py#L195). Each row of length 17 gets reshaped into a 3x5 pose matrix and 2 depth values that bound the closest and farthest scene content from that point of view.\n\nThe pose matrix is a 3x4 camera-to-world affine transform concatenated with a 3x1 column `[image height, image width, focal length]` to represent the intrinsics (we assume the principal point is centered and that the focal length is the same for both x and y).\n\nThe right-handed coordinate system of the the rotation (first 3x3 block in the camera-to-world transform) is as follows: from the point of view of the camera, the three axes are \n`[down, right, backwards]`\nwhich some people might consider to be `[-y,x,z]`, where the camera is looking along `-z`. (The more conventional frame `[x,y,z]` is `[right, up, backwards]`. The COLMAP frame is `[right, down, forwards]` or `[x,-y,-z]`.)\n\nIf you have a set of 3x4 cam-to-world poses for your images plus focal lengths and close\u002Ffar depth bounds, the steps to recreate `poses_bounds.npy` are:\n\n1. Make sure your poses are in camera-to-world format, not world-to-camera.\n2. Make sure your rotation matrices have the columns in the correct coordinate frame `[down, right, backwards]`.\n3. Concatenate each pose with the `[height, width, focal]` intrinsics vector to get a 3x5 matrix.\n4. Flatten each of those into 15 elements and concatenate the close and far depths.\n5. Stack the 17-d vectors to get a Nx17 matrix and use `np.save` to store it as `poses_bounds.npy` in the scene's base directory (same level containing the `images\u002F` directory).\n\nThis should explain the [pose processing after COLMAP](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fblob\u002Fmaster\u002Fllff\u002Fposes\u002Fpose_utils.py#L11). \n\n\n\n## Troubleshooting\n\n- __`PyramidCU::GenerateFeatureList: an illegal memory access was encountered`__:\nSome machine configurations might run into problems running the script `imgs2poses.py`.\nA solution to that would be to set the environment variable `CUDA_VISIBLE_DEVICES`. If the issue persists, try uncommenting [this line](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fblob\u002Fmaster\u002Fllff\u002Fposes\u002Fcolmap_wrapper.py#L33) to stop COLMAP from using the GPU to extract image features.\n- __Black screen__:\nIn the latest versions of MacOS, OpenGL initializes a context with a black screen until the window is dragged or resized. If you run into this problem, please drag the window to another position.\n- __COLMAP fails__: If you see \"Could not register, trying another image\", you will probably have to try changing COLMAP optimization parameters or capturing more images of your scene. See [here](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F8#issuecomment-498514411).\n\n\n## Citation\n\nIf you find this useful for your research, please cite the following paper.\n\n```\n@article{mildenhall2019llff,\n  title={Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines},\n  author={Ben Mildenhall and Pratul P. Srinivasan and Rodrigo Ortiz-Cayon and Nima Khademi Kalantari and Ravi Ramamoorthi and Ren Ng and Abhishek Kar},\n  journal={ACM Transactions on Graphics (TOG)},\n  year={2019},\n}\n```\n","\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_d6861ec63a29.gif' align=\"right\" height=\"120px\">\n\n\u003Cbr>\u003Cbr>\u003Cbr>\u003Cbr>\n\n# 本地光场融合\n### [项目](https:\u002F\u002Fbmild.github.io\u002Fllff) | [视频](https:\u002F\u002Fyoutu.be\u002FLY6MgDUzS3M) | [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F1905.00889) \n\n基于稀疏输入图像进行新视图合成的 TensorFlow 实现。\u003Cbr>\u003Cbr>\n[本地光场融合：具有指导性采样准则的实用视图合成](https:\u002F\u002Fbmild.github.io\u002Fllff)  \n [Ben Mildenhall](https:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~bmild\u002F)\\*\u003Csup>1\u003C\u002Fsup>, \n [Pratul Srinivasan](https:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~pratul\u002F)\\*\u003Csup>1\u003C\u002Fsup>, \n [Rodrigo Ortiz-Cayon](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=yZMAlU4AAAAJ)\u003Csup>2\u003C\u002Fsup>, \n [Nima Khademi Kalantari](http:\u002F\u002Ffaculty.cs.tamu.edu\u002Fnimak\u002F)\u003Csup>3\u003C\u002Fsup>, \n [Ravi Ramamoorthi](http:\u002F\u002Fcseweb.ucsd.edu\u002F~ravir\u002F)\u003Csup>4\u003C\u002Fsup>, \n [Ren Ng](https:\u002F\u002Fwww2.eecs.berkeley.edu\u002FFaculty\u002FHomepages\u002Fyirenng.html)\u003Csup>1\u003C\u002Fsup>, \n [Abhishek Kar](https:\u002F\u002Fabhishekkar.info\u002F)\u003Csup>2\u003C\u002Fsup>  \n \u003Csup>1\u003C\u002Fsup>加州大学伯克利分校，\u003Csup>2\u003C\u002Fsup>Fyusion 公司，\u003Csup>3\u003C\u002Fsup>德克萨斯农工大学，\u003Csup>4\u003C\u002Fsup>加州大学圣地亚哥分校  \n  \\*表示共同第一作者  \n  发表于 SIGGRAPH 2019\n\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_3e185e29c4e2.jpg'\u002F>\n\n## 目录\n\n  * [安装速览：设置并渲染一个演示场景](#installation-tldr-setup-and-render-a-demo-scene)\n  * [完整安装说明](#full-installation-details)\n    * [手动安装](#manual-installation)\n    * [Docker 安装](#docker-installation)\n  * [使用您自己的输入图像进行视图合成](#using-your-own-input-images-for-view-synthesis)\n    * [快速入门：从您的图像压缩包中渲染一段视频](#quickstart-rendering-a-video-from-a-zip-file-of-your-images)\n  * [通用分步使用方法](#general-step-by-step-usage)\n    * [1. 恢复相机位姿](#1-recover-camera-poses)\n    * [2. 生成 MPI](#2-generate-mpis)\n    * [3. 渲染新视图](#3-render-novel-views)\n  * [不运行 COLMAP 而使用您自己的位姿](#using-your-own-poses-without-running-colmap)\n  * [故障排除](#troubleshooting)\n  * [引用](#citation)\n\n## 安装速览：设置并渲染一个演示场景\n\n首先安装 `docker`（[安装指南](https:\u002F\u002Fdocs.docker.com\u002Finstall\u002Flinux\u002Fdocker-ce\u002Fubuntu\u002F)）和 `nvidia-docker`（[安装指南](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fnvidia-docker)）。\n\n在根目录下运行以下命令以下载预训练检查点、拉取 Docker 镜像，并执行代码以在一个示例输入数据集上生成 MPI 和渲染输出视频：\n```\nbash download_data.sh\nsudo docker pull bmild\u002Ftf_colmap\nsudo docker tag bmild\u002Ftf_colmap tf_colmap\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap bash demo.sh\n```\n此时应会在 `data\u002Ftestscene\u002Foutputs\u002Ftest_vid.mp4` 中生成类似这样的视频：  \n\u003C\u002Fbr>\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_2a53b3094ca7.gif'\u002F>\n\n如果一切正常，那么您就可以开始处理您自己的图像了！运行\n```\nsudo nvidia-docker run -it --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap\n```\n进入 Docker 容器内的 shell，并直接跳转到[使用您自己的输入图像进行视图合成](#using-your-own-input-images-for-view-synthesis)一节。\n\n## 完整安装说明\n\n您可以手动安装所需依赖，也可以使用我们提供的 Dockerfile 构建 Docker 镜像。\n\n无论哪种方式，首先都需要下载本仓库，然后运行 `download_data.sh` 脚本来下载预训练模型和示例输入数据集：\n```\nbash download_data.sh\n```\n安装好依赖后，尝试从根目录运行 `bash demo.sh`。（如果使用 Docker，则在容器内运行。）这应该会生成“安装速览”部分中展示的视频，位于 `data\u002Ftestscene\u002Foutputs\u002Ftest_vid.mp4`。\n\n### 手动安装\n\n- 安装 CUDA、TensorFlow、COLMAP、ffmpeg\n- 安装所需的 Python 包：\n```\npip install -r requirements.txt\n```\n- 可选：在 `cuda_renderer\u002F` 目录下运行 `make`。\n- 可选：在 `opengl_viewer\u002F` 目录下运行 `make`。您可能需要安装 GLFW 或其他 OpenGL 库。对于 GLFW：\n```\nsudo apt-get install libglfw3-dev\n```\n\n\n### Docker 安装\n\n要在您自己的机器上构建 Docker 镜像，这可能需要 15–30 分钟：\n```\nsudo docker build -t tf_colmap:latest .\n```\n或者直接下载镜像（约 6GB）：\n```\nsudo docker pull bmild\u002Ftf_colmap\nsudo docker tag bmild\u002Ftf_colmap tf_colmap\n```\n\n之后，您可以启动容器内的交互式 Shell：\n```\nsudo nvidia-docker run -it --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap\n```\n从这个 Shell 中，仓库中的所有代码都应该可以正常运行（除了 `opengl_viewer`）。\n\n要在 Docker 容器内运行任意单个命令 `\u003Ccommand...>`：\n```\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap \u003Ccommand...>\n```\n\n\n## 使用您自己的输入图像进行视图合成\n\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_c6a20b675058.gif'\u002F>\n\n我们的方法接收一组静态场景的图像，将每张图像提升为局部分层表示（MPI），并通过混合由这些 MPI 渲染的局部光场来生成新视图。更多细节请参阅我们的论文。\n\n作为经验法则，您应使用视差不超过约 64 像素的图像（观察靠近相机的物体，确保它在相邻图像之间移动不超过水平视场的约 1\u002F8）。我们的数据集通常包含 20–30 张手持拍摄、大致呈网格状排列的图像。\n\n#### 快速入门：从您的图像压缩包中渲染一段视频\n\n您可以使用 `zip2mpis.sh` Bash 脚本，快速从您拍摄的输入图像压缩包中渲染出新视图帧和 .mp4 视频。\n```\nbash zip2mpis.sh \u003Czipfile> \u003Cyour_outdir> [--height HEIGHT]\n```\n`height` 是输出视频的高度（以像素为单位）。我们建议使用 360 像素的高度来快速生成结果。\n\n## 通用分步使用方法\n\n首先创建一个场景基础目录（例如 `scenedir\u002F`），并将你的图像复制到名为 `images\u002F` 的子目录中（例如 `scenedir\u002Fimages`）。\n\n#### 1. 恢复相机位姿\n\n此脚本调用 COLMAP 运行运动恢复结构算法，以获取场景的六自由度相机位姿以及近、远深度边界。\n```\npython imgs2poses.py \u003Cyour_scenedir>\n```\n\n#### 2. 生成 MPIs\n\n此脚本使用我们预训练的 TensorFlow 图（请确保它存在于 `checkpoints\u002Fpapermodel` 中），根据已定位的图像生成 MPIs。生成的 MPIs 将保存在 `\u003Cyour_mpidir>` 目录中，该目录将由脚本自动创建。\n```\npython imgs2mpis.py \u003Cyour_scenedir> \u003Cyour_mpidir> \\\n    [--checkpoint CHECKPOINT] \\\n    [--factor FACTOR] [--width WIDTH] [--height HEIGHT] [--numplanes NUMPLANES] \\\n    [--disps] [--psvs] \n```\n你应最多设置 `factor`、`width` 或 `height` 中的一个来确定输出 MPI 分辨率（`factor` 会将输入图像尺寸按整数倍缩小，例如 2、4、8；而 `height` 和 `width` 则直接将输入图像缩放到指定的高度或宽度）。`numplanes` 默认为 32。`checkpoint` 默认设置为下载的检查点。\n\n示例用法：\n```\npython imgs2mpis.py scenedir scenedir\u002Fmpis --height 360\n```\n\n#### 3. 渲染新视角\n\n你可以生成一组新视角的相机位姿并渲染成视频，或者在我们的交互式 OpenGL 查看器中加载保存的 MPIs。\n\n#### 生成新视图路径的位姿\n首先，通过调用以下命令生成平滑的新视图路径：\n```\npython imgs2renderpath.py \u003Cyour_scenedir> \u003Cyour_posefile> \\\n\t[--x_axis] [--y_axis] [--z_axis] [--circle][--spiral]\n```\n`\u003Cyour_posefile>` 是脚本将创建的输出 `.txt` 文件的路径，其中包含用于渲染新视角的相机位姿。五个可选参数指定了相机的运动轨迹。`x\u002Fy\u002Fz-axis` 选项分别沿相机的三个轴做直线运动，“circle” 是在相机平面内绕圈运动，“spiral” 则是在绕圈的同时沿 z 轴上下移动。\n\n示例用法：\n```\npython imgs2renderpath.py scenedir scenedir\u002Fspiral_path.txt --spiral\n```\n这些路径轨迹的生成代码可在 `llff\u002Fmath\u002Fpose_math.py` 中找到。\n\n#### 使用 CUDA 渲染视频\n你可以在 `cuda_renderer\u002F` 目录下通过运行 `make` 来构建此工具。\n\n该工具利用 CUDA 渲染视频。需指定输出视频的高度（以像素为单位；-1 表示与 MPI 相同分辨率）、裁剪视频边缘的因子（默认为 1.0，即不裁剪）以及保存的 MP4 文件的压缩质量（crf 值；默认为 18，0 表示无损，12–28 为合理范围）。\n```\n.\u002Fcuda_renderer mpidir \u003Cyour_posefile> \u003Cyour_videofile> height crop crf\n```\n`\u003Cyour_videofile>` 是 FFmpeg 将写入的视频文件路径。\n\n示例用法：\n```\n.\u002Fcuda_renderer scenedir\u002Fmpis scenedir\u002Fspiral_path.txt scenedir\u002Fspiral_render.mp4 -1 0.8 18\n```\n\n\n#### 使用 Tensorflow 渲染视频\n使用 Tensorflow 渲染视频（速度约为 CUDA 渲染器的 1\u002F100）。可选地，指定每次渲染时混合多少个 MPIs（默认为 5）以及裁剪视频边缘的因子（默认为 1.0，即不裁剪）。\n```\npython mpis2video.py \u003Cyour_mpidir> \u003Cyour_posefile> videofile [--use_N USE_N] [--crop_factor CROP_FACTOR]\n```\n示例用法：\n```\npython mpis2video.py scenedir\u002Fmpis scenedir\u002Fspiral_path.txt scenedir\u002Fspiral_render.mp4 --crop_factor 0.8\n```\n\n\n#### 交互式 OpenGL 查看器\n\n控制方式：\n- ESC 键退出\n- 移动鼠标可在相机平面内平移\n- 点击并拖动可旋转相机\n- 滚动鼠标可调整焦距（缩放）\n- 按下 ‘L’ 键可播放圆形渲染路径动画\n\n\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_readme_ae04823af8b7.gif'\u002F>\n\n*OpenGL 查看器无法在 Docker 容器中使用。*\n\n你需要安装 OpenGL，尤其是 GLFW：\n```\nsudo apt-get install libglfw3-dev\n```\n\n你可以在 `opengl_viewer\u002F` 目录下通过运行 `make` 来构建查看器。\n\n一般使用方法（在 `opengl_viewer\u002F` 目录下）是：\n```\n.\u002Fopengl_viewer mpidir\n```\n\n## 不使用 COLMAP 直接使用自定义位姿\n\n下面我们解释 `poses_bounds.npy` 文件的格式。该文件存储一个大小为 Nx17 的 NumPy 数组（N 为输入图像的数量）。其加载方式可见此处的三行代码：[链接](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fblob\u002Fmaster\u002Fllff\u002Fposes\u002Fpose_utils.py#L195)。每行 17 个元素会被重塑为一个 3x5 的位姿矩阵和两个深度值，分别表示从该视角观察到的场景中最接近和最远处的内容。\n\n位姿矩阵是一个 3x4 的相机到世界坐标系的仿射变换，并在其后附加一个 3x1 列向量 `[图像高度, 图像宽度, 焦距]` 来表示相机的内参（我们假设主点位于图像中心，且 x 和 y 方向的焦距相同）。\n\n旋转部分（相机到世界变换中的前 3x3 块）采用右手坐标系，具体方向如下：从相机视角来看，三个轴分别为 `[向下, 向右, 向后]`，这也可以被视为 `[-y, x, z]`，其中相机视线沿 `-z` 方向。而更常见的坐标系 `[x, y, z]` 则对应 `[向右, 向上, 向后]`。COLMAP 使用的坐标系则是 `[向右, 向下, 向前]`，即 `[x, -y, -z]`。\n\n如果你已经拥有一组 3x4 的相机到世界坐标系位姿、焦距以及近、远深度边界，那么重新创建 `poses_bounds.npy` 的步骤如下：\n\n1. 确保你的位姿是相机到世界坐标系的格式，而非世界到相机的格式。\n2. 确保你的旋转矩阵的列向量符合正确的坐标系 `[向下, 向右, 向后]`。\n3. 将每个位姿与 `[高度, 宽度, 焦距]` 内参向量拼接，得到一个 3x5 的矩阵。\n4. 将这些矩阵展平为 15 个元素，并附加近、远深度值。\n5. 将这些 17 元素的向量堆叠成一个 Nx17 的矩阵，然后使用 `np.save` 将其保存为 `poses_bounds.npy`，存放在场景的基础目录中（与 `images\u002F` 目录同级）。\n\n以上内容应能解释 [COLMAP 后的位姿处理过程](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fblob\u002Fmaster\u002Fllff\u002Fposes\u002Fpose_utils.py#L11)。\n\n\n\n## 故障排除\n\n- __`PyramidCU::GenerateFeatureList: an illegal memory access was encountered`__:\n某些机器配置可能会导致运行 `imgs2poses.py` 脚本时出现问题。\n解决方法之一是设置环境变量 `CUDA_VISIBLE_DEVICES`。如果问题仍然存在，请尝试取消注释 [这一行](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fblob\u002Fmaster\u002Fllff\u002Fposes\u002Fcolmap_wrapper.py#L33)，以阻止 COLMAP 使用 GPU 提取图像特征。\n- __黑屏__:\n在最新版本的 macOS 中，OpenGL 在窗口被拖动或调整大小之前会初始化一个黑屏上下文。如果遇到此问题，请将窗口拖动到其他位置。\n- __COLMAP 失败__: 如果出现“无法注册，正在尝试另一张图像”的提示，你可能需要调整 COLMAP 的优化参数，或拍摄更多场景图像。详情请参阅 [此处](https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F8#issuecomment-498514411)。\n\n## 引用\n\n如果您觉得本文对您的研究有帮助，请引用以下论文。\n\n```\n@article{mildenhall2019llff,\n  title={局部光场融合：基于指导性采样准则的实用视图合成},\n  author={本·米尔登霍尔、普拉图尔·P·斯里尼瓦桑、罗德里戈·奥尔蒂斯-卡永、尼玛·哈德米·卡兰塔里、拉维·拉马穆尔蒂、任·吴、阿比谢克·卡尔},\n  journal={ACM 图形学汇刊（TOG）},\n  year={2019},\n}\n```","# LLFF 快速上手指南\n\nLLFF (Local Light Field Fusion) 是一个基于稀疏输入图像进行新视角合成（Novel View Synthesis）的 TensorFlow 实现。它通过将每张图像提升为局部多层表示（MPI），并融合这些局部光场来渲染新的视角。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu)\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡\n- **Docker**: 推荐使用 Docker 方案以简化依赖安装\n\n### 前置依赖\n若选择手动安装，需自行配置以下环境：\n- CUDA Toolkit\n- TensorFlow (GPU 版本)\n- COLMAP (用于运动恢复结构 SfM)\n- ffmpeg\n- Python 依赖包 (`pip install -r requirements.txt`)\n- (可选) OpenGL 库 (如 `libglfw3-dev`，用于交互式查看器)\n\n> **注意**：官方未提供中国镜像源，建议使用国内云服务商提供的 Docker 镜像加速服务或 PyPI 镜像加速 pip 安装。\n\n## 安装步骤\n\n推荐使用 **Docker** 方式安装，可避免复杂的环境配置问题。\n\n### 1. 安装 Docker 和 nvidia-docker\n请参照官方文档安装 Docker 及 NVIDIA Container Toolkit：\n- Docker: https:\u002F\u002Fdocs.docker.com\u002Finstall\u002Flinux\u002Fdocker-ce\u002Fubuntu\u002F\n- nvidia-docker: https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fnvidia-docker\n\n### 2. 下载代码与预训练模型\n克隆仓库并运行数据下载脚本：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF.git\ncd LLFF\nbash download_data.sh\n```\n\n### 3. 获取 Docker 镜像\n你可以选择拉取官方预构建镜像（约 6GB）或自行构建：\n\n**方案 A：拉取预构建镜像（推荐）**\n```bash\nsudo docker pull bmild\u002Ftf_colmap\nsudo docker tag bmild\u002Ftf_colmap tf_colmap\n```\n\n**方案 B：自行构建镜像（耗时约 15-30 分钟）**\n```bash\nsudo docker build -t tf_colmap:latest .\n```\n\n## 基本使用\n\n以下流程演示如何快速处理一组图片并生成新视角视频。\n\n### 1. 验证安装（运行示例场景）\n在 LLFF 根目录下运行以下命令，系统将自动下载测试数据、生成 MPI 并输出演示视频：\n```bash\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap bash demo.sh\n```\n成功执行后，将在 `data\u002Ftestscene\u002Foutputs\u002Ftest_vid.mp4` 生成输出视频。\n\n### 2. 处理自己的图片\n假设你有一组静态场景的照片（建议 20-30 张，手持拍摄呈网格状，视差不要过大）。\n\n#### 方法 A：一键快速生成（推荐）\n如果你将图片打包成了 zip 文件，可以直接使用脚本生成视频：\n```bash\nbash zip2mpis.sh \u003Cyour_images.zip> \u003Coutput_directory> [--height 360]\n```\n- `\u003Cyour_images.zip>`: 包含输入图片的压缩包。\n- `\u003Coutput_directory>`: 输出目录。\n- `--height`: 输出高度像素（推荐 360 以加快生成速度）。\n\n#### 方法 B：分步详细流程\n如果需要更精细的控制，请按以下步骤操作：\n\n**步骤 1：准备目录**\n创建场景目录并将图片放入 `images` 子文件夹：\n```bash\nmkdir scenedir\nmkdir scenedir\u002Fimages\ncp \u002Fpath\u002Fto\u002Fyour\u002Fphotos\u002F*.jpg scenedir\u002Fimages\u002F\n```\n\n**步骤 2：恢复相机姿态 (Recover Camera Poses)**\n调用 COLMAP 计算相机位姿和深度边界：\n```bash\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap python imgs2poses.py scenedir\n```\n\n**步骤 3：生成 MPI (Generate MPIs)**\n利用预训练模型生成多层平面图像：\n```bash\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap python imgs2mpis.py scenedir scenedir\u002Fmpis --height 360\n```\n\n**步骤 4：生成新视角路径**\n定义相机运动轨迹（例如螺旋线）：\n```bash\nsudo nvidia-docker run --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap python imgs2renderpath.py scenedir scenedir\u002Fspiral_path.txt --spiral\n```\n\n**步骤 5：渲染视频**\n使用 CUDA 加速器渲染最终视频：\n```bash\n# 进入容器内部编译并使用 cuda_renderer (首次需编译)\nsudo nvidia-docker run -it --rm --volume \u002F:\u002Fhost --workdir \u002Fhost$PWD tf_colmap bash -c \"cd cuda_renderer && make && .\u002Fcuda_renderer scenedir\u002Fmpis scenedir\u002Fspiral_path.txt scenedir\u002Fresult.mp4 -1 0.8 18\"\n```\n- `-1`: 输出高度与 MPI 一致。\n- `0.8`: 边缘裁剪因子。\n- `18`: FFmpeg 压缩质量 (CRF)。\n\n完成上述步骤后，即可在指定目录找到生成的新视角合成视频。","一家小型文旅科技公司正在为偏远古迹制作沉浸式数字导览，但现场仅能用手机拍摄少量角度受限的照片。\n\n### 没有 LLFF 时\n- 必须携带笨重的专业光场相机或进行数百张密集拍摄，现场采集成本极高且耗时。\n- 稀疏的输入照片导致传统建模软件无法重建几何结构，生成的视角存在严重撕裂或模糊。\n- 想要展示文物背面或侧面细节时，因缺乏对应角度图像，只能放弃或手动拙劣修补。\n- 后期渲染新视角需要人工逐帧绘制，制作一段流畅的环绕视频往往需要数天时间。\n\n### 使用 LLFF 后\n- 仅需围绕古迹拍摄几十张普通手机照片，LLFF 即可基于稀疏输入合成高质量的新视角。\n- 利用局部光场融合技术，即使在拍摄间隔较大时，也能生成边缘清晰、无伪影的连续画面。\n- 能够自由“穿越”到未实际拍摄的任意角度，让观众在屏幕上全方位观察文物细节。\n- 自动化流程可在数小时内输出电影级的环绕漫游视频，大幅缩短从采集到成片的周期。\n\nLLFF 将昂贵的光场采集门槛降低至普通手机摄影，让稀疏照片也能变身可自由探索的 3D 场景。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFyusion_LLFF_3e185e29.jpg","Fyusion","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FFyusion_89ac527a.png","",null,"https:\u002F\u002Ffyusion.com\u002F","https:\u002F\u002Fgithub.com\u002FFyusion",[79,83,87,90,94,98,102,105,108,112],{"name":80,"color":81,"percentage":82},"C++","#f34b7d",90.7,{"name":84,"color":85,"percentage":86},"C","#555555",5,{"name":88,"color":89,"percentage":32},"Objective-C","#438eff",{"name":91,"color":92,"percentage":93},"Python","#3572A5",1.6,{"name":95,"color":96,"percentage":97},"Cuda","#3A4E3A",0.5,{"name":99,"color":100,"percentage":101},"CMake","#DA3434",0.1,{"name":103,"color":104,"percentage":101},"Dockerfile","#384d54",{"name":106,"color":107,"percentage":101},"Shell","#89e051",{"name":109,"color":110,"percentage":111},"GLSL","#5686a5",0,{"name":113,"color":114,"percentage":111},"Makefile","#427819",1697,252,"2026-04-08T00:44:41","GPL-3.0","Linux","必需 NVIDIA GPU（用于运行 CUDA 渲染器和 COLMAP），需安装 nvidia-docker。具体显存大小和 CUDA 版本未在文中明确说明，但需支持 TensorFlow GPU 版本及 COLMAP 的 CUDA 功能。","未说明",{"notes":123,"python":124,"dependencies":125},"1. 官方强烈推荐使用 Docker (nvidia-docker) 进行部署，提供了预构建镜像。2. 核心流程依赖 COLMAP 进行运动恢复结构 (SfM) 以获取相机姿态。3. 提供两种渲染方式：基于 CUDA 的快速渲染和基于 TensorFlow 的慢速渲染（约慢 100 倍）。4. 交互式 OpenGL 查看器无法在 Docker 容器内运行，需在宿主机手动编译并安装 GLFW 库。5. 输入图像建议视差不要超过 64 像素，通常使用 20-30 张手持拍摄的图片。","未说明 (需满足 requirements.txt 及 TensorFlow 兼容性)",[126,127,128,129,130],"TensorFlow","COLMAP","ffmpeg","CUDA Toolkit","libglfw3-dev (可选，用于 OpenGL 查看器)",[14],[133,134,135,136],"light-field","rendering","view-synthesis","deep-learning","2026-03-27T02:49:30.150509","2026-04-17T08:24:09.827536",[140,145,149,154,159,164,169,174],{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},36620,"如何跳过 COLMAP 步骤并直接提供已知的相机位姿？","可以跳过 img2poses 步骤。代码中对估计的位姿进行了一些处理（如转置），如果你直接使用自己的位姿，需要确保格式与代码内部处理后的格式一致。通常位姿是一个 5x3 的矩阵用于生成单应性变换。如果手动生成位姿，需注意基线（baseline）、图像尺寸和焦距的对应关系，并将其保存为 npy 文件供后续步骤使用。","https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F10",{"id":146,"question_zh":147,"answer_zh":148,"source_url":144},36621,"如何提取每张图像的边界文件 (bounds\u002Fbds.npy)？","运行 imgs2poses.py 脚本后，程序会自动处理 COLMAP 输出并生成 poses_bounds.npy 文件，其中包含了相机的位姿和边界信息。如果你只需要边界信息，可以从该文件中解析出来。确保输入图像能被 COLMAP 成功注册，否则无法生成有效的边界文件。",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},36622,"使用 nvidia-docker 运行时出现 'brand = tesla' 要求错误怎么办？","该错误是因为 Docker 容器配置中指定了特定的 GPU 品牌（Tesla），而你的显卡不符合该要求。你可以修改 docker run 命令中的 --require 参数，移除或放宽对 GPU 品牌的限制（例如去掉 brand=tesla），或者确保你的驱动版本满足要求。修改后通常只会影响处理速度，不会影响最终结果。","https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F11",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},36623,"MPI 图像是如何生成的？包含哪些层？","MPI（多平面图像）包含多个 RGB 层和对应的 Alpha 层。例如 32 个 MPI 图像意味着有 32 个 RGB 层和 32 个 Alpha 层。网络输出 1 个通道用于不透明度（经过 sigmoid 激活），另外 4 个通道加上一个全零通道，共 5 个通道经过 softmax 得到混合权重。最终结果通常使用预乘 Alpha（premultiplied alpha）RGB 格式。","https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F15",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},36624,"为什么在使用非测试场景数据集（如 MIT Synthetic Light Field）时 COLMAP 注册失败？","COLMAP 注册失败通常是因为输入图像缺乏足够的特征点或没有 GPS 信息，导致只有初始的一对图像被注册。对于合成数据集或特定视角的数据（如 Lytro 风格），COLMAP 可能无法正常工作。建议改用物理相机拍摄的图像，或者尝试手动生成位姿文件（poses）和边界文件（bds），跳过 COLMAP 步骤。","https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F20",{"id":165,"question_zh":166,"answer_zh":167,"source_url":168},36625,"是否可以将此方法用于 Lytro 风格的光场数据？","由于 COLMAP 无法注册 Lytro 风格的数据，你需要手动生成位姿（poses）和边界（mpi_bds）。位姿通常是一个 5x3 的矩阵。如果使用太少的输入图像（如仅 4 张），推荐至少使用 9 张（3x3 网格）以获得更好的效果。注意区分 num_planes 和 N 参数，避免混淆导致生成错误。","https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F18",{"id":170,"question_zh":171,"answer_zh":172,"source_url":173},36626,"COLMAP 报告 'Bundle adjustment Not converged' 且其他图像无法注册怎么办？","这通常意味着输入图像之间的重叠度不足或特征点匹配失败。检查输入图像是否有丰富的纹理特征，并确保拍摄视角有足够的重叠。如果自动注册失败，可以尝试调整 COLMAP 的参数，或者对于特殊数据集（如合成数据），考虑手动提供相机位姿来跳过 COLMAP 步骤。","https:\u002F\u002Fgithub.com\u002FFyusion\u002FLLFF\u002Fissues\u002F8",{"id":175,"question_zh":176,"answer_zh":177,"source_url":158},36627,"训练时使用 2 个 MPI 而测试时使用 5 个 MPI 的原因是什么？","主要原因包括：1. 使用 1 个和 2 个 MPI 的方法差异较大，而当 N>=2 时，主要区别在于填补空洞的概率，N 越大结果越平滑但渲染时间越长；2. 受限于 GPU 显存，每个 MPI 生成需要一个 GPU，训练更多 MPI 不必要；3. 训练时混合更多 MPI 可能导致难以收敛。",[]]