[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--localrf":3,"tool-facebookresearch--localrf":64},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,2,"2026-04-06T11:32:50",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[15,16,52,61,13,62,43,14,63],"插件","其他","音频",{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":95,"forks":96,"last_commit_at":97,"license":98,"difficulty_score":99,"env_os":100,"env_gpu":101,"env_ram":102,"env_deps":103,"category_tags":117,"github_topics":79,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":118,"updated_at":119,"faqs":120,"releases":159},5293,"facebookresearch\u002Flocalrf","localrf","An algorithm for reconstructing the radiance field of a large-scale scene from a single casually captured video.","localrf 是一款能够从单段随手拍摄的视频中，重建大规模场景辐射场的开源算法。它主要解决了传统技术在处理非专业拍摄视频时的两大痛点：一是现有方法通常依赖精确的相机姿态预估计，而在复杂多变的真实场景中极易失败；二是单一的全局模型难以有效扩展至无边界的大规模场景。\n\n针对这些问题，localrf 采用了两项核心技术亮点。首先，它以渐进式的方式联合优化相机姿态与辐射场，无需预先提供精准姿态，显著提升了重建的鲁棒性。其次，它创新性地动态分配多个“局部”辐射场，仅利用时间窗口内的帧进行训练，从而轻松应对长轨迹和无边界的大场景重建，即使在相机姿态存在轻微漂移的情况下也能表现优异。\n\n这款工具非常适合计算机视觉研究人员、3D 内容开发者以及对新视角合成技术感兴趣的工程师使用。如果你希望从普通的手机或运动相机视频中生成高质量的 3D 场景漫游效果，localrf 提供了一个强大且灵活的解决方案。目前该项目已在 PyTorch 环境下开源，并提供了详细的预处理与训练脚本，便于用户快速上手实验。","# Progressively Optimized Local Radiance Fields for Robust View Synthesis\n\nWe present an algorithm for reconstructing the radiance field of a large-scale scene from a single casually captured video. The task poses two core challenges. First, most existing radiance field reconstruction approaches rely on accurate pre-estimated camera poses from Structure-from-Motion algorithms, which frequently fail on in-the-wild videos. Second, using a single, global radiance field with finite representational capacity does not scale to longer trajectories in an unbounded scene. For handling unknown poses, we jointly estimate the camera poses with radiance field in a progressive manner. We show that progressive optimization significantly improves the robustness of the reconstruction. For handling large unbounded scenes, we dynamically allocate new local radiance fields trained with frames within a temporal window. This further improves robustness (e.g., performs well even under moderate pose drifts) and allows us to scale to large scenes. Our extensive evaluation on the Tanks and Temples dataset and our collected outdoor dataset, Static Hikes, show that our approach compares favorably with the state-of-the-art.\n\n### [Project page](https:\u002F\u002Flocalrf.github.io\u002F) | [Paper](https:\u002F\u002Flocalrf.github.io\u002Flocalrf.pdf) | [Data](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1kGY-VijIbXNsNb7ghEywi1fvkH4BaIEz?usp=share_link)\n[Andreas Meuleman](https:\u002F\u002Fameuleman.github.io), \n[Yu-Lun Liu](https:\u002F\u002Fwww.cmlab.csie.ntu.edu.tw\u002F~yulunliu), \n[Chen Gao](http:\u002F\u002Fchengao.vision), \n[Jia-Bin Huang](https:\u002F\u002Fjbhuang0604.github.io), \n[Changil Kim](https:\u002F\u002Fchangilkim.com), \n[Min H. Kim](http:\u002F\u002Fvclab.kaist.ac.kr\u002Fminhkim), \n[Johannes Kopf](http:\u002F\u002Fjohanneskopf.de)\n\n## Setup\nTested with Pytorch 2.0 and CUDA 11.8 and ROCm 5.4.2 compute platforms.\n```\ngit clone --recursive https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf && cd localrf\nconda create -n localrf python=3.8 -y\nconda activate localrf\npip install torch torchvision # Replace here with the command from https:\u002F\u002Fpytorch.org\u002F corresponding to your compute platform\npip install tqdm scikit-image opencv-python configargparse lpips imageio-ffmpeg kornia lpips tensorboard imageio easydict matplotlib scipy==1.6.1 plyfile joblib timm\n```\n\n## Preprocessing\nDownload the [hike scenes](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DngTRNuZZXpho8-2cjpToa3lGWzxgwqL\u002Fview?usp=drive_link).\n\nWe use [RAFT](https:\u002F\u002Fgithub.com\u002Fprinceton-vl\u002FRAFT) and [DPT](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT) for flow and monocular depth prior.\n\nGet pretrained weights.\n```\nbash scripts\u002Fdownload_weights.sh\n```\n\nRun flow and depth estimation (assuming sorted image files in `${SCENE_DIR}\u002Fimages`).\n```\npython scripts\u002Frun_flow.py --data_dir ${SCENE_DIR}\npython DPT\u002Frun_monodepth.py --input_path ${SCENE_DIR}\u002Fimages --output_path ${SCENE_DIR}\u002Fdepth --model_type dpt_large\n```\n\nAlternatively, run `scripts\u002Fpreprocess_all.sh` to preprocess all hike scenes.\n\n## Optimization\n```\npython localTensoRF\u002Ftrain.py --datadir ${SCENE_DIR} --logdir ${LOG_DIR} --fov ${FOV}\n```\nAfter training completion, test views and smoothed trajectories will be stored in `${LOG_DIR}`. We also provide `scripts\u002Ftrain_all.sh` to initiate optimization on several scenes.\n\n## Citation\n```\n@inproceedings{meuleman2023localrf,\n  author    = {Meuleman, Andreas and Liu, Yu-Lun and Gao, Chen and Huang, Jia-Bin and Kim, Changil and Kim, Min H. and Kopf, Johannes},\n  title     = {Progressively Optimized Local Radiance Fields for Robust View Synthesis},\n  booktitle = {CVPR},\n  year      = {2023},\n}\n```\n\n## Acknowledgements\nThe code is available under the MIT license and draws from [TensoRF](https:\u002F\u002Fgithub.com\u002Fapchenstu\u002FTensoRF) and [DynamicNeRF](https:\u002F\u002Fgithub.com\u002Fgaochen315\u002FDynamicNeRF), which are also licensed under the MIT license.\nLicenses for these projects can be found in the `licenses\u002F` folder.\n\nWe use [RAFT](https:\u002F\u002Fgithub.com\u002Fprinceton-vl\u002FRAFT) and [DPT](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT) for flow and monocular depth prior.","# 用于鲁棒视图合成的渐进式优化局部辐射场\n\n我们提出了一种从单个随意拍摄的视频中重建大规模场景辐射场的算法。该任务面临两个核心挑战。首先，大多数现有的辐射场重建方法依赖于通过运动恢复结构（SfM）算法精确预估的相机位姿，而这些方法在野外采集的视频中往往失效。其次，使用单一的全局辐射场，由于其表示能力有限，无法扩展到无界场景中的较长轨迹。为了解决未知位姿问题，我们以渐进的方式联合估计相机位姿和辐射场。实验表明，渐进式优化显著提高了重建的鲁棒性。针对大型无界场景，我们动态分配新的局部辐射场，并利用时间窗口内的帧对其进行训练。这进一步提升了鲁棒性（例如，在存在适度位姿漂移的情况下仍能表现良好），并使我们能够处理大规模场景。我们在Tanks and Temples数据集以及我们收集的户外数据集Static Hikes上的大量评估表明，我们的方法与当前最先进方法相比具有优势。\n\n### [项目页面](https:\u002F\u002Flocalrf.github.io\u002F) | [论文](https:\u002F\u002Flocalrf.github.io\u002Flocalrf.pdf) | [数据](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1kGY-VijIbXNsNb7ghEywi1fvkH4BaIEz?usp=share_link)\n[Andreas Meuleman](https:\u002F\u002Fameuleman.github.io), \n[Yu-Lun Liu](https:\u002F\u002Fwww.cmlab.csie.ntu.edu.tw\u002F~yulunliu), \n[Chen Gao](http:\u002F\u002Fchengao.vision), \n[Jia-Bin Huang](https:\u002F\u002Fjbhuang0604.github.io), \n[Changil Kim](https:\u002F\u002Fchangilkim.com), \n[Min H. Kim](http:\u002F\u002Fvclab.kaist.ac.kr\u002Fminhkim), \n[Johannes Kopf](http:\u002F\u002Fjohanneskopf.de)\n\n## 环境配置\n已在PyTorch 2.0、CUDA 11.8以及ROCm 5.4.2计算平台上测试通过。\n```\ngit clone --recursive https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf && cd localrf\nconda create -n localrf python=3.8 -y\nconda activate localrf\npip install torch torchvision # 请根据您的计算平台替换为pytorch.org官网对应的安装命令\npip install tqdm scikit-image opencv-python configargparse lpips imageio-ffmpeg kornia lpips tensorboard imageio easydict matplotlib scipy==1.6.1 plyfile joblib timm\n```\n\n## 数据预处理\n下载[徒步场景数据](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DngTRNuZZXpho8-2cjpToa3lGWzxgwqL\u002Fview?usp=drive_link)。\n\n我们使用[RAFT](https:\u002F\u002Fgithub.com\u002Fprinceton-vl\u002FRAFT)和[DPT](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT)分别进行光流估计和单目深度先验计算。\n\n获取预训练权重：\n```\nbash scripts\u002Fdownload_weights.sh\n```\n\n运行光流和深度估计（假设图像文件已按顺序存放在`${SCENE_DIR}\u002Fimages`目录下）：\n```\npython scripts\u002Frun_flow.py --data_dir ${SCENE_DIR}\npython DPT\u002Frun_monodepth.py --input_path ${SCENE_DIR}\u002Fimages --output_path ${SCENE_DIR}\u002Fdepth --model_type dpt_large\n```\n\n或者，您也可以运行`scripts\u002Fpreprocess_all.sh`来预处理所有徒步场景。\n\n## 模型优化\n```\npython localTensoRF\u002Ftrain.py --datadir ${SCENE_DIR} --logdir ${LOG_DIR} --fov ${FOV}\n```\n训练完成后，测试视图和平滑轨迹将存储在`${LOG_DIR}`中。我们还提供了`scripts\u002Ftrain_all.sh`脚本，用于同时启动多个场景的优化。\n\n## 引用\n```\n@inproceedings{meuleman2023localrf,\n  author    = {Meuleman, Andreas and Liu, Yu-Lun and Gao, Chen and Huang, Jia-Bin and Kim, Changil and Kim, Min H. and Kopf, Johannes},\n  title     = {Progressively Optimized Local Radiance Fields for Robust View Synthesis},\n  booktitle = {CVPR},\n  year      = {2023},\n}\n```\n\n## 致谢\n本代码采用MIT许可证开源，并借鉴了同样采用MIT许可证的[TensoRF](https:\u002F\u002Fgithub.com\u002Fapchenstu\u002FTensoRF)和[DynamicNeRF](https:\u002F\u002Fgithub.com\u002Fgaochen315\u002FDynamicNeRF)。这些项目的许可证可在`licenses\u002F`文件夹中找到。\n\n我们使用[RAFT](https:\u002F\u002Fgithub.com\u002Fprinceton-vl\u002FRAFT)和[DPT](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT)分别进行光流估计和单目深度先验计算。","# LocalRF 快速上手指南\n\nLocalRF 是一个用于从单段随意拍摄的视频中重建大规模场景辐射场的算法。它通过渐进式优化局部辐射场，解决了未知相机姿态和无界大场景的重建难题，无需依赖精确的 SfM 预估计姿态。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: 3.8\n*   **深度学习框架**: PyTorch 2.0+\n*   **计算平台**: CUDA 11.8 或 ROCm 5.4.2\n*   **硬件**: 支持 CUDA 的 NVIDIA GPU（显存建议 8GB 以上）\n\n## 安装步骤\n\n### 1. 克隆代码库\n```bash\ngit clone --recursive https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf && cd localrf\n```\n\n### 2. 创建并激活 Conda 环境\n```bash\nconda create -n localrf python=3.8 -y\nconda activate localrf\n```\n\n### 3. 安装 PyTorch\n请根据您的实际硬件环境，访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002F) 获取对应的安装命令。以下为 CUDA 11.8 的示例：\n```bash\npip install torch torchvision --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n> **国内加速提示**：如果下载速度慢，可使用清华源或阿里源替代官方源，例如：\n> `pip install torch torchvision --index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` (需确认该源是否有对应 CUDA 版本的 wheel 包，否则建议使用官方源)。\n\n### 4. 安装其他依赖\n```bash\npip install tqdm scikit-image opencv-python configargparse lpips imageio-ffmpeg kornia tensorboard imageio easydict matplotlib scipy==1.6.1 plyfile joblib timm\n```\n\n### 5. 下载预训练权重\n运行脚本下载 RAFT (光流) 和 DPT (单目深度) 所需的预训练模型：\n```bash\nbash scripts\u002Fdownload_weights.sh\n```\n\n## 基本使用\n\n### 1. 数据预处理\n在使用自己的视频数据前，需要先估计光流和单目深度。假设您的图像已按顺序存放在 `${SCENE_DIR}\u002Fimages` 目录下。\n\n**步骤 A: 运行光流估计**\n```bash\npython scripts\u002Frun_flow.py --data_dir ${SCENE_DIR}\n```\n\n**步骤 B: 运行深度估计**\n```bash\npython DPT\u002Frun_monodepth.py --input_path ${SCENE_DIR}\u002Fimages --output_path ${SCENE_DIR}\u002Fdepth --model_type dpt_large\n```\n\n> **示例数据**：您可以下载官方提供的 [Hike Scenes 数据集](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DngTRNuZZXpho8-2cjpToa3lGWzxgwqL\u002Fview?usp=drive_link) 进行测试。如需批量处理所有示例场景，可运行 `scripts\u002Fpreprocess_all.sh`。\n\n### 2. 开始训练与优化\n完成预处理后，运行主训练脚本。您需要指定数据目录、日志输出目录以及相机的视场角 (FOV)。\n\n```bash\npython localTensoRF\u002Ftrain.py --datadir ${SCENE_DIR} --logdir ${LOG_DIR} --fov ${FOV}\n```\n\n*   `${SCENE_DIR}`: 包含 `images`, `flows`, `depth` 等文件夹的场景根目录。\n*   `${LOG_DIR}`: 训练结果（包括测试视图和平滑后的轨迹）的保存路径。\n*   `${FOV}`: 相机的水平视场角（单位：度），需根据拍摄设备估算。\n\n训练完成后，合成的新视角视频和优化后的相机轨迹将自动保存在 `${LOG_DIR}` 中。","一位户外探险博主希望将手持手机拍摄的徒步视频转化为可自由漫游的 3D 场景，用于制作沉浸式虚拟旅行内容。\n\n### 没有 localrf 时\n- 传统算法严重依赖精确的相机姿态预估计，而手持拍摄的视频因抖动剧烈，导致结构光运动（SfM）算法频繁失效，无法启动重建。\n- 单一全局辐射场难以承载大范围无边界场景的信息，长距离徒步轨迹会导致模型细节模糊或完全崩溃。\n- 必须使用专业多相机阵列或激光雷达扫描才能获取高质量数据，普通用户仅凭一段随意拍摄的视频无法生成可用模型。\n- 即使勉强运行，相机姿态的微小漂移也会导致渲染画面出现严重的重影和几何扭曲，后期修复成本极高。\n\n### 使用 localrf 后\n- localrf 能够联合优化相机姿态与辐射场，无需预先提供精准位姿，直接利用单段手持视频即可稳健地完成重建。\n- 通过动态分配基于时间窗口的局部辐射场，localrf 轻松扩展至大规模无边界场景，完整保留长距离徒步路径的细节。\n- 仅需一部普通手机拍摄的 casually 视频，配合光流和单目深度先验，即可低成本生成高质量的 3D 漫游体验。\n- 渐进式优化策略显著提升了抗干扰能力，即使在相机姿态存在中度漂移的情况下，生成的视图依然平滑自然，无明显伪影。\n\nlocalrf 的核心价值在于打破了大规模 3D 场景重建对专业设备和精准数据的依赖，让单段随手拍视频也能变成可交互的沉浸式世界。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_localrf_4f766a76.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[83,87,91],{"name":84,"color":85,"percentage":86},"Python","#3572A5",97.9,{"name":88,"color":89,"percentage":90},"Shell","#89e051",1.2,{"name":92,"color":93,"percentage":94},"Dockerfile","#384d54",0.9,988,60,"2026-03-29T18:43:16","MIT",4,"Linux","必需。支持 NVIDIA GPU (CUDA 11.8) 或 AMD GPU (ROCm 5.4.2)。具体显存需求未说明，但处理大场景辐射场通常建议 8GB 以上。","未说明",{"notes":104,"python":105,"dependencies":106},"1. 代码库需递归克隆 (--recursive) 以包含子模块。2. 运行前需手动下载 RAFT (光流) 和 DPT (单目深度) 的预训练权重。3. 输入数据需预先进行光流和深度估计预处理。4. 官方测试环境为 CUDA 11.8 和 ROCm 5.4.2。","3.8",[107,108,109,110,111,112,113,114,115,116],"torch>=2.0","torchvision","tqdm","scikit-image","opencv-python","configargparse","lpips","imageio-ffmpeg","kornia","tensorboard",[15,52,62],"2026-03-27T02:49:30.150509","2026-04-08T10:01:13.002036",[121,126,131,135,140,145,150,154],{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},24001,"如何评估姿态估计（Pose Estimation）的结果？为什么即使使用真值选项误差仍然很大？","如果在评估时发现旋转或平移误差很大，请检查是否设置了 `--lr_R_init 0` 和 `--lr_t_init 0`。如果不将这两个学习率参数设为 0，优化过程中姿态会发生变化，导致与初始真值不一致。若要验证代码是否正确加载了真值姿态，应使用参数 `--with_preprocessed_poses 1 --lr_R_init 0 --lr_t_init 0` 运行，此时得到的姿态应与 `transforms.json` 中的姿态一致（可能相差一个缩放比例）。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf\u002Fissues\u002F22",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},24002,"LocalRF 生成的相机轨迹尺度与实际物理尺度不符，如何恢复真实尺度？","LocalRF 优化的姿态通常存在尺度模糊（scale ambiguity），生成的轨迹长度可能与实际物理距离（如 300 米）不成比例。目前项目主要关注相对姿态的优化用于渲染，若需恢复绝对物理尺度以匹配视觉 SLAM 结果，通常需要利用外部信息（如已知基线长度或 GPS 数据）进行后处理缩放，代码本身未提供自动恢复绝对尺度的功能。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf\u002Fissues\u002F53",{"id":132,"question_zh":133,"answer_zh":134,"source_url":130},24003,"LocalRF 输出的相机姿态坐标系是 OpenCV 格式还是 NeRF (OpenGL) 格式？","数据集中的 `transforms.json` 文件通常对应于 COLMAP 生成的姿态，采用的是 OpenCV 坐标系（Y 轴向下，Z 轴向前）。这与 NeRF 常用的 OpenGL 坐标系（Y 轴向上，Z 轴向后）不同。如果在其他工具（如 NerfStudio 或某些 SLAM 可视化工具）中发现轨迹方向不一致，需要注意坐标系转换。COLMAP 输出转换为 NeRF 格式通常需要使用脚本（如 Instant-NGP 的 `colmap2nerf.py`）进行坐标轴翻转处理。",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},24004,"如何渲染偏离原始训练路径的新视角图像？","要渲染自定义路径或偏离训练集的新视角，可以使用 `render_only` 模式并指定包含新姿态的文件。命令示例如下：\n`python localTensoRF\u002Ftrain.py --datadir ${SCENE_DIR} --logdir ${LOG_DIR} --render_only 1 --render_test 0 --render_path 0 --render_from_file ${POSE_FILE}`\n其中 `${POSE_FILE}` 是包含新相机姿态的文件路径。注意，该功能主要用于生成图像（jpg），项目当前不支持直接导出网格（mesh 或 obj 文件）。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf\u002Fissues\u002F20",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},24005,"PSNR 和 SSIM 指标的具体计算公式是什么？","PSNR 的计算方式是先计算所有图像的平均均方误差（MSE），再转换为分贝值：$\\overline{\\text{PSNR}} = 10 \\log_{10}(1\u002F\\text{MSE})$，其中 $\\text{MSE} = \\frac{1}{n}\\sum \\text{MSE}_i$。\n对于 SSIM，为了正确平均，先将每个图像的 SSIM 转换到 $\\sqrt{1-\\text{SSIM}}$ 域进行平均，然后再转换回 SSIM 域：$\\overline{\\text{SSIM}} = 1 - (\\frac{1}{n}\\sum \\sqrt{1-\\text{SSIM}_i})^2$。请注意，当前的 `render.py` 代码中尚未完全实现这种正确的 SSIM 平均方式。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf\u002Fissues\u002F35",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},24006,"训练后生成的多个 `transforms.json` 文件（如 transforms_rf.json, smooth_spline\u002Ftransforms.json）有什么区别？","不同路径下的 `transforms.json` 用途不同：\n1. 数据集目录下的 `transforms.json`：通常是由 COLMAP 生成的初始相机姿态，作为输入使用。\n2. `output\u002F...\u002Ftransforms_rf.json`：包含 LocalRF 优化后的相机姿态。\n3. `output\u002F...\u002Fsmooth_spline\u002Ftransforms.json`：对优化后的姿态进行平滑样条插值处理后的结果，通常用于渲染平滑的视频序列。\n注意：除非使用 `--with_preprocessed_poses 1` 参数，否则优化过程不一定依赖输入的 `transforms.json`。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf\u002Fissues\u002F10",{"id":151,"question_zh":152,"answer_zh":153,"source_url":149},24007,"如何在自己的数据集（如 KITTI, nuScenes 或自定义视频）上生成 `transforms.json`？","如果数据集已有姿态信息（如自动驾驶数据集），可以直接转换格式使用，LocalRF 可以优化带有噪声的初始姿态。如果是多视图图片且无姿态信息，推荐使用 COLMAP 进行稀疏重建来生成姿态。可以使用 MultiNeRF 提供的脚本 `local_colmap_and_resize.sh` 来运行 COLMAP 并生成 `transforms.json`。对于已有 COLMAP 输出但需要转换为 NeRF 格式的情况，可以参考 Instant-NGP 仓库中的 `scripts\u002Fcolmap2nerf.py` 脚本进行坐标转换。",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},24008,"渲染时遇到 'divide by zero' 或 'invalid value encountered in divide' 警告怎么办？","该警告通常出现在 `renderer.py` 中计算光流比较值时（例如 `bwd_flow_cmp0 \u002F= np.quantile(...)`），当分位数为 0 或数据全为 0 时会触发除零错误。这通常发生在渲染帧数较少或特定迭代次数下光流计算异常时。虽然这是运行时警告（RuntimeWarning）通常不会导致程序崩溃，但如果产生 NaN 导致渲染失败，建议检查输入图像序列是否连续，或尝试增加渲染的帧数以获得更稳定的统计值。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Flocalrf\u002Fissues\u002F33",[]]