[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-facebookresearch--PoseDiffusion":3,"similar-facebookresearch--PoseDiffusion":88},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":18,"owner_email":18,"owner_twitter":18,"owner_website":19,"owner_url":20,"languages":21,"stars":30,"forks":31,"last_commit_at":32,"license":33,"difficulty_score":34,"env_os":35,"env_gpu":36,"env_ram":35,"env_deps":37,"category_tags":46,"github_topics":18,"view_count":49,"oss_zip_url":18,"oss_zip_packed_at":18,"status":50,"created_at":51,"updated_at":52,"faqs":53,"releases":87},6051,"facebookresearch\u002FPoseDiffusion","PoseDiffusion","[ICCV 2023] PoseDiffusion: Solving Pose Estimation via Diffusion-aided Bundle Adjustment","PoseDiffusion 是一款发表于 ICCV 2023 的开源算法，旨在通过扩散模型辅助的光束法平差（Bundle Adjustment）来解决高精度的相机姿态估计问题。传统方法在处理复杂场景或稀疏视图时往往难以收敛，而 PoseDiffusion 创新性地利用扩散模型的生成能力来优化初始猜测，显著提升了多视角几何重建的鲁棒性与准确性。\n\n该工具的核心亮点在于将前沿的扩散概率模型与传统计算机视觉中的几何优化技术相结合，不仅支持从图像序列中预测相机位姿和焦距，还能在 Re10K 和 Co3D 等数据集上实现快速推理。对于包含 20 帧的序列，其在单张显卡上的处理速度可达秒级（视配置而定），并提供了完整的训练与演示代码。\n\nPoseDiffusion 主要面向计算机视觉领域的研究人员、算法工程师以及三维重建开发者。如果你正在探索神经辐射场（NeRF）、高斯泼溅（3DGS）的前置相机标定，或希望研究扩散模型在几何任务中的应用，这款工具将提供极具价值的参考实现。虽然它需要一定的深度学习环境配置基础，但其清晰的文档和模块化设计能帮助使用者快速上手实验。","# PoseDiffusion: Solving Pose Estimation via Diffusion-aided Bundle Adjustment\n\n![Teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_PoseDiffusion_readme_20295e69f199.gif)\n\n\u003Cp dir=\"auto\">[\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.15667.pdf\" rel=\"nofollow\">Paper\u003C\u002Fa>]\n[\u003Ca href=\"https:\u002F\u002Fposediffusion.github.io\u002F\" rel=\"nofollow\">Project Page\u003C\u002Fa>]\u003C\u002Fp>\n\n\n**Updates:**\n\n- [Aug 6, 2024] To access the raw data for Figures 5, 7, and 10, please download our submission from arXiv. You can do this by clicking the [Download source] button at https:\u002F\u002Farxiv.org\u002Fformat\u002F2306.15667. The submission includes the following files: `plots_co3dv2.tex`, `plots_re10k.tex`, and `plots_co3dv2_suppl.tex`. These files use data from `csvs.tex` and `csvs_suppl.tex`, which are also included in the LaTeX submission source, to generate the figures. The split we used for Re10k can be found at [re10k_test_1800.txt](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fblob\u002Fmain\u002Fpose_diffusion\u002Fdatasets\u002Fre10k_test_1800.txt).\n\n- [Apr 24, 2024] You may also have an interest in [VGGSfM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggsfm), where a model similar to PoseDiffusion is used as the camera predictor. It also supports to optimize camera parameters through bundle adjustment.  \n\n- [Apr 24, 2024] Updated the checkpoint for RealEstate10K dataset.\n\n\n\n## Installation\nWe provide a simple installation script that, by default, sets up a conda environment with Python 3.9, PyTorch 1.13, and CUDA 11.6.\n\n```.bash\nsource install.sh\n```\n\n## Quick Start\n\n### 1. Download Checkpoint\n\nYou can download the model checkpoint trained on [Co3D](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F14Waj4RCrdezx_jG9Am9WlvLfvhyuCQ3k\u002Fview?usp=sharing) or [RealEstate10K](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18kyF8XLKsTGtKEFb0NAF2tceS2eoIV-a\u002Fview?usp=sharing). Please note that the checkpoint for RealEstate10K was re-trained on an image size of 336 (you need to change the `image_size` in the coorresponding config). The predicted camera poses and focal lengths are defined in [NDC coordinate](https:\u002F\u002Fpytorch3d.org\u002Fdocs\u002Fcameras).\n\n\n\n\n\n### 2. Run the Demo\n\n```.bash\npython demo.py image_folder=\"samples\u002Fapple\" ckpt=\"\u002FPATH\u002FTO\u002FDOWNLOADED\u002FCKPT\"\n```\n\nYou can experiment with your own data by specifying a different `image_folder`.\n\n\nOn a Quadro GP100 GPU, the inference time for a 20-frame sequence is approximately 0.8 seconds without GGS and around 80 seconds with GGS (including 20 seconds for matching extraction).\n\nYou can choose to enable or disable GGS (or other settings) in `.\u002Fcfgs\u002Fdefault.yaml`.\n\nWe use [Visdom](https:\u002F\u002Fgithub.com\u002Ffossasia\u002Fvisdom) by default for visualization. Ensure your Visdom settings are correctly configured to visualize the results accurately. However, Visdom is not necessary for running the model.\n\n## Training\n\n### 1. Preprocess Annotations\n\nStart by following the instructions [here](https:\u002F\u002Fgithub.com\u002Famyxlase\u002Frelpose-plus-plus#pre-processing-co3d) to preprocess the annotations of the Co3D V2 dataset. This will significantly reduce data processing time during training.\n\n### 2. Specify Paths\n\nNext, specify the paths for `CO3D_DIR` and `CO3D_ANNOTATION_DIR` in `.\u002Fcfgs\u002Fdefault_train.yaml`. `CO3D_DIR` should be set to the path where your downloaded Co3D dataset is located, while `CO3D_ANNOTATION_DIR` should point to the location of the annotation files generated after completing the preprocessing in step 1.\n\n### 3. Start Training\n\n- For 1-GPU Training:\n  ```bash\n  python train.py\n  ```\n\n- For multi-GPU training, launch the training script using [accelerate](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Faccelerate\u002Fbasic_tutorials\u002Flaunch), e.g., training on 8 GPUs (processes) in 1 node (machines):\n  ```bash\n  accelerate launch --num_processes=8 --multi_gpu --num_machines=1 train.py \n  ```\n  \nAll configurations are specified inside `.\u002Fcfgs\u002Fdefault_train.yaml`. Please notice that we use Visdom to record logs. \n\nFor each iteration, the training should take around 1~3 seconds depending on difference devices. You can check it by looking at the `sec\u002Fit` of the log. The whole training should take around 2-3 days on 8 A100 GPUs.\n\n**NOTE**: In some clusters we found the publicly released training code can be super slow when using multiple GPUs. This looks because that `accelerate` does not work well under some settings and hence the data loading is very slow (if not hangs out). The simplest solution is to remove `accelerate (accelerator)` from the code, and use pytorch's own distributed trainer or [pytorch-lighting](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Fpytorch-lightning) to launch the training. This problem does not affect single GPU training. Please submit an issue if you observed a higher number or report your case [here](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F33) (this should be related to the data loading of `accelerate`, a simple solution is to use pytorch's own distributed training). \n\n\n## Testing\n\n### 1. Specify Paths\n\nPlease specify the paths `CO3D_DIR`, `CO3D_ANNOTATION_DIR`, and `resume_ckpt` in `.\u002Fcfgs\u002Fdefault_test.yaml`. The flag `resume_ckpt` refers to your downloaded model checkpoint.\n\n### 2. Run Testing\n\n```bash\npython test.py\n```\n\nYou can check different testing settings by adjusting `num_frames`, `GGS.enable`, and others in `.\u002Fcfgs\u002Fdefault_test.yaml`.\n\n\n## Acknowledgement\n\nThanks for the great implementation of [denoising-diffusion-pytorch](https:\u002F\u002Fgithub.com\u002Flucidrains\u002Fdenoising-diffusion-pytorch), [guided-diffusion](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fguided-diffusion), [hloc](https:\u002F\u002Fgithub.com\u002Fcvg\u002FHierarchical-Localization), [relpose](https:\u002F\u002Fgithub.com\u002Fjasonyzhang\u002Frelpose).\n\n\n## License\nSee the [LICENSE](.\u002FLICENSE) file for details about the license under which this code is made available.\n","# PoseDiffusion：通过扩散辅助光束平差法解决姿态估计问题\n\n![预告图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_PoseDiffusion_readme_20295e69f199.gif)\n\n\u003Cp dir=\"auto\">[\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.15667.pdf\" rel=\"nofollow\">论文\u003C\u002Fa>]\n[\u003Ca href=\"https:\u002F\u002Fposediffusion.github.io\u002F\" rel=\"nofollow\">项目页面\u003C\u002Fa>]\u003C\u002Fp>\n\n\n**更新：**\n\n- [2024年8月6日] 若要获取图5、图7和图10的原始数据，请从arXiv下载我们的提交文件。您可以通过点击 https:\u002F\u002Farxiv.org\u002Fformat\u002F2306.15667 上的“Download source”按钮来完成此操作。提交文件中包含以下文件：`plots_co3dv2.tex`、`plots_re10k.tex` 和 `plots_co3dv2_suppl.tex`。这些文件使用来自 `csvs.tex` 和 `csvs_suppl.tex` 的数据生成图表，而这两个文件也包含在LaTeX提交源代码中。我们在Re10K数据集上使用的划分可在 [re10k_test_1800.txt](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fblob\u002Fmain\u002Fpose_diffusion\u002Fdatasets\u002Fre10k_test_1800.txt) 中找到。\n\n- [2024年4月24日] 您可能也会对 [VGGSfM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggsfm) 感兴趣，在该工具中，类似于PoseDiffusion的模型被用作相机预测器。它还支持通过光束平差法优化相机参数。\n\n- [2024年4月24日] 更新了RealEstate10K数据集的检查点。\n\n\n\n## 安装\n我们提供了一个简单的安装脚本，默认会设置一个包含Python 3.9、PyTorch 1.13和CUDA 11.6的conda环境。\n\n```.bash\nsource install.sh\n```\n\n## 快速入门\n\n### 1. 下载检查点\n\n您可以下载在[Co3D](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F14Waj4RCrdezx_jG9Am9WlvLfvhyuCQ3k\u002Fview?usp=sharing)或[RealEstate10K](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18kyF8XLKsTGtKEFb0NAF2tceS2eoIV-a\u002Fview?usp=sharing)上训练的模型检查点。请注意，RealEstate10K的检查点是在336×336的图像尺寸上重新训练的（您需要在相应的配置文件中更改`image_size`）。预测的相机位姿和焦距是按照[NDC坐标系](https:\u002F\u002Fpytorch3d.org\u002Fdocs\u002Fcameras)定义的。\n\n\n\n\n\n### 2. 运行演示\n\n```.bash\npython demo.py image_folder=\"samples\u002Fapple\" ckpt=\"\u002FPATH\u002FTO\u002FDOWNLOADED\u002FCKPT\"\n```\n\n您可以通过指定不同的`image_folder`来尝试自己的数据。\n\n\n在Quadro GP100 GPU上，对于一个20帧序列，不启用GGS时的推理时间约为0.8秒，启用GGS时则约为80秒（其中匹配提取耗时20秒）。\n\n您可以在`.\u002Fcfgs\u002Fdefault.yaml`中选择是否启用GGS或其他设置。\n\n我们默认使用[Visdom](https:\u002F\u002Fgithub.com\u002Ffossasia\u002Fvisdom)进行可视化。请确保您的Visdom设置正确配置，以便准确地可视化结果。不过，运行模型并不需要Visdom。\n\n## 训练\n\n### 1. 预处理标注\n首先，请按照[这里](https:\u002F\u002Fgithub.com\u002Famyxlase\u002Frelpose-plus-plus#pre-processing-co3d)的说明预处理Co3D V2数据集的标注。这将显著减少训练过程中的数据处理时间。\n\n### 2. 指定路径\n接下来，在`.\u002Fcfgs\u002Fdefault_train.yaml`中指定`CO3D_DIR`和`CO3D_ANNOTATION_DIR`的路径。`CO3D_DIR`应设置为您下载的Co3D数据集所在的路径，而`CO3D_ANNOTATION_DIR`则应指向步骤1中完成预处理后生成的标注文件所在位置。\n\n### 3. 开始训练\n- 单GPU训练：\n  ```bash\n  python train.py\n  ```\n\n- 多GPU训练时，请使用[accelerate](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Faccelerate\u002Fbasic_tutorials\u002Flaunch)启动训练脚本，例如在1台机器上的8个GPU（进程）上训练：\n  ```bash\n  accelerate launch --num_processes=8 --multi_gpu --num_machines=1 train.py \n  ```\n  \n所有配置均在`.\u002Fcfgs\u002Fdefault_train.yaml`中指定。请注意，我们使用Visdom记录日志。\n\n每次迭代的训练时间大约为1~3秒，具体取决于设备的不同。您可以通过查看日志中的`sec\u002Fit`来确认。在8块A100 GPU上，整个训练大约需要2~3天。\n\n**注意**：在某些集群中，我们发现公开发布的多GPU训练代码运行速度非常慢。这似乎是因为`accelerate`在某些设置下表现不佳，导致数据加载非常缓慢（甚至卡死）。最简单的解决方案是移除代码中的`accelerate (accelerator)`部分，改用PyTorch自带的分布式训练工具或[PyTorch Lightning](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Fpytorch-lightning)来启动训练。这个问题不会影响单GPU训练。如果您遇到类似情况，请提交一个问题或在此处报告您的案例 [here](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F33)（这很可能与`accelerate`的数据加载有关，简单解决方案是使用PyTorch的分布式训练功能）。\n\n\n## 测试\n\n### 1. 指定路径\n请在`.\u002Fcfgs\u002Fdefault_test.yaml`中指定`CO3D_DIR`、`CO3D_ANNOTATION_DIR`和`resume_ckpt`的路径。`resume_ckpt`指您下载的模型检查点。\n\n### 2. 运行测试\n```bash\npython test.py\n```\n\n您可以通过调整`.\u002Fcfgs\u002Fdefault_test.yaml`中的`num_frames`、`GGS.enable`等参数来尝试不同的测试设置。\n\n\n## 致谢\n感谢[denoising-diffusion-pytorch](https:\u002F\u002Fgithub.com\u002Flucidrains\u002Fdenoising-diffusion-pytorch)、[guided-diffusion](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fguided-diffusion)、[hloc](https:\u002F\u002Fgithub.com\u002Fcvg\u002FHierarchical-Localization)和[relpose](https:\u002F\u002Fgithub.com\u002Fjasonyzhang\u002Frelpose)的出色实现。\n\n\n## 许可证\n有关本代码所采用许可证的详细信息，请参阅[LICENSE](.\u002FLICENSE)文件。","# PoseDiffusion 快速上手指南\n\nPoseDiffusion 是一个基于扩散模型辅助光束法平差（Bundle Adjustment）的相机姿态估计工具。本指南将帮助您快速完成环境配置并运行演示。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.9\n*   **PyTorch**: 1.13\n*   **CUDA**: 11.6\n*   **硬件要求**: 支持 CUDA 的 NVIDIA GPU (单卡或多卡均可，多卡训练需注意数据加载优化)\n*   **可选依赖**: Visdom (用于可视化结果，非运行必需)\n\n> **注意**：官方安装脚本默认创建包含上述版本要求的 Conda 环境。如果您需要使用更新的 PyTorch 或 CUDA 版本，可能需要手动修改 `install.sh` 或自行创建环境。\n\n## 安装步骤\n\n1.  克隆仓库并进入目录（假设您已获取源码）。\n2.  运行官方提供的安装脚本，它将自动设置 Conda 环境及依赖：\n\n```bash\nsource install.sh\n```\n\n## 基本使用\n\n### 1. 下载预训练模型\n\n根据您的需求下载在 **Co3D** 或 **RealEstate10K** 数据集上训练的权重文件：\n\n*   **Co3D 模型**: [下载链接](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F14Waj4RCrdezx_jG9Am9WlvLfvhyuCQ3k\u002Fview?usp=sharing)\n*   **RealEstate10K 模型**: [下载链接](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18kyF8XLKsTGtKEFb0NAF2tceS2eoIV-a\u002Fview?usp=sharing)\n    *   *注：RealEstate10K 模型是在 336 分辨率图像上重新训练的，使用时需在配置文件中调整 `image_size`。*\n\n### 2. 运行演示\n\n准备好您的图像文件夹（或使用自带的 `samples\u002Fapple`），执行以下命令进行推理：\n\n```bash\npython demo.py image_folder=\"samples\u002Fapple\" ckpt=\"\u002FPATH\u002FTO\u002FDOWNLOADED\u002FCKPT\"\n```\n\n*   请将 `\u002FPATH\u002FTO\u002FDOWNLOADED\u002FCKPT` 替换为您实际下载的模型权重路径。\n*   您可以将 `image_folder` 指向包含自定义图像序列的文件夹进行测试。\n\n### 3. 查看结果\n\n*   **可视化**: 默认使用 [Visdom](https:\u002F\u002Fgithub.com\u002Ffossasia\u002Fvisdom) 展示结果。请确保已启动 Visdom 服务 (`visdom`) 并在浏览器访问对应端口。\n*   **性能参考**: 在 Quadro GP100 GPU 上，处理 20 帧序列的耗时约为：\n    *   不开启 GGS: ~0.8 秒\n    *   开启 GGS (含匹配提取): ~80 秒\n*   **配置调整**: 如需启用\u002F禁用 GGS 或其他参数，请编辑 `.\u002Fcfgs\u002Fdefault.yaml` 文件。","某增强现实（AR）开发团队正在为博物馆构建导览应用，需要利用游客手机拍摄的非专业视频序列，快速重建展品的精确 3D 模型并还原相机运动轨迹。\n\n### 没有 PoseDiffusion 时\n- **弱纹理场景失效**：面对光滑瓷器或反光金属等缺乏明显特征点的展品，传统特征匹配算法极易丢失跟踪，导致相机位姿估算完全失败。\n- **初始化极其敏感**：若视频起始帧的相机角度不佳，传统的束调整（Bundle Adjustment）优化容易陷入局部最优解，无法收敛出正确的全局轨迹。\n- **人工干预成本高**：工程师不得不手动筛选高质量帧或反复调整算法参数来“挽救”失败的序列，严重拖慢了从数据采集到模型上线的迭代周期。\n- **长序列误差累积**：在长达数十秒的视频中，微小的估算误差会随时间迅速放大，导致重建的 3D 模型出现严重的扭曲或断裂。\n\n### 使用 PoseDiffusion 后\n- **扩散模型补全几何**：PoseDiffusion 利用扩散先验知识，即使在展品纹理极少或重复的情况下，也能推理出合理的相机相对位置，保持跟踪连续性。\n- **全局优化更鲁棒**：通过扩散辅助的束调整机制，工具能自动跳出局部最优陷阱，即便在初始条件不理想时也能稳定收敛至正确的相机轨迹。\n- **自动化流程提速**：团队可直接输入原始手持视频，无需人工预筛选或精细调参，即可在秒级时间内获得高可用性的位姿数据，大幅缩短开发链路。\n- **长程一致性增强**：得益于其强大的全局约束能力，长视频序列中的累积误差被显著抑制，重建出的展品 3D 结构完整且比例准确。\n\nPoseDiffusion 将原本依赖完美拍摄条件的位姿估算任务，转化为对真实世界复杂场景具有高度容错性的自动化流程，极大降低了 3D 内容生产的门槛。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_PoseDiffusion_e59667c5.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[22,26],{"name":23,"color":24,"percentage":25},"Python","#3572A5",99,{"name":27,"color":28,"percentage":29},"Shell","#89e051",1,764,42,"2026-04-08T08:48:59","NOASSERTION",3,"未说明","需要 NVIDIA GPU。文中提及测试环境为 Quadro GP100，训练环境为 8x A100。需支持 CUDA 11.6。",{"notes":38,"python":39,"dependencies":40},"官方提供安装脚本默认创建包含 Python 3.9、PyTorch 1.13 和 CUDA 11.6 的 conda 环境。多 GPU 训练时，若使用 accelerate 导致数据加载缓慢或卡死，建议移除 accelerate 改用 PyTorch 原生分布式训练或 pytorch-lightning。可视化默认使用 Visdom（非运行必需）。推理时间受是否启用 GGS 影响巨大（0.8 秒 vs 80 秒）。","3.9",[41,42,43,44,45],"torch==1.13","cuda==11.6","accelerate","visdom","pytorch3d",[47,48],"图像","其他",2,"ready","2026-03-27T02:49:30.150509","2026-04-10T09:02:20.721606",[54,59,64,69,74,79,83],{"id":55,"question_zh":56,"answer_zh":57,"source_url":58},27404,"如何避免保存模型状态时生成 safetensors 格式？","可以通过设置 `safe_serialization=False` 来禁用 safetensors 格式。具体代码修改如下：\n```python\naccelerator.save_state(output_dir=ckpt_path, safe_serialization=False)\n```","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F30",{"id":60,"question_zh":61,"answer_zh":62,"source_url":63},27405,"在 RealEstate10k 数据集上训练时，如何预处理标注数据并转换坐标系？","RealEstate10k 的标注需要转换为 PyTorch3D 格式。主要涉及 OpenCV (Colmap) 到 PyTorch3D 的坐标转换。核心步骤是对旋转矩阵进行转置，并将 X 和 Y 轴取反。示例代码如下：\n```python\n# 从 OPENCV\u002FCOLMAP 转换到 PT3D\nbatchR = batchR.clone()\nbatchT = batchT.clone()\nbatchR = batchR.permute(0, 2, 1)  # 转置\nbatchR[:, :, :2] *= -1            # X, Y 轴取反\n```\n参考文件：`pose_diffusion\u002Fdatasets\u002Fre10k.py`。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F19",{"id":65,"question_zh":66,"answer_zh":67,"source_url":68},27406,"如何将预测的相机姿态与 Colmap 风格对齐，特别是当运动幅度很小时？","当场景运动幅度较小（如 'fern' 场景）时，需要更高精度的对齐。可以使用 `corresponding_cameras_alignment` 函数，并设置 `estimate_scale=True` 和极小的 `eps` 值。示例代码：\n```python\npred_cameras_aligned = corresponding_cameras_alignment(\n    cameras_src=pred_cameras,\n    cameras_tgt=colmap_cameras,\n    estimate_scale=True,\n    mode=\"extrinsics\",\n    eps=1e-9,\n)\n```\n注意：对齐结果可能无法完美，可视化主要用于观察结构大致情况。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F9",{"id":70,"question_zh":71,"answer_zh":72,"source_url":73},27407,"运行 demo.py 时遇到 \"cannot import name 'compute_ARE'\" 错误怎么办？","这是一个已知的导入错误，原因是 `util\u002Fmetric.py` 中缺少 `compute_ARE` 函数。该问题已通过 Pull Request #23 修复。请拉取最新的代码更新即可解决此问题。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F22",{"id":75,"question_zh":76,"answer_zh":77,"source_url":78},27408,"为什么模型在某些特定场景（如 apple）表现良好，但在其他场景效果很差？","这通常是因为模型过拟合到了特定的训练场景模式。如果仅在单个 GPU 上训练而不是推荐的 8 个 GPU，或者训练数据覆盖的场景类型有限，模型可能无法泛化到其他场景。例如，官方提供的模型可能在场景 \"189_20393_38136\" 上过拟合，导致在 \"samples\u002Fapple\" 等不同场景下表现不佳。建议检查训练配置和数据集的多样性。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FPoseDiffusion\u002Fissues\u002F29",{"id":80,"question_zh":81,"answer_zh":82,"source_url":68},27409,"cams_meta.npy 中的坐标系与 COLMAP 或 LLFF 有何区别？","`cams_meta.npy` 通常包含 Vanilla NeRF 坐标系（即 OpenGL 坐标系：右、上、后）。而 COLMAP 使用的是（右、下、前），LLFF 使用的是（下、右、后）。如果在代码中假设错误的轴向（例如将 COLMAP 当作 OpenGL 处理），会导致姿态错误。需要根据数据来源正确转换轴向，例如 COLMAP 的 Y 轴向下，而 OpenGL 的 Y 轴向上。",{"id":84,"question_zh":85,"answer_zh":86,"source_url":58},27410,"训练 PoseDiffusion 模型大约需要多长时间和资源？","根据维护者反馈，训练该模型大约需要 2-3 天，硬件配置为 8 张 A100 GPU。具体的 epoch 数量未详细记录，但时间成本主要取决于显卡数量和数据处理速度。如果遇到训练速度慢的问题，建议检查数据加载环节（参考 Issue #33）。",[],[89,100,108,116,125,134],{"id":90,"name":91,"github_repo":92,"description_zh":93,"stars":94,"difficulty_score":34,"last_commit_at":95,"category_tags":96,"status":50},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[97,98,47,99],"Agent","开发框架","数据工具",{"id":101,"name":102,"github_repo":103,"description_zh":104,"stars":105,"difficulty_score":34,"last_commit_at":106,"category_tags":107,"status":50},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[98,47,97],{"id":109,"name":110,"github_repo":111,"description_zh":112,"stars":113,"difficulty_score":49,"last_commit_at":114,"category_tags":115,"status":50},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[98,47,97],{"id":117,"name":118,"github_repo":119,"description_zh":120,"stars":121,"difficulty_score":34,"last_commit_at":122,"category_tags":123,"status":50},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[124,47,97,98],"语言模型",{"id":126,"name":127,"github_repo":128,"description_zh":129,"stars":130,"difficulty_score":34,"last_commit_at":131,"category_tags":132,"status":50},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[98,47,97,133],"视频",{"id":135,"name":136,"github_repo":137,"description_zh":138,"stars":139,"difficulty_score":29,"last_commit_at":140,"category_tags":141,"status":50},5646,"opencv","opencv\u002Fopencv","OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。\n\n这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。\n\nOpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。",86988,"2026-04-08T16:06:22",[98,47]]