Neural-Scene-Flow-Fields
Neural-Scene-Flow-Fields 是一个基于 PyTorch 的开源项目，源自 CVPR 2021 的研究论文，旨在实现动态场景的时空视图合成。简单来说，它能将一段普通的单目视频转化为可自由探索的 3D 动态场景，让用户不仅能改变观察角度，还能在时间轴上进行“慢动作”回放或插值，生成流畅的时空过渡效果。
该工具主要解决了传统静态 3D 重建技术无法处理运动物体和动态变化的难题。通过引入神经场景流场概念，它能够从单一视频中同时学习场景的几何结构、外观纹理以及物体的运动轨迹，从而在任意时刻和任意视角下渲染出高质量的新画面。
其核心技术亮点在于巧妙结合了单目深度预测、光流估计与神经辐射场（NeRF）技术，并针对野外拍摄的非专业视频进行了优化，降低了对多视角同步采集设备的依赖。
Neural-Scene-Flow-Fields 非常适合计算机视觉研究人员、图形学开发者以及对动态 3D 内容创作感兴趣的技术爱好者使用。由于涉及环境配置、数据预处理及模型训练，使用者需要具备一定的编程基础（熟悉 Python 和 PyTorch）和深度学习背景。对于希望探索前沿动态场景重建算法或开发新型视频特效工具的团队来说，这是一个极具参考价值的实现方案。
使用场景
一家影视后期工作室正在处理一段户外儿童奔跑的单目视频，导演希望在不使用多机位拍摄的情况下，生成主角在空中的超慢动作镜头，并自由变换摄像机角度以增强视觉冲击力。
没有 Neural-Scene-Flow-Fields 时
- 动态模糊严重：传统插帧算法无法理解复杂的三维运动，强行放慢速度会导致人物边缘出现严重的拖影和伪影。
- 视角固定死板：仅凭单目视频无法重建三维场景，摄像机只能沿原路径播放，完全无法实现围绕人物的环绕运镜。
- 背景撕裂失真：当人物快速移动时，背景与前景分离困难，简单的 2D 变换会导致背景画面拉伸或破裂。
- 制作成本高昂：若要达到理想效果，必须重新组织多机位阵列进行补拍，耗费大量人力、场地和时间成本。
使用 Neural-Scene-Flow-Fields 后
- 时空流畅合成：利用神经场景流场技术，精准建模动态物体的三维运动轨迹，生成的超慢动作视频清晰自然，无伪影。
- 自由视点漫游：成功从单目视频中重建出动态场景的隐式表示，允许摄影师在任意时间点自由插入全新的摄像机视角。
- 一致性的几何保持：通过联合优化场景几何与时间维度，确保在视角切换和時間插值过程中，人物与背景的相对位置关系始终准确。
- 低成本高效产出：无需额外拍摄设备，直接利用现有素材即可训练模型，将原本需要数天的补拍工作缩短为几小时的渲染过程。
Neural-Scene-Flow-Fields 通过将单目视频转化为可自由操控的时空三维场景，彻底打破了动态内容在新视角合成与时间重采样上的技术壁垒。
运行环境要求
- 未说明
必需 NVIDIA GPU，测试环境为 4x Nvidia GTX2080TI，CUDA >= 10.2
未说明
快速开始
神经场景光流场
论文“用于动态场景时空视图合成的神经场景光流场”（CVPR 2021）的 PyTorch 实现
依赖
代码已在 Python3、PyTorch >= 1.6 和 CUDA >= 10.2 环境下测试通过。依赖库包括：
- configargparse
- matplotlib
- opencv
- scikit-image
- scipy
- cupy
- imageio.
- tqdm
- kornia
当前 GitHub 版本针对野外单目视频进行了一些改进。如需参考与论文描述一致的代码，请查看 此分支。
视频预处理
从 链接 下载 nerf_data.zip，其中包含使用 COLMAP 估计的 SfM 相机位姿和内参的示例输入视频。（注意，您需要使用 COLMAP 的 “colmap image_undistorter” 命令对输入图像进行去畸变处理，以获得示例中所示的 “dense” 文件夹，该文件夹应包含 “images” 和 “sparse” 子文件夹。）
从 链接 下载单目深度预测模型 “model.pt”，并将其放置在 “nsff_scripts” 文件夹中。
运行以下命令以生成训练/推理所需的输入：
# 使用方法
cd nsff_scripts
# 创建 NSFF 格式的相机内参/外参，与原始 NeRF 中使用的 LLFF 代码中的 imgs2poses.py 脚本相同：https://github.com/Fyusion/LLFF/blob/master/imgs2poses.py
python save_poses_nerf.py --data_path "/home/xxx/Neural-Scene-Flow-Fields/kid-running/dense/"
# 调整输入图像大小并运行单目模型，
# 参数 resize_height：模型训练时调整后的图像高度，宽度将根据原始宽高比自动调整
python run_midas.py --data_path "/home/xxx/Neural-Scene-Flow-Fields/kid-running/dense/" --resize_height 288
# 运行光流模型
./download_models.sh
python run_flows_video.py --model models/raft-things.pth --data_path /home/xxx/Neural-Scene-Flow-Fields/kid-running/dense/
从示例预训练模型渲染
- 从 链接 下载预训练模型 “kid-running_ndc_5f_sv_of_sm_unify3_F00-30.zip”。解压后将其放入 “nsff_exp/logs/kid-running_ndc_5f_sv_of_sm_unify3_F00-30/360000.tar” 文件夹中。
将 config/config_kid-running.txt 中的 datadir 设置为输入视频的根目录。然后进入 “nsff_exp” 目录：
cd nsff_exp
mkdir logs
- 固定时间、视点插值渲染
python run_nerf.py --config configs/config_kid-running.txt --render_bt --target_idx 10
运行示例命令后，您应该会得到如下结果：
- 固定视点、时间插值渲染
python run_nerf.py --config configs/config_kid-running.txt --render_lockcam_slowmo --target_idx 8
运行示例命令后，您应该会得到如下结果：
- 时空插值渲染
python run_nerf.py --config configs/config_kid-running.txt --render_slowmo_bt --target_idx 10
运行示例命令后，您应该会得到如下结果：
训练
- 在 configs/config_kid-running.txt 中，将 expname 修改为您喜欢的任何名称（与原始名称不同），然后运行以下命令训练模型：
python run_nerf.py --config configs/config_kid-running.txt
每场景训练大约需要 2 天，使用 4 张 Nvidia GTX2080TI 显卡。
- 在野外视频上训练出良好模型时，您可能需要了解配置文件中的几个参数：
- final_height：必须与 run_midas.py 中的 --resize_height 参数相同，在 kid-running 案例中，应设置为 288。
- N_samples：为了渲染更高分辨率的图像，您需要增加采样点数，例如 256 或 512。
- chain_sf：如果设置为 True，模型将执行局部 5 帧一致性；如果设置为 False，则执行 3 帧一致性。为了加快训练速度，建议设置为 False。
- start_frame、end_frame：指示训练帧范围。默认模型通常适用于 1~2 秒的视频，且 30-60 帧的长度最适合默认超参数。训练更长的帧可能导致渲染过度平滑。为缓解这一问题，您可以将 netwidth 增加到 512，以提高网络容量。
- decay_iteration：初始化阶段的迭代次数。数据驱动的损失将在每 1000 * decay_iteration 步骤后衰减。我们已更新代码，可自动计算衰减迭代次数。
- no_ndc：我们当前的实现仅支持 NDC 空间中的重建，这意味着它仅适用于面向前方的场景，与原始 NeRF 相同。
- use_motion_mask、num_extra_sample：是否在初始化阶段使用估计的粗略运动分割掩码进行困难样本挖掘，以及初始化阶段额外添加多少样本。
- w_depth、w_optical_flow：论文中描述的单目深度和几何一致性先验损失的权重。对于大多数视频，权重设置为 (0.4, 0.2) 或 (0.2, 0.1) 通常效果最佳。
- 如果最终渲染出现明显的鬼影现象，您可以尝试参考 链接 中的建议。
动态场景数据集评估
从 链接 下载动态场景数据集 “dynamic_scene_data_full.zip”。
从 链接 下载预训练模型 “dynamic_scene_pretrained_models.zip”，解压后将其放入 “nsff_exp/logs/” 文件夹中。
对每个场景运行以下命令，以获得论文中报告的定量结果：
# 使用方法：configs/config_xxx.txt 表示每个场景的名称，例如 nsff/configs 中的 config_balloon1-2.txt
python evaluation.py --config configs/config_xxx.txt
- 注意：您必须使用此分支中包含的修改版 LPIPS 实现，才能按照论文描述仅测量动态区域的 LIPIS 误差。
致谢
该代码基于多项先前工作的实现：
- https://github.com/sniklaus/softmax-splatting
- https://github.com/yenchenlin/nerf-pytorch
- https://github.com/JKOK005/dVRK-Linear-Interpolator-
- https://github.com/richzhang/PerceptualSimilarity
- https://github.com/intel-isl/MiDaS
- https://github.com/princeton-vl/RAFT
- https://github.com/NVIDIA/flownet2-pytorch
许可证
本仓库采用 MIT 许可证 发布。
引用
如果您认为我们的代码或模型有用，请考虑引用我们的论文：
@InProceedings{li2020neural,
title={Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes},
author={Li, Zhengqi and Niklaus, Simon and Snavely, Noah and Wang, Oliver},
booktitle = {IEEE/CVF 计算机视觉与模式识别会议（CVPR）论文集},
year={2021}
}
常见问题
相似工具推荐
Deep-Live-Cam
Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。 这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。 其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。
scikit-learn
scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。 对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。 其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最