本地光场融合

项目 | 视频 | 论文

基于稀疏输入图像进行新视图合成的 TensorFlow 实现。

本地光场融合：具有指导性采样准则的实用视图合成
Ben Mildenhall*¹, Pratul Srinivasan*¹, Rodrigo Ortiz-Cayon², Nima Khademi Kalantari³, Ravi Ramamoorthi⁴, Ren Ng¹, Abhishek Kar^2
1加州大学伯克利分校，²Fyusion 公司，³德克萨斯农工大学，⁴加州大学圣地亚哥分校
*表示共同第一作者
发表于 SIGGRAPH 2019

目录

• 安装速览：设置并渲染一个演示场景
• 完整安装说明
  • 手动安装
  • Docker 安装
• 使用您自己的输入图像进行视图合成
  • 快速入门：从您的图像压缩包中渲染一段视频
• 通用分步使用方法
  • 1. 恢复相机位姿
  • 2. 生成 MPI
  • 3. 渲染新视图
• 不运行 COLMAP 而使用您自己的位姿
• 故障排除
• 引用

安装速览：设置并渲染一个演示场景

首先安装 docker（安装指南）和 nvidia-docker（安装指南）。

在根目录下运行以下命令以下载预训练检查点、拉取 Docker 镜像，并执行代码以在一个示例输入数据集上生成 MPI 和渲染输出视频：

bash download_data.sh
sudo docker pull bmild/tf_colmap
sudo docker tag bmild/tf_colmap tf_colmap
sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap bash demo.sh

此时应会在 data/testscene/outputs/test_vid.mp4 中生成类似这样的视频：

如果一切正常，那么您就可以开始处理您自己的图像了！运行

sudo nvidia-docker run -it --rm --volume /:/host --workdir /host$PWD tf_colmap

进入 Docker 容器内的 shell，并直接跳转到使用您自己的输入图像进行视图合成一节。

完整安装说明

您可以手动安装所需依赖，也可以使用我们提供的 Dockerfile 构建 Docker 镜像。

无论哪种方式，首先都需要下载本仓库，然后运行 download_data.sh 脚本来下载预训练模型和示例输入数据集：

bash download_data.sh

安装好依赖后，尝试从根目录运行 bash demo.sh。（如果使用 Docker，则在容器内运行。）这应该会生成“安装速览”部分中展示的视频，位于 data/testscene/outputs/test_vid.mp4。

手动安装

• 安装 CUDA、TensorFlow、COLMAP、ffmpeg
• 安装所需的 Python 包：

pip install -r requirements.txt

• 可选：在 cuda_renderer/ 目录下运行 make。
• 可选：在 opengl_viewer/ 目录下运行 make。您可能需要安装 GLFW 或其他 OpenGL 库。对于 GLFW：

sudo apt-get install libglfw3-dev

Docker 安装

要在您自己的机器上构建 Docker 镜像，这可能需要 15–30 分钟：

sudo docker build -t tf_colmap:latest .

或者直接下载镜像（约 6GB）：

sudo docker pull bmild/tf_colmap
sudo docker tag bmild/tf_colmap tf_colmap

之后，您可以启动容器内的交互式 Shell：

sudo nvidia-docker run -it --rm --volume /:/host --workdir /host$PWD tf_colmap

从这个 Shell 中，仓库中的所有代码都应该可以正常运行（除了 opengl_viewer）。

要在 Docker 容器内运行任意单个命令 <command...>：

sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap <command...>

使用您自己的输入图像进行视图合成

我们的方法接收一组静态场景的图像，将每张图像提升为局部分层表示（MPI），并通过混合由这些 MPI 渲染的局部光场来生成新视图。更多细节请参阅我们的论文。

作为经验法则，您应使用视差不超过约 64 像素的图像（观察靠近相机的物体，确保它在相邻图像之间移动不超过水平视场的约 1/8）。我们的数据集通常包含 20–30 张手持拍摄、大致呈网格状排列的图像。

快速入门：从您的图像压缩包中渲染一段视频

您可以使用 zip2mpis.sh Bash 脚本，快速从您拍摄的输入图像压缩包中渲染出新视图帧和 .mp4 视频。

bash zip2mpis.sh <zipfile> <your_outdir> [--height HEIGHT]

height 是输出视频的高度（以像素为单位）。我们建议使用 360 像素的高度来快速生成结果。

通用分步使用方法

首先创建一个场景基础目录（例如 scenedir/），并将你的图像复制到名为 images/ 的子目录中（例如 scenedir/images）。

1. 恢复相机位姿

此脚本调用 COLMAP 运行运动恢复结构算法，以获取场景的六自由度相机位姿以及近、远深度边界。

python imgs2poses.py <your_scenedir>

2. 生成 MPIs

此脚本使用我们预训练的 TensorFlow 图（请确保它存在于 checkpoints/papermodel 中），根据已定位的图像生成 MPIs。生成的 MPIs 将保存在 <your_mpidir> 目录中，该目录将由脚本自动创建。

python imgs2mpis.py <your_scenedir> <your_mpidir> \
    [--checkpoint CHECKPOINT] \
    [--factor FACTOR] [--width WIDTH] [--height HEIGHT] [--numplanes NUMPLANES] \
    [--disps] [--psvs] 

你应最多设置 factor、width 或 height 中的一个来确定输出 MPI 分辨率（factor 会将输入图像尺寸按整数倍缩小，例如 2、4、8；而 height 和 width 则直接将输入图像缩放到指定的高度或宽度）。numplanes 默认为 32。checkpoint 默认设置为下载的检查点。

示例用法：

python imgs2mpis.py scenedir scenedir/mpis --height 360

3. 渲染新视角

你可以生成一组新视角的相机位姿并渲染成视频，或者在我们的交互式 OpenGL 查看器中加载保存的 MPIs。

生成新视图路径的位姿

首先，通过调用以下命令生成平滑的新视图路径：

python imgs2renderpath.py <your_scenedir> <your_posefile> \
	[--x_axis] [--y_axis] [--z_axis] [--circle][--spiral]

<your_posefile> 是脚本将创建的输出 .txt 文件的路径，其中包含用于渲染新视角的相机位姿。五个可选参数指定了相机的运动轨迹。x/y/z-axis 选项分别沿相机的三个轴做直线运动，“circle” 是在相机平面内绕圈运动，“spiral” 则是在绕圈的同时沿 z 轴上下移动。

示例用法：

python imgs2renderpath.py scenedir scenedir/spiral_path.txt --spiral

这些路径轨迹的生成代码可在 llff/math/pose_math.py 中找到。

使用 CUDA 渲染视频

你可以在 cuda_renderer/ 目录下通过运行 make 来构建此工具。

该工具利用 CUDA 渲染视频。需指定输出视频的高度（以像素为单位；-1 表示与 MPI 相同分辨率）、裁剪视频边缘的因子（默认为 1.0，即不裁剪）以及保存的 MP4 文件的压缩质量（crf 值；默认为 18，0 表示无损，12–28 为合理范围）。

./cuda_renderer mpidir <your_posefile> <your_videofile> height crop crf

<your_videofile> 是 FFmpeg 将写入的视频文件路径。

示例用法：

./cuda_renderer scenedir/mpis scenedir/spiral_path.txt scenedir/spiral_render.mp4 -1 0.8 18

使用 Tensorflow 渲染视频

使用 Tensorflow 渲染视频（速度约为 CUDA 渲染器的 1/100）。可选地，指定每次渲染时混合多少个 MPIs（默认为 5）以及裁剪视频边缘的因子（默认为 1.0，即不裁剪）。

python mpis2video.py <your_mpidir> <your_posefile> videofile [--use_N USE_N] [--crop_factor CROP_FACTOR]

示例用法：

python mpis2video.py scenedir/mpis scenedir/spiral_path.txt scenedir/spiral_render.mp4 --crop_factor 0.8

交互式 OpenGL 查看器

控制方式：

• ESC 键退出
• 移动鼠标可在相机平面内平移
• 点击并拖动可旋转相机
• 滚动鼠标可调整焦距（缩放）
• 按下 ‘L’ 键可播放圆形渲染路径动画

OpenGL 查看器无法在 Docker 容器中使用。

你需要安装 OpenGL，尤其是 GLFW：

sudo apt-get install libglfw3-dev

你可以在 opengl_viewer/ 目录下通过运行 make 来构建查看器。

一般使用方法（在 opengl_viewer/ 目录下）是：

./opengl_viewer mpidir

不使用 COLMAP 直接使用自定义位姿

下面我们解释 poses_bounds.npy 文件的格式。该文件存储一个大小为 Nx17 的 NumPy 数组（N 为输入图像的数量）。其加载方式可见此处的三行代码：链接。每行 17 个元素会被重塑为一个 3x5 的位姿矩阵和两个深度值，分别表示从该视角观察到的场景中最接近和最远处的内容。

位姿矩阵是一个 3x4 的相机到世界坐标系的仿射变换，并在其后附加一个 3x1 列向量 [图像高度, 图像宽度, 焦距] 来表示相机的内参（我们假设主点位于图像中心，且 x 和 y 方向的焦距相同）。

旋转部分（相机到世界变换中的前 3x3 块）采用右手坐标系，具体方向如下：从相机视角来看，三个轴分别为 [向下, 向右, 向后]，这也可以被视为 [-y, x, z]，其中相机视线沿 -z 方向。而更常见的坐标系 [x, y, z] 则对应 [向右, 向上, 向后]。COLMAP 使用的坐标系则是 [向右, 向下, 向前]，即 [x, -y, -z]。

如果你已经拥有一组 3x4 的相机到世界坐标系位姿、焦距以及近、远深度边界，那么重新创建 poses_bounds.npy 的步骤如下：

1. 确保你的位姿是相机到世界坐标系的格式，而非世界到相机的格式。
2. 确保你的旋转矩阵的列向量符合正确的坐标系 [向下, 向右, 向后]。
3. 将每个位姿与 [高度, 宽度, 焦距] 内参向量拼接，得到一个 3x5 的矩阵。
4. 将这些矩阵展平为 15 个元素，并附加近、远深度值。
5. 将这些 17 元素的向量堆叠成一个 Nx17 的矩阵，然后使用 np.save 将其保存为 poses_bounds.npy，存放在场景的基础目录中（与 images/ 目录同级）。

以上内容应能解释 COLMAP 后的位姿处理过程。

故障排除

• PyramidCU::GenerateFeatureList: an illegal memory access was encountered: 某些机器配置可能会导致运行 imgs2poses.py 脚本时出现问题。 解决方法之一是设置环境变量 CUDA_VISIBLE_DEVICES。如果问题仍然存在，请尝试取消注释 这一行，以阻止 COLMAP 使用 GPU 提取图像特征。
• 黑屏: 在最新版本的 macOS 中，OpenGL 在窗口被拖动或调整大小之前会初始化一个黑屏上下文。如果遇到此问题，请将窗口拖动到其他位置。
• COLMAP 失败: 如果出现“无法注册，正在尝试另一张图像”的提示，你可能需要调整 COLMAP 的优化参数，或拍摄更多场景图像。详情请参阅 此处。

引用

如果您觉得本文对您的研究有帮助，请引用以下论文。

@article{mildenhall2019llff,
  title={局部光场融合：基于指导性采样准则的实用视图合成},
  author={本·米尔登霍尔、普拉图尔·P·斯里尼瓦桑、罗德里戈·奥尔蒂斯-卡永、尼玛·哈德米·卡兰塔里、拉维·拉马穆尔蒂、任·吴、阿比谢克·卡尔},
  journal={ACM 图形学汇刊（TOG）},
  year={2019},
}

LLFF 快速上手指南

LLFF (Local Light Field Fusion) 是一个基于稀疏输入图像进行新视角合成（Novel View Synthesis）的 TensorFlow 实现。它通过将每张图像提升为局部多层表示（MPI），并融合这些局部光场来渲染新的视角。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 支持 CUDA 的 NVIDIA 显卡
• Docker: 推荐使用 Docker 方案以简化依赖安装

前置依赖

若选择手动安装，需自行配置以下环境：

• CUDA Toolkit
• TensorFlow (GPU 版本)
• COLMAP (用于运动恢复结构 SfM)
• ffmpeg
• Python 依赖包 (pip install -r requirements.txt)
• (可选) OpenGL 库 (如 libglfw3-dev，用于交互式查看器)

注意：官方未提供中国镜像源，建议使用国内云服务商提供的 Docker 镜像加速服务或 PyPI 镜像加速 pip 安装。

安装步骤

推荐使用 Docker 方式安装，可避免复杂的环境配置问题。

1. 安装 Docker 和 nvidia-docker

请参照官方文档安装 Docker 及 NVIDIA Container Toolkit：

• Docker: https://docs.docker.com/install/linux/docker-ce/ubuntu/
• nvidia-docker: https://github.com/NVIDIA/nvidia-docker

2. 下载代码与预训练模型

克隆仓库并运行数据下载脚本：

git clone https://github.com/Fyusion/LLFF.git
cd LLFF
bash download_data.sh

3. 获取 Docker 镜像

你可以选择拉取官方预构建镜像（约 6GB）或自行构建：

方案 A：拉取预构建镜像（推荐）

sudo docker pull bmild/tf_colmap
sudo docker tag bmild/tf_colmap tf_colmap

方案 B：自行构建镜像（耗时约 15-30 分钟）

sudo docker build -t tf_colmap:latest .

基本使用

以下流程演示如何快速处理一组图片并生成新视角视频。

1. 验证安装（运行示例场景）

在 LLFF 根目录下运行以下命令，系统将自动下载测试数据、生成 MPI 并输出演示视频：

sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap bash demo.sh

成功执行后，将在 data/testscene/outputs/test_vid.mp4 生成输出视频。

2. 处理自己的图片

假设你有一组静态场景的照片（建议 20-30 张，手持拍摄呈网格状，视差不要过大）。

方法 A：一键快速生成（推荐）

如果你将图片打包成了 zip 文件，可以直接使用脚本生成视频：

bash zip2mpis.sh <your_images.zip> <output_directory> [--height 360]

• <your_images.zip>: 包含输入图片的压缩包。
• <output_directory>: 输出目录。
• --height: 输出高度像素（推荐 360 以加快生成速度）。

方法 B：分步详细流程

如果需要更精细的控制，请按以下步骤操作：

步骤 1：准备目录 创建场景目录并将图片放入 images 子文件夹：

mkdir scenedir
mkdir scenedir/images
cp /path/to/your/photos/*.jpg scenedir/images/

步骤 2：恢复相机姿态 (Recover Camera Poses) 调用 COLMAP 计算相机位姿和深度边界：

sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap python imgs2poses.py scenedir

步骤 3：生成 MPI (Generate MPIs) 利用预训练模型生成多层平面图像：

sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap python imgs2mpis.py scenedir scenedir/mpis --height 360

步骤 4：生成新视角路径 定义相机运动轨迹（例如螺旋线）：

sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap python imgs2renderpath.py scenedir scenedir/spiral_path.txt --spiral

步骤 5：渲染视频 使用 CUDA 加速器渲染最终视频：

# 进入容器内部编译并使用 cuda_renderer (首次需编译)
sudo nvidia-docker run -it --rm --volume /:/host --workdir /host$PWD tf_colmap bash -c "cd cuda_renderer && make && ./cuda_renderer scenedir/mpis scenedir/spiral_path.txt scenedir/result.mp4 -1 0.8 18"

• -1: 输出高度与 MPI 一致。
• 0.8: 边缘裁剪因子。
• 18: FFmpeg 压缩质量 (CRF)。

完成上述步骤后，即可在指定目录找到生成的新视角合成视频。