在现实生活中，我们接触的大多数视频都是 2D 的。在观看这种视频时，我们是没有办法选择观看视角的，比如走到演员中间，或者走到空间的某个角落。VR、AR 设备的出现弥补了这一缺陷，它们提供的 3D 视频允许我们变换视角、甚至随意走动，沉浸感大大提升。

但是，这种 3D 动态场景的合成一直是个难点，无论是在画质上还是流畅度上。

最近，来自浙江大学、像衍科技和蚂蚁集团的研究者对这个问题发起了挑战。在一篇题为「4K4D: Real-Time 4D View Synthesis at 4K Resolution」的论文中，他们提出了一种名为4K4D的点云表示方法，大大提升了高分辨率3D动态场景合成的渲染速度。具体来说，使用 RTX 4090 GPU，他们的方法能以 4K 分辨率进行渲染，帧率可达80 FPS；以1080p分辨率进行渲染时，帧率可达400FPS。总体来看，它的速度是以前方法的30多倍，而且渲染质量达到了SOTA。

动态视图合成旨在从捕获的视频中重建动态 3D 场景，并创建沉浸式虚拟回放，这是计算机视觉和计算机图形学中长期研究的问题。这种技术实用性的关键在于它能够以高保真度实时渲染，使其能够应用于 VR/AR、体育广播和艺术表演捕捉。传统方法将动态 3D 场景表示为纹理网格序列，并使用复杂的硬件进行重建。因此，它们通常仅限于受控环境。

最近，隐式神经表示在通过可微渲染从 RGB 视频重建动态 3D 场景方面取得了巨大成功。例如《Neural 3d video synthesis from multi-view video》将目标场景建模为动态辐射场，利用体渲染合成图像，并与输入图像进行对比优化。尽管动态视图合成结果令人印象深刻，但由于网络评估昂贵，现有方法通常需要几秒钟甚至几分钟才能以 1080p 分辨率渲染一张图像。

受静态视图合成方法的启发，一些动态视图合成方法通过降低网络评估的成本或次数来提高渲染速度。通过这些策略，MLP Maps 能够以 41.7 fps 的速度渲染前景动态人物。然而，渲染速度的挑战仍然存在，因为 MLP Maps 的实时性能只有在合成中等分辨率（384×512）的图像时才能实现。当渲染 4K 分辨率的图像时，它的速度降低到只有 1.3 FPS。

在这篇论文中，研究者提出了一种新的神经表示 ——4K4D，用于建模和渲染动态 3D 场景。如图 1 所示，4K4D 在渲染速度上明显优于以前的动态视图合成方法，同时在渲染质量上具有竞争力。

作者表示，他们的核心创新在于 4D 点云表示和混合外观模型。具体而言，对于动态场景，他们使用空间雕刻算法获得粗点云序列，并将每个点的位置建模为可学习向量。他们还引入 4D 特征网格，为每个点分配特征向量，并将其输入 MLP 网络，以预测点的半径、密度和球谐函数（SH）系数。4D 特征网格自然地在点云上应用了空间正则化，使得优化更加稳健。基于 4K4D，研究者开发了一种可微深度剥离算法，利用硬件光栅化实现前所未有的渲染速度。

研究者发现，基于 MLP 的 SH 模型难以表示动态场景的外观。为了缓解这个问题，他们还引入了一个图像混合模型来与 SH 模型结合，以表示场景的外观。一个重要的设计是，他们使图像混合网络独立于观看方向，因此可以在训练后预先计算，以提高渲染速度。作为一把双刃剑，该策略使图像混合模型沿观看方向离散。使用连续 SH 模型可以弥补这个问题。与仅使用 SH 模型的 3D Gaussian Splatting 相比，研究者提出的混合外观模型充分利用了输入图像捕获的信息，从而有效地提高了渲染质量。

为了验证新方法的有效性，研究者在多个广泛使用的多视图动态新视图合成数据集上评估了 4K4D，包括 NHR、ENeRF-Outdoo、DNA-Rendering 和 Neural3DV。广泛的实验表明，4K4D 不仅渲染速度快了几个数量级，而且在渲染质量方面也明显优于 SOTA 技术。使用 RTX 4090 GPU，新方法在 DNA-Rendering 数据集上达到 400 FPS，分辨率为 1080p；在 ENeRF-Outdoor 数据集上达到 80 FPS，分辨率为 4k。

方法介绍

给定捕获动态 3D 场景的多视图视频，本文旨在重建目标场景并实时地进行视图合成。模型架构图如图 2 所示：