用于估计3D照明的新数学表示法有望为MR渲染方法带来巨大飞跃。同时从一幅图像中估计反照率、法线、深度和三维空间变化照明通常是一项挑战。现有方法的问题是，它们只是图像到图像的转换，忽略了场景的3D属性。毫不奇怪，室内场景的2D表示不足以捕捉光线在3D空间中的移动。

根据早前公布的一份论文，英伟达、多伦多大学和Vector Institute的研究人员提出了一种新颖的方法来估计反射率，形状和三维空间变化照明，并通过以3D照明表示的端到端可训练方式来实现完整的渲染过程。他们提出了一种用于照明的Volumetric Spherical Gaussian体三维球形高斯表示法，亦即一种用于场景曲面的体素单位表示法：首先使用体三维球面高斯来表示整个场景中的表面辐射（包括可见表面和视场外表面），然后通过标准体三维渲染技术来渲染任何空间位置和视角的照明。

其中，每个体素都指定一组球形高斯参数，并用于控制其光源的发射方向和锐度。这样，系统就可以处理强定向照明而不会出现任何问题。由于HDR照明缺乏ground truth，研究团队设计了基于光追的可微分渲染器。它可以用来描述一种保持能量的图像形成过程。最终结果是，渲染器可以确保估计在不牺牲精度的情况下保持物理正确。

根据研究论文，研究团队提出的方法优于现有的最先进的Inverse Rendering逆向渲染和光照估计方法。研究人员同时引入了一个Holistic Monocular Inverse Rendering框架，以联合估计反照率、法线、深度和HDR光场。所提出的体三维球形高斯表示能够显著提高高频细节的估计和处理效率。尽管只使用LDR图像进行了训练，但模型能够正确估计HDR照明，并且能够为诸如插入虚拟对象的AR应用生成图片真实感效果，即便是高镜面反射对象都能如此。

我们不难想象，这种工具能够大大提升增强现实应用中建模的前景。当然，团队承认目前的方法依然存在提升的空间，并将继续优化迭代。

原文来自https://news.nweon.com/90480