谷歌DeepMind团队最近发布了一项名为SMERF（流式内存高效辐射场）算法的重大突破，该算法在移动设备上实时渲染高质量三维场景方面取得了令人惊叹的进展，被业内专家誉为“移动端视觉体验的里程碑”。
SMERF算法成功地克服了多个视觉重建算法的限制，以每秒60帧的流畅渲染速度，实现了在移动设备上对300平米范围内场景的实时渲染，并将细节展现到厘米级。这一成果不仅超越了目前最先进的Zip-NeRF算法，还是首个能够在移动设备上实现大场景实时交互的NeRF方案。
SMERF算法采用了独特的模型框架，它利用多个子模型进行场景渲染。每个子模型携带了整个场景的信息，但只在负责的区域实现高精度渲染。这些子模型之间实现了无缝衔接，并且在用户浏览场景时动态调度和切换，使过渡感无感知。
这种分块策略极大地提升了模型处理复杂光照和几何结构的能力。子模型只加载必要的数据，有效降低了移动设备的内存和计算成本。同时，通过Deferred MLP参数插值的配合，SMERF能够高质量地再现与视角相关的效果。
业内专家表示，SMERF算法开创了移动端NeRF应用的新纪元，人们很快就能通过手机和AR眼镜实时浏览高保真的数字孪生场景。这为移动社交、数字娱乐、虚拟空间等应用领域带来了革命性的机遇。未来，移动设备将迎来前所未有的视觉体验革新。
SMERF算法基于流式内存高效辐射场原理，是NeRF算法的重大升级。其目标是解决当前视觉合成算法在高质量渲染和快速交互之间的矛盾。NeRF系列算法利用神经网络存储场景的辐射属性，并通过射线追踪合成视图。这种方法可以生成逼真的视觉效果，但计算量巨大，在移动设备上难以实时运行。而SMERF算法通过独特的训练框架，成功实现了移动设备上的实时NeRF渲染。
SMERF算法的训练过程包括训练一个包含整个场景信息的教师网络，然后将教师网络分解为多个子网络，每个子网络专注于表示场景的一部分，也就是流式子模型。这些子模型可以相互转换，当用户浏览场景时，系统会即时替换不需要的子模型并加载所需的子模型。每个子模型都完整保存了场景的信息，因此渲染速度快且内存消耗低。
通过这一重大突破，移动设备将能够实时呈现逼真的三维场景，为用户提供更加沉浸式的视觉体验。
原创文章，作者：cl15，如若转载，请注明出处：https://www.tephone.com/article/1695
