苹果的研究人员又带来了一项伟大的科技发明，名为HUGS（Human Gaussian Splats）。HUGS利用3D高斯矩阵分布技术，可以根据视频创建可动的3D人物角色。
《实时辐射场渲染的3D高斯矩阵分布》是一种渲染技术，利用3D高斯矩阵来表示场景，从而可以将2D素材合成为3D场景。Bad Decisions Studio通过将著名电影片段转化为3D场景，并在DCC软件中进行编辑，很好地展示了这项技术的能力。
HUGS通过使用少量（50-100帧）的单目视频，让算法在30分钟内学习分离静态场景和可完全动画化的人物角色。
研究人员表示：“我们利用SMPL人体模型初始化人体高斯矩阵。为了捕捉SMPL模型未能建模的细节（例如服装、头发），我们允许3D高斯矩阵偏离人体模型。将3D高斯矩阵应用于动画人物带来了新的挑战，包括在调整高斯矩阵时产生的伪影。”
据研究人员称，这种方法可以合成新的姿势和视角。渲染速度可达60帧每秒，而训练时间比其他作品快约100倍。
HUGS似乎是苹果NeuMan的延续，NeuMan是苹果的框架，可以从单个视频中重建人物和场景。在NeuMan中，作者训练了两个NeRF模型来估计大致的几何形状，并从观察空间创建了到规范独立姿势空间的变形场。
尽管视频到3D的方法并不是新鲜事物，但它们通常不使用3D高斯矩阵分布。如果你对这个领域感兴趣，请查看以下文章：
- 研究人员揭示了一种从视频中重建3D人体动作的新解决方案
- Vid2Avatar：从视频中重建3D人物角色
- 3Dpresso：将视频转化为3D模型的新型AI软件
- NVIDIA推出新的AI模型，将2D视频转化为3D结构
- 新一代方法将2D图像转化为3D模型
本文来自投稿，不代表TePhone特锋手机网立场，如若转载，请注明出处：https://www.tephone.com/article/1962
