Luce：基于可重光照高斯的 3D 资产生成

Mayank Singh、Michele Stoppa、Alvise Memo、Rui Yu、Sree Harsha Kalli、Srimanth Gunturi、Muhammad Ahmed Riaz、Behrooz Shahsavari、Waleed Abdulla、David E. Jacobs

查看论文

高质量的图生 3D 生成需要一种 3D 表示，同时记录几何与外观。为支持重光照并接入标准渲染管线，该表示还应包含基于物理的渲染（PBR）模态，如反照率、金属度-粗糙度和表面法线。本文提出 Luce，一种在体素化的多模态高斯云中统一几何与 PBR 材质的 3D 表示，为每种模态使用专门的高斯基元。变分自编码器将该表示压缩到材质感知的统一潜空间。整流流 Transformer 从单张图像生成该潜码，以预训练图像编码器的多层特征为条件，兼顾语义上下文和空间细节。该潜码随后解码为可重光照的 PBR 高斯，以及可选的带切空间法线贴图的纹理网格。在 Toys4K 数据集上，Luce 实现了最先进的单图生 3D 生成，相对最强基线 FID 提升 28%。本文还推出了一个 AI 生成图像基准，在该基准上 Luce 将 CLIP 图像对齐分数从最强基线的 0.8299 提升到 0.8519。Luce 生成的资产可重光照、几何精确、材质保真，并能保留文字、Logo、刻字等细节。