← 文章 / 编程开发
Hacker News 5天前 · 2026-11-17 12:14:42 · 8 阅读

提升Three.js原生画质至AAA游戏引擎级别的探索

前篇第二部分 为室内场景选定了一套管线:烘焙光贴图、光照探针与反射探针,再叠加 SSR、SSGI 与环境光遮蔽。下文将逐阶段对照,看看这套游戏管线对 Three.js 有何要求、Three.js 现有哪些能力、又缺了哪些部分。

管线构成#

该管线分为两部分。首先是准备阶段,需填充三个缓存:用于静态网格的光贴图、用于动态物体的光照探针网格、以及为每个房间准备的反射探针。

准备阶段:三个缓存
准备阶段:三个缓存

随后,每一帧读取这些缓存,并在此之上执行屏幕空间计算:

管线中的一帧
管线中的一帧

现状盘点#

阶段Three.js 中现有评审中或草案仍待实现
G-bufferMRT 预通道八面体法线
烘焙全局光照lightMap、解包器、烘焙器、射线辐射、降噪器、HDR JPEG XL接缝拼接、KHR_lightmap(草案)glTF 的 JPEG XL 与 UltraHDR 扩展、运行时 BC6H
动态全局光照LightProbeGrid、烘焙速度提升 8 倍、多反弹、帧间分批更新DDGI 可见性(草案)—
光遮蔽 GTAO、builtinAOContext、来自 SSGINode 的 AOBent normals 和 GTSO(草稿)、联合双边上采样(草稿)来自 SSGINode 的 bent normals
SSR随机 GGX SSR、时间累积、多次弹射上一帧追踪、Hi-Z 追踪(草稿)、radiance 与 coverage 输出(草稿)、降噪器中的 coverage(草稿)光线复用、两次查找的历史、跳过镜面与漫反射像素
SSGISSGINode,一次地平线搜索同时得到弹射光和 AO,合成到最终图像之上上一帧追踪(草稿)coverage 输出,作为 BRDF 的漫反射来源
反射探针单盒体投影环境贴图、PMREM探针系统(草稿)、cube arrays探针归一化、128² 预过滤
BRDF 集成AO context、环境光回退—可插拔的间接高光与漫反射、coverage 级联
TRAA 和 TAAUTRAA node、TAAU nodeCatmull-Rom 历史(草稿)、静止时更宽的裁剪及测试工具(草稿)TAAU 融入完整管线、纹理 mip bias、把 TRAA 的改进移植到 TAAU

目前最大的缺口在 SSR、SSGI 和 BRDF 这几行:SSR 需要 Hi-Z 追踪和 coverage,SSGI 需要同样的 coverage,而最关键的是把这两条级联接入 BRDF 的可插拔间接光照。

进展之所以如此迅速,离不开 Three.js 维护团队的支持。Michael Herzog(@Mugen87)审阅了其中大多数 PR,且不止一次将其重构为更优的设计,以契合 Three.js 的整体架构,甚至调整渲染器内部结构来适配新功能。mrdoob 也对其中多项提议表达了强烈支持。能同时得到这两位的帮助,我倍感幸运。

不过迄今为止,这些改动都是逐个提案和审阅的。没有人被要求承诺支持整个方案。本系列文章旨在将这些部分整合起来,呈现全貌,以便每个 PR 既能评估其功能,也能判断其在整体中的定位。

逐阶段解析管线#

G-buffer#

游戏引擎的需求。SSR(屏幕空间反射)、GTAO(环境光遮蔽)和降噪器在光照之前于屏幕空间运行,因此需要逐像素的深度、法线、粗糙度、金属度和运动向量。延迟渲染引擎还会存储基础颜色和自发光,因为其光照通道仅读取 G-buffer。Three.js 采用前向渲染,其 beauty pass 直接从材质读取这些数据,因此 G-buffer 每像素仅占 16 字节。第二部分详细介绍了其内存布局及整帧的内存预算。

Three.js 现状。WebGPURenderer 已经支持使用多个渲染目标(MRT)渲染 G-buffer 预通道,目前的SSR 示例正使用它:

const scenePass = pass( scene, camera );
scenePass.setMRT( mrt( {
	output: output,
	diffuseColor: vec4( diffuseColor.rgb, materialMetalness ),
	normal: vec4( packNormalToRGB( normalView ).rgb, materialRoughness ),
	velocity: velocity
} ) );

缺失之处。法线精度。SSR 对法线误差毫无容忍度:射线若从一个略微错误的法线反射,在长距离追踪后,落点会出现明显的视觉偏差。如果使用 RGB8 法线,光滑的弯曲表面会吸附到有限的方向集合上,导致其反射出现条带化和聚集现象。

AAA 游戏的 G-buffer 采用八面体编码:把方向球面折叠到八面体上,展开成正方形,存储两个坐标。这是 Cigolle 等人在其调研论文中,同等体积下精度最高的编码方式。PR #35480 新增了 packNormalToOctahedral() 和 unpackOctahedralToNormal():

编码方式(每像素 4 字节)平均误差最大误差可用性
RGB8(当前)0.17°0.38°所有平台
八面体 RG16F0.011°0.040°所有 WebGPU 平台
八面体 RG16 snorm0.0013°0.0037°93% 的 WebGPU 设备

首选 RG16 snorm,回退方案为 RG16F。

RGB8 法线(左)与八面体 RG16F 法线(右)的反射效果对比。
RGB8 法线(左)与八面体 RG16F 法线(右)的反射效果对比。
法线误差:RGB8(左)与八面体 RG16F(右)。
法线误差:RGB8(左)与八面体 RG16F(右)。

全局光照#

游戏的需求。对静态物体把弹射光烘焙进 lightmap,再用探针体积来照亮动态物体,理想情况下这个探针体积不会让光透过墙壁泄漏。

Three.js 现有的能力。所有标准材质都支持 lightMap(光照贴图),现在浏览器内已有一套完整的烘焙流水线来生成光照贴图,参见第四部分。针对动态物体,LightProbeGrid 在场景中布置一个探针网格,每个探针以 L2 阶球谐函数存储入射光,并根据周围探针为物体提供光照(示例)。

由 LightProbeGrid 照亮的 Sponza 场景。
由 LightProbeGrid 照亮的 Sponza 场景。

该网格之前的瓶颈在于捕获耗时。性能分析显示,烘焙主要受限于 CPU 在提交渲染通道上的开销,因此批量捕获功能利用单个阵列相机,每帧渲染 8 个探针。分辨率 12 的网格烘焙时间从 5.6 秒缩短至 1.2 秒,随后通过针对每个绘制调用进行子摄像机剔除,速度再次翻倍。如今,网格的烘焙速度已比 9 月初快了约 8 倍,足以每帧重新捕获少量探针,并支持多反弹光照。此外,精确积分球谐函数将其误差从 2.4% 降低到了 0.08%。

缺失的功能。探针存在光泄漏问题:墙一侧的探针可能会照亮另一侧的物体,导致黑暗的房间里透出隔壁亮室的光线。DDGI 通过在每个探针中存储至最近表面的距离场(针对各个方向),并忽略无法看到被照亮点的探针,解决了这一难题。我已实现DDGI 风格的可见性加权,并作为草稿 PR 提交。由于对所有 8 个周边探针进行测试开销较大,草稿采用了四面体插值,仅混合 4 个探针:

在 Sponza 场景中增加的渲染时间
8 个探针,三线性插值30%
4 个探针,四面体插值10%
Two rooms with probe visibility weighting.
两个房间,展示了探针可见性加权的效果。

环境光遮蔽与镜面遮蔽#

游戏的要求。Lightmap 精度太低,画不出接触阴影,也完全不了解动态物体。所以游戏会在其之上叠加屏幕空间遮蔽,其中 Activision 的 GTAO 是业界标准。GTAO 还会输出一个 bent normal(弯曲法线),即表面开口的平均朝向,由此得到 镜面遮蔽(GTSO):指向表面凹陷处的反射会被遮蔽,指向开口处的则不会。

Three.js 自带的 Horizon-based SSGI 与 GTAO 使用相同的深度缓冲搜索,并在过程中顺带收集光照。开启 SSGI 时,由它的 pass 提供遮蔽和 bent normal;只有 SSGI 关闭时才运行 GTAO。

遮蔽应用于哪个光源,和它如何计算同样重要。遮蔽存在一个共享缓冲中,通过 builtinAOContext 设置,每个光照来源自行决定是否读取它:

  • Lightmap、探针网格和环境光会把 AO 应用到各自的间接漫反射上,并与材质的 AO 贴图按 min( materialAO, gtao ) 结合。
  • 反射探针和环境光会把 GTSO 应用到各自的间接镜面反射上。
  • SSR 和 SSGI 都不应用遮蔽。屏幕空间的命中是光线实际找到的物体,本身已经是正确的遮蔽结果。
  • SSGI 之下,漫反射来源会跳过 AO。SSGI 的 coverage 表示屏幕上物体遮挡半球的比例,这本身就是遮蔽。级联中已经用 1 − coverage 缩放了 lightmap 或探针网格。
  • 遮蔽只压暗来源的颜色,不改动它的 coverage。如果降低被遮挡探针的 coverage,下一个来源未被遮挡的光就会漏进角落里。

Three.js 的现状。GTAO 已经通过一个 context 向光照输出结果,这正是第 5 部分间接光照设计所沿用的模式:

const aoPass = ao( prePassDepth, prePassNormal, camera );
scenePass.contextNode = builtinAOContext( aoPass.getTextureNode().sample( screenUV ).r );

当前缺失的功能。

  • 镜面遮蔽(Specular occlusion)。 GTAO 输出的是单一的可见度值,光照模型通过启发式算法将其转化为镜面遮蔽。它无法感知光线被遮挡的具体方向,导致金属物体在凹陷处仍会错误地反射天空。关于弯曲法线(Bent normals)和 GTSO 的实现已作为一个草稿 PR 提交(链接)。弯曲法线同样源自水平线搜索,但代价是 AO 目标纹理的内存占用从每像素 1 字节增至 4 字节。
  • 边缘感知的上采样(Edge-aware upsampling)。 半分辨率 GTAO 经过双线性上采样后,物体边缘会留下深色轮廓。jointBilateralUpsample() 利用全分辨率的深度和法线作为引导(参见 Kopf 等人,2007),使结果在边缘处准确截止。该方案目前仍处于草稿阶段,尚未正式提交;半分辨率的 SSR 和 SSGI 同样需要这种滤波器。
  • 从 SSGINode 获取弯曲法线,使得在开启 SSGI 时,镜面遮蔽无需进行额外的 Pass 计算。
GTSO(左)和标量镜面遮蔽(右)。
GTSO(左)和标量镜面遮蔽(右)。

屏幕空间反射#

关于 SSR 有一个独立系列:修复 Three.js 的屏幕空间反射。本部分仅为摘要。

游戏引擎的要求。 商业引擎遵循一套通用配方,其来源及细节见《游戏如何实现屏幕空间反射,以及 Three.js 采取了何种替代方案》。在级联结构(Cascade)中,SSR 必须做到:

  1. 追踪上一帧的带光照图像,确保在进行当前帧着色之前,反射数据已存在。
  2. 精确追踪任意距离,使用 Hi-Z 深度金字塔实现。
  3. 半分辨率追踪,并在像素间复用光线,这是把追踪耗时压到 1 毫秒以内的关键。
  4. 输出辐亮度和覆盖率,让探针补齐它漏掉的部分。
  5. 对辐亮度和覆盖率降噪,BRDF 则交给材质处理。

Three.js 现状。SSRNode 对完整 GGX 波瓣做重要性采样,带正确的 Fresnel,还能验证并细化命中点,结果经过重投影后随时间累积。追踪采用固定步长的短光线步进。三个 SSR 示例在自己光线长度内分别找到 98%、82% 和 46% 的命中点,耗时 2 到 3 毫秒,缺口由降噪器从邻近像素填补。结果按SSR 示例那样合成到画面上:

const litColor = scenePassColor.rgb.add( denoisedReflections.rgb );

还缺什么。五项要求中四项已有原型或正在评审,只剩光线复用。

精确追踪。Hi-Z 金字塔是一组 mip 链,每个纹素存储它下方四个纹素中的最近深度。光线在粗层级大步穿过空白区域,靠近表面时改为逐像素步进,因此能找到深度缓冲里包含的所有命中点,而且没有需要调节的最大距离限制。我的实现新增了一个 HiZNode,在 compute pass 中构建金字塔。在 1920×1080 分辨率下,与提升到同等命中率的固定步长步进对比:

示例全质量线性步进Hi-Z
ssr_mirror27.6 ms2.9 ms
ssr_stochastic13.7 ms9.2 ms
ssr_animation8.1 ms5.2 ms

这意味着每个像素仍要发射一条光线。半分辨率追踪配合联合双边上采样已经写好,而像素间的光线复用(类似 Frostbite 的做法)还在开发中。完整方案见《低成本下的精确屏幕空间反射》。

Hi-Z ray marching.
Hi-Z 光线步进。

覆盖率。目前,SSR 中未命中的光线会采样环境贴图:即作为 environmentNode 传入的等距柱状投影纹理,而非经 PMREM 滤波的 scene.environment,更谈不上局部探针。在图像上叠加 SSR 还会导致环境反射被计算两次。在级联中,SSR 只输出一项:按覆盖率预乘的辐亮度。命中时覆盖率为 1,未命中为 0,并向屏幕边缘渐变衰减。环境输入和 BRDF 估算则不经过该节点。此功能已作为Three.js 可插拔间接光照的一部分完成原型验证。

追踪上一帧。SSR 读取光照输出,因此不能包含在光照阶段中。DOOM 的解决方案是:追踪当前深度缓冲,但颜色读取上一帧:将每个命中点重投影到上一帧的 TRAA 输出中并在那里采样。若命中点在上一帧深度校验中失败,则覆盖率置零。由于上一帧的图像已包含其自身的反射,镜面反射镜面会逐帧增加一次弹射。上一帧追踪正在审阅中。

该循环需遵循两条规则。SSR 读取的图像必须是线性 HDR 辐亮度,取自 TRAA 之后、色调映射和泛光之前,否则反射会拾取已色调映射的颜色和泛光光晕。此外,回传的辐亮度必须进行钳制,因为每帧的反射都会成为下一帧的输入,一只“萤火虫”(异常高亮像素)会随帧数累积放大。

利用前一帧反馈的反射效果。
利用前一帧反馈的反射效果。

降噪。Three.js 有两个反射降噪器。SSR 示例中搭配使用的 TemporalReprojectNode 和 RecurrentDenoiseNode 会把所有黑色像素视为缺失数据,并用邻近像素的值来填充。这掩盖了光线追踪的漏算,导致探针那边没什么需要补答的。zalo 基于 SVGF 的 DenoiseNode 曾在 SSR 示例中替换掉这对组合,但五天后又被撤了回去。我排查了由此产生的闪烁,根源在于覆盖率信息的缺失:在反射边缘,命中与未命中被当作同一信号的两个样本做了平均,历史帧因此不断重置。

我的 ssr-coverage 分支让覆盖率贯穿 DenoiseNode 的每个阶段,且统计只基于有效覆盖的样本。待办事项还有:双采样历史帧、随粗糙度变化的历史帧上限,以及对镜面和哑光像素的跳过处理。降噪器过滤的是入射光,材质随后再应用 BRDF,因此 G-buffer 无需存储 albedo,也不需要解调制步骤。对比细节和后续计划见《游戏如何为反射降噪,以及 Three.js 的替代方案》。

屏幕空间全局光照#

游戏的要求。把 SSGI 纳入光照流程的引擎,会将其置于烘焙光照之前,作为漫反射级联的第一阶段。这意味着 SSGI 必须输出覆盖率、追踪上一帧的 lit 图像,并以半分辨率做时域累积。

Three.js 现有的能力。 SSGINode 基于 SSRT3 的可见位掩码(visibility-bitmask)方法构建。该方法扩展了 GTAO 的地平线搜索,不仅能收集遮挡,还能采集全局光照(GI)。一次针对 24 个深度样本的搜索能同时生成 GI 纹理和 AO 纹理。与单条随机光线相比,噪声显著降低,因为每个样本都覆盖了一整个方向弧段。SSGI 示例 会对当前帧的美化通道(beauty pass)进行光线追踪,并将其合成到画面上。

缺失的部分。

  • 覆盖率输出。 搜索标记为被遮挡的扇区正是它发现表面的方向,因此覆盖率为 1 − ao,节点本身已计算出该值。目前缺失的是将 GI 及其覆盖率作为一对数据传递给级联纹理,以便 SSGI 在有解的地方替代预烘焙的反弹光。
  • 上一帧追踪。 SSR 在光线落点处按像素读取一次上一帧数据。而 SSGI 在每个发现表面的样本处都要读取,这意味着每个像素需要支付多次重投影(reprojecting)的开销。一份草案在 Apple M3 芯片上测量了不同方案的成本:
重投影方式帧率成本
每个样本按相机运动计算14–22%
每个样本按逐像素速度计算32–44%
按速度计算一次,存入半分辨率缓冲区供搜索直接读取未测得额外成本

第三种方案也能跟随移动物体,且在测试场景中未见可见伪影。

反射探针#

游戏需要什么。室内场景只用一张环境贴图是不够的:从红色房间走进蓝色走廊,地板的反射应该先呈现红色,再呈现蓝色。那篇调研中的每一款游戏,以及 Unreal 的 reflection captures,用的都是局部反射探针(local reflection probes):在每个房间内捕捉一张 cubemap,并配上一个盒子(box)来描述它的影响范围。在盒子内部,探针会做盒投影(box projection),这能消除 cubemap 大部分的视差误差(Lagarde 的文章是这方面的经典解释)。当多个盒子重叠时,探针之间会进行混合。

Three.js 现有的东西。CubeCamera 可以捕捉 cubemap,PMREMGenerator 可以做预滤波,getParallaxCorrectNormal() 可以做盒投影,box-projected environment map 示例就是这么做的。但这是每个材质手动设置一个探针。

还缺什么。

  • 探针系统。Box-projected reflection probes for WebGPURenderer 在场景层面加入了带影响盒和混合功能的探针,目前是一个 draft PR。
  • 快速访问大量探针。Cube array textures 把所有探针放进一张纹理;对它们的采样已经合并,纹理类正在审查中。
  • 探针归一化。探针是在房间里的某一个点捕捉的,所以黑暗的角落或橱柜内部会反射出明亮的房间。Call of Duty 的解决方案(在 Black Ops II 中引入,并延续到 Infinite Warfare)是按像素处漫反射光照与探针处漫反射光照的比值来缩放探针的反射。lightmap 和探针网格已经能同时提供这两者。这一步还没做。
  • 小型探针。PMREMGenerator 的最小尺寸为 256²。128² 的探针对于模糊的房间反射足够,因为 SSR 处理锐利反射,且内存占用仅为前者的四分之一。此项尚未完成。
两个房间由三个盒状投影探针照亮。
两个房间由三个盒状投影探针照亮。

BRDF 中的间接光照#

游戏引擎的要求。弹射光必须穿透材质的 BRDF,因此菲涅尔、粗糙度和金属度对其的作用与对直射光相同。在前向渲染器中,美观通道(beauty pass)需要两个输入:

  • 间接漫反射:在有覆盖区域使用 SSGI,静态网格使用光照贴图,其余使用探针网格,最后使用环境贴图。
  • 间接高光反射:首先使用 SSR,其次是盒状投影探针,最后是环境贴图。

Three.js 采用前向渲染,因此 SSR、SSGI 和 AO 在美观通道之前计算,各材质在着色时读取这些结果。追溯上一帧的数据使得这种顺序成为可能。

Three.js 现有的功能。间接漫反射已基本就位:lightMap、LightProbeGrid 和 scene.environment 均提供数据,AO 通过 builtinAOContext 传递。间接高光反射仅来自 scene.environment 或材质自身的 envMap。

缺失的部分。缺乏一种将屏幕空间结果或级联光源接入材质间接高光反射的机制,就像 AO 接入漫反射那样。这是该管线中最大的缺口,我的设计方案见 《Three.js 的可插拔间接光照》。

TRAA 和 TAAU#

游戏需要什么。时域抗锯齿(TAA)的输出要能作为下一帧 SSR 和 SSGI 的输入,所以它在运动中必须保持锐利,不能把鬼影或萤火虫反馈进反射里。本系列对比的所有引擎也都在低于输出分辨率下渲染,再通过时间累积重建差距:Unreal 的 TSR、Godot 的 FSR 2、《赛博朋克 2077》里的 DLSS 和 FSR。

Three.js 有什么。一个带 Halton 抖动、运动向量重投影和历史方差裁剪的 TRAA 节点,以及遵循 Karis 时域超采样和 FSR 2 思路的 TAAUNode。TAAU 示例在四分之一像素量下展示了效果:

scenePass.setResolutionScale( 0.5 );

const taauNode = taau( scenePassColor, scenePassDepth, scenePassVelocity, camera );

TAAU 取代 TRAA,成为帧管线的最后一个阶段。之前的所有步骤都在渲染分辨率下运行,它的线性 HDR 输出供下一帧的 SSR 和 SSGI 读取,bloom 和色调映射则在其后运行。缩放为 0.5 时,1080p 下的屏幕缓冲从约 157 MB 降到 81 MB。

还缺什么。

  • 静止时更宽的裁剪范围。方差裁剪通过拒绝与当前帧不再匹配的历史来消除鬼影,但也会误伤有效历史。TRAA 在快速运动时把裁剪框收紧到 0.5σ,但静止时框是 1σ,紧到会裁掉已收敛的亚像素细节,导致静止画面始终无法完全收敛,历史越长反而越差。一份改动草案把静止时的裁剪框放宽到 2σ,并增加了 historyLength 控制。对照超采样参考图:

    视图PSNR 变化
    静态+2.15 dB
    相机静止、物体运动+1.3 dB
    相机快速运动差异在 0.06 dB 以内
  • 更锐利的历史。双线性采样历史会在相机移动的每一帧都带来一点模糊。Catmull-Rom 历史采样(草案 PR)能保持锐利。这两项改进同样适用于 TAAU。

  • 完整管线中的 TAAU。 示例中,TAAU 仅对单场景渲染路径进行放大。实际管线包含预备路径、半分辨率特效和美颜路径,它们必须在分辨率和抖动上保持一致,而这些部分尚未进行联合测试。若在 0.5 倍分辨率下运行 TAAU,半分辨率的 SSR 和 SSGI 将在输出分辨率的每个轴上运行于四分之一分辨率。或许更好的做法是让它们在完整渲染分辨率下运行,并跳过双边上采样。

  • 纹理 mipmap 偏置。 以半分辨率渲染会导致 GPU 选择比输出分辨率应有的更模糊的 mipmap。时间上采样器通常搭配约等于分辨率缩放比例 log2 的负向 mipmap 偏置,而 Three.js 目前尚未应用此机制。

后续工作#

  • 更低成本的噪声。 Houston 分层噪声 每个采样点大约需要 400 次操作,且对每个像素、每帧都要执行。我希望将部分计算移至启动时生成的小贴图,使每个采样点仅需查找和几次加法。
  • 自动曝光。 从黑暗房间走进明亮庭院时需要视觉适应,而 Three.js 目前尚未支持此功能。
  • 基于物理的太阳与天空。 通过窗户采光的房间需要以真实单位表示且彼此一致、并与曝光匹配的太阳和天空。原型已实现单次散射,多重散射和云层仍待开发。
  • glTF 中的反射探针。 目前缺乏传输反射探针的标准方式。最低要求包括每个探针的位置和影响盒,以便加载器在加载时捕获探针。
  • 方向光照贴图(Directional lightmaps)。目前每个纹素只存一个辐照度值,法线贴图无法响应烘焙光照。可选方案有:环境项加一个主方向,如 The Last of Us 和 Call of Duty 的做法;L1 球谐函数,如 Frostbite;或球面高斯(SG),如 The Order: 1886。
原始来源: Hacker News

评论 (0)