今年英偉達(dá)在新一代Blackwell架構(gòu)GPU上引入了DLSS 4，具備多幀生成功能，在每個(gè)傳統(tǒng)渲染的幀之間生成多達(dá)三個(gè)額外的幀。DLSS 4還加入了自2020年發(fā)布DLSS 2.0以來(lái)對(duì)其AI模型的最大升級(jí)，DLSS光線重建、DLSS超分辨率和DLAA將由Transformer模型驅(qū)動(dòng)，這是Transformer模型首次在圖形領(lǐng)域的實(shí)時(shí)應(yīng)用。

近日英偉達(dá)發(fā)布了NVIDIA DLSS SDK 310.3.0，除了錯(cuò)誤修復(fù)和穩(wěn)定性改進(jìn)外，還明確表示Transformer模型已正式退出beta測(cè)試。按照英偉達(dá)之前的說(shuō)法，在Transformer模型基礎(chǔ)上不斷改進(jìn)，預(yù)計(jì)在未來(lái)數(shù)年里，圖像質(zhì)量會(huì)持續(xù)提升。

Transformer模型通過(guò)改進(jìn)的時(shí)間穩(wěn)定性、減少鬼影以及運(yùn)動(dòng)中的更高細(xì)節(jié)來(lái)提升圖像質(zhì)量，將進(jìn)一步提升RTX 20/30/40系列顯卡的DLSS性能體驗(yàn)。之前DLSS使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過(guò)分析局部上下文并在連續(xù)幀中跟蹤這些區(qū)域的變化來(lái)生成新像素，經(jīng)過(guò)六年的持續(xù)改進(jìn)，已經(jīng)達(dá)到了極限。新的Transformer模型使用了視覺(jué)Transformer變壓器，使自注意力機(jī)制操作能夠評(píng)估整個(gè)幀中每個(gè)像素的相對(duì)重要性，并且跨越多個(gè)幀。

Transformer模型采用兩倍于CNN模型的參數(shù)來(lái)實(shí)現(xiàn)對(duì)場(chǎng)景的更深層次理解，從而生成提供更高穩(wěn)定性、減少鬼影、運(yùn)動(dòng)細(xì)節(jié)更多以及場(chǎng)景邊緣更平滑的像素。在密集的光線追蹤內(nèi)容里，新的Transformer模型能大幅提升圖像質(zhì)量，在復(fù)雜的光照條件下會(huì)有更明顯的優(yōu)勢(shì)，穩(wěn)定性會(huì)加強(qiáng)，重影會(huì)減少，閃爍現(xiàn)象也會(huì)消失。