9月25日，NVIDIA將開(kāi)源Audio2Face模型與SDK，讓所有游戲和3D應(yīng)用開(kāi)發(fā)者都可以構(gòu)建并部署帶有先進(jìn)動(dòng)畫(huà)的高精度角色。NVIDIA將開(kāi)源Audio2Face的訓(xùn)練框架，任何人都可以針對(duì)特定用例對(duì)現(xiàn)有模型進(jìn)行微調(diào)與定制。

NVIDIA Audio2Face通過(guò)生成式AI驅(qū)動(dòng)的實(shí)時(shí)面部動(dòng)畫(huà)與嘴形同步，加速寫(xiě)實(shí)數(shù)字角色的創(chuàng)作流程。Audio2Face利用AI根據(jù)音頻輸入生成逼真的面部動(dòng)畫(huà)。這項(xiàng)技術(shù)通過(guò)分析音素、語(yǔ)調(diào)等聲學(xué)特征，創(chuàng)建動(dòng)畫(huà)數(shù)據(jù)流，并映射至角色的面部表情。這些動(dòng)畫(huà)數(shù)據(jù)既可用于離線渲染預(yù)設(shè)的資產(chǎn)，也可實(shí)時(shí)傳輸?shù)絼?dòng)態(tài)的、由AI驅(qū)動(dòng)的角色，實(shí)現(xiàn)準(zhǔn)確的嘴形同步與情感表達(dá)。

Audio2Face模型已廣泛應(yīng)用于游戲、媒體娛樂(lè)以及客戶服務(wù)等行業(yè)。眾多獨(dú)立軟件廠商ISV與游戲開(kāi)發(fā)商都在其應(yīng)用中采用了Audio2Face。游戲開(kāi)發(fā)者包括Codemasters、GSC Game World、網(wǎng)易、完美世界。ISV包括Convai、Inworld AI、Reallusion、Streamlabs和UneeQ。

以下是開(kāi)源工具的完整列表，更多詳情請(qǐng)查看面向游戲開(kāi)發(fā)的 NVIDIA ACE。

關(guān)于NVIDIA

NVIDIA(NASDAQ: NVDA)是加速計(jì)算領(lǐng)域的全球領(lǐng)導(dǎo)者。