英偉達憑什么“吃定”元宇宙？

日前召開的SIGGRAPH 2022大會上，英偉達宣布了針對元宇宙的幾大重要進展：發(fā)布Omniverse重要版本、推出用于構(gòu)建虛擬助手和數(shù)字人的云原生AI模型Omniverse Avatar Cloud Engine（ACE），并宣布了發(fā)展通用場景描述（USD）的大型計劃，準備將該3D世界的開源和可擴展語言發(fā)展成為開放元宇宙和3D互聯(lián)網(wǎng)的基礎(chǔ)。

放眼國內(nèi)外的元宇宙玩家，主要包括工具型公司、內(nèi)容型公司、UGC創(chuàng)作公司、云服務商等等。英偉達作為提供關(guān)鍵技術(shù)支撐的工具型、平臺型公司，算是最早在元宇宙領(lǐng)域推出具體工具支持和產(chǎn)品服務的企業(yè)之一，此次在SIGGRAPH上的發(fā)布，既有核心工具的重大更新、也有開放合作的具體計劃，也將進一步夯實英偉達在元宇宙領(lǐng)域的布局和地位。

NVIDIA Omniverse和仿真模擬技術(shù)副總裁Rev Lebaredian表示：“元宇宙蘊含的商機價值數(shù)萬億美元，任何企業(yè)機構(gòu)都不愿錯過它，但許多企業(yè)機構(gòu)找不到加入它的明確途徑。NVIDIA Omniverse縮小了物理世界和虛擬世界之間的差距，這些新的工具、技術(shù)和合作項目讓我們在今天就可以邁入3D互聯(lián)網(wǎng)?！?/p>

降低創(chuàng)建和部署逼真虛擬助手和數(shù)字人的門檻

一些行業(yè)應用對數(shù)字人和虛擬助手的需求其實是在飛速增長的，但創(chuàng)建和擴展它們卻變得越來越復雜。為此，英偉達推出了全新的用于構(gòu)建和部署逼真虛擬助手和數(shù)字人的云原生AI模型和服務Omniverse Avatar Cloud Engine（ ACE），它將幫助游戲、聊天機器人、數(shù)字孿生和虛擬世界的開發(fā)者提供用于構(gòu)建和部署交互式虛擬形象的云原生AI模型，值得一提的是，它已經(jīng)能夠助力虛擬助手和數(shù)字人通過圖靈測試。

對于NVIDIA ACE推出的重要意義，Rev Lebaredian表示：“幾十年來，我們所在的行業(yè)一直在教計算機如何輕松地交流和執(zhí)行對人類來說十分輕松的復雜任務。NVIDIA ACE讓這一切變得觸手可及。ACE結(jié)合了許多復雜的AI技術(shù)，使開發(fā)者創(chuàng)造出將能夠通過圖靈測試的數(shù)字助手。”

據(jù)介紹，ACE建立在NVIDIA的統(tǒng)一計算框架基礎(chǔ)之上。該框架為用戶提供豐富的軟件工具和API，使他們能夠使用各種用于創(chuàng)建高度逼真的全互動式虛擬形象的技能。這些工具包括用于開發(fā)語音AI應用的NVIDIA Riva、用于計算機視覺和智能視頻分析的NVIDIA Metropolis、用于高性能推薦系統(tǒng)的NVIDIA Merlin、用于自然語言理解的大型語言模型NVIDIA NeMo Megatron，以及用于AI賦能動畫的NVIDIA Omniverse。ACE所支持的助手和虛擬形象，有望改變游戲、娛樂、銀行、交通和酒店等領(lǐng)域的互動方式。

英偉達的Project Maxine和Project Tokkio是建立在ACE上的兩個應用。Project Maxine為虛擬協(xié)作和內(nèi)容創(chuàng)建應用帶來了最先進的視頻和音頻功能。Project Tokkio賦予交互式虛擬形象以視覺、感知和智能對話能力，并使虛擬形象能夠提供建議，以提高餐廳等場所的客戶服務水平。

據(jù)了解，一些從事虛擬助手和數(shù)字人的開發(fā)者們，已經(jīng)在計劃使用ACE來加速其虛擬形象開發(fā)工作。

Omniverse發(fā)布重要版本更新

Omniverse是一個用于構(gòu)建虛擬世界的多GPU可擴展計算平臺，擁有高度逼真的物理模擬引擎以及高性能渲染能力。目前，已被全球約700家領(lǐng)先的公司用于改進建筑和產(chǎn)品設(shè)計、簡化視覺效果工作流程以及構(gòu)建工廠、城市和地球的數(shù)字孿生?？梢哉f，它是英偉達打造元宇宙重要的組成部分，也是英偉達最重要的平臺之一，幾乎結(jié)合了英偉達有史以來的所有工作。

為了繼續(xù)擴大Omniverse的應用生態(tài)，幫助藝術(shù)家、開發(fā)者和工程師更加輕松地構(gòu)建虛擬世界和內(nèi)容，并且更加無縫地連接當今領(lǐng)先的3D應用，Omniverse此次一舉發(fā)布了多項AI工具和功能創(chuàng)新。

最新發(fā)布的平臺更新主要包括：

首先，用于構(gòu)建本地Omniverse擴展和應用程序的工具包Omniverse Kit，主要包括兩方面進展：一是PhysX的更新，包括實時、多GPU、可擴展的柔體和顆粒布料仿真，能夠幫助提高虛擬世界和物體的物理準確性。二是全新OmniLive Workflows：對Omniverse中基于USD的協(xié)作進行全面改造，為多個應用程序的3D工作流程帶來更高的速度和性能并實現(xiàn)非破壞性的USD工作流程，使藝術(shù)家和開發(fā)者之間的協(xié)作比以往更容易。

其次，直接通過音頻文件創(chuàng)建面部動畫的AI工具Omniverse Audio2Face，其推理和生成逼真情緒的新功能為AI動畫帶來了巨大的飛躍，可用于制作所有面部特征動畫。

第三，還有用于構(gòu)建3D電影和動畫電影的應用Omniverse Machinima，發(fā)布了數(shù)百個來自《戰(zhàn)爭附言（Post Scriptum）》等游戲的全新免費3D資產(chǎn)，以及Audio2Gesture（可以利用音頻文件生成逼真手臂和身體運動的AI）等一套全新AI動畫工具。

值得一提的是，Omniverse DeepSearch已面向Omniverse Enterprise客戶開放。DeepSearch使用自然語言幫助團隊利用AI直觀、準確地在龐大的、未標記的3D視覺資產(chǎn)數(shù)據(jù)庫中進行搜索。對于因擁有數(shù)十萬未標記資產(chǎn)而使搜索成為一大難題的游戲開發(fā)商或視覺特效工作室而言，DeepSearch將帶來巨大的改變。

另外，物理機器學習框架NVIDIA Modulus現(xiàn)已可用于為Omniverse擴展程序。經(jīng)Modulus訓練的物理機器學習模型可提供近實時的性能，根據(jù)不同的應用，其速度可提高4000甚至100000倍，并且具有前所未有、更接近高保真模擬的準確性。Modulus是NVIDIA Earth-2等科學數(shù)字孿生的基石之一。

除了上述全新應用和框架，英偉達還發(fā)布了多項核心仿真模擬技術(shù)的重大更新，這些技術(shù)在元宇宙世界中用于表示材質(zhì)、物理和光線。其中，NVIDIA MDL支持物理級精確的3D材質(zhì)表現(xiàn)，現(xiàn)已完全開源，使開發(fā)者能夠為任何渲染器帶來材質(zhì)定義語言支持；即將發(fā)布公測版的NeuralVDB是OpenVDB的下一個升級版本，它為稀疏體積數(shù)據(jù)集帶來了AI和GPU優(yōu)化，并將這些海量數(shù)據(jù)集的內(nèi)存占用率降低了多達100倍。

元宇宙的通用“語言”USD，繼續(xù)擴大應用生態(tài)

在使用Omniverse打造元宇宙時，最關(guān)鍵的是通用場景描述（USD）技術(shù)。開源USD幾乎已是業(yè)界公認的未來流程協(xié)作的數(shù)據(jù)格式，搭建起的流程適合團隊協(xié)作。也就是說，它可以作為一個開放的API，支持復雜的場景貼圖，專門在各式各樣的場景、千差萬別的應用程序之間幫助互換數(shù)據(jù)資產(chǎn)。此外，它還能夠分層式管理數(shù)據(jù)資產(chǎn)，讓許多不同部門的大型團隊在同一個場景工作并共享數(shù)據(jù)，進行協(xié)同和分布式工作。

英偉達最新宣布的一項發(fā)展通用場景描述（USD）的大型計劃值得關(guān)注，這意味著這一3D世界的開源和可擴展語言將發(fā)展為開放元宇宙和3D互聯(lián)網(wǎng)的基礎(chǔ)。

皮克斯動畫工作室首席技術(shù)官Steve May表示：“USD是皮克斯動畫制作流程的基石。作為一個開源框架，它在視覺特效和動畫方面，以及工業(yè)、設(shè)計和科學應用方面都呈現(xiàn)出快速增長的勢頭。NVIDIA將幫助USD發(fā)展成為完全可互操作3D平臺的開放基礎(chǔ)，造福所有行業(yè)。”

Rev Lebaredian表示：“除了媒體和娛樂行業(yè)，USD還將助力3D藝術(shù)家、設(shè)計師、開發(fā)者等人員，在構(gòu)建虛擬世界時能夠在不同的工作流程和應用中進行協(xié)作。我們正在與合作伙伴社區(qū)一起投資發(fā)展USD，使其成為建筑、制造業(yè)、機器人、工程等領(lǐng)域的基礎(chǔ)?！?/p>

據(jù)介紹，英偉達將與USD的發(fā)明者皮克斯以及Adobe、Autodesk、西門子等多家行業(yè)內(nèi)領(lǐng)先的企業(yè)合作，實施一項多年發(fā)展路線圖，將USD的功能擴展到視覺效果應用之外，使其能夠更好地支持建筑、工程、制造、科學計算、機器人、工業(yè)數(shù)字孿生等領(lǐng)域的工業(yè)元宇宙應用。

未來，USD的更新還將包括：讓所有國家和語言的用戶都能參與USD的國際字符支持、實現(xiàn)城市規(guī)模和行星規(guī)模數(shù)字孿生的地理空間坐標支持，以及實現(xiàn)數(shù)字孿生與物理世界同步發(fā)展的物聯(lián)網(wǎng)數(shù)據(jù)實時流式傳輸。

英偉達還與工業(yè)、設(shè)計、模擬和CAD軟件生態(tài)系統(tǒng)中的合作伙伴一同發(fā)布了11個新的Omniverse連接器（Connector），這些基于USD的插件進一步向工業(yè)界和科學界的公司開放Omniverse工作流程。目前，Omniverse USD生態(tài)系統(tǒng)中的連接器總數(shù)已達到112個。

在SIGGRAPH上，英偉達還匯集了USD生態(tài)系統(tǒng)中的數(shù)百名工程和產(chǎn)品負責人，組成工作委員會，調(diào)整USD開發(fā)的優(yōu)先事項并獲取關(guān)于重點開發(fā)方向的反饋。目前，Adobe、Autodesk、皮克斯和西門子等眾多公司都在為USD的發(fā)展提供幫助和支持。

隨著越來越多合作伙伴擴展基于通用場景描述USD的應用，它將有望形成元宇宙的一項行業(yè)標準，也將進一步發(fā)展成為開放元宇宙和3D互聯(lián)網(wǎng)的重要基礎(chǔ)。