智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影

智東西7月30日報道，在國際頂(ding)級計算機(ji)圖形(xing)學會議SIGGRAPH 2024上，NVIDIA今日發布了通用(yong)場景描(miao)述（OpenUSD）的重大成果(guo)，以(yi)擴大其(qi)在機(ji)器(qi)人、工(gong)業設計和工(gong)程(cheng)領域的應(ying)用(yong)，有助于(yu)幫助開發者提(ti)高(gao)構建高(gao)精度虛擬世界的能力，這對AI后續(xu)發展(zhan)很是(shi)重要(yao)。

今天NVIDIA新發布的內容包括適用于AI模型的NVIDIA NIM微服務，可生成回答用戶查詢(xun)的OpenUSD語言、生成OpenUSD Python代碼、將材質應用于3D物(wu)體、理(li)(li)解3D空間(jian)和物(wu)理(li)(li)學以幫(bang)助加快數字孿生的開(kai)發等。全球(qiu)首個用于OpenUSD開(kai)發的生成式(shi)AI模(mo)型(xing)將以NVIDIA NIM微服務(wu)的形(xing)式(shi)提(ti)供。

其他還包括可用于機器人和工業仿真數據格式的全新USD連接器，以(yi)及各種開發(fa)者(zhe)工(gong)具，用戶(hu)可通過(guo)它們將海量(liang)NVIDIA RTX全光線追蹤數據集(ji)傳輸到(dao)蘋(pin)果Vision Pro。

通過基于(yu)(yu)OpenUSD的(de)全新生成式AI，以(yi)及在(zai)NVIDIA Omniverse平臺構建(jian)的(de)NVIDIA加速(su)的(de)開發框架，越(yue)來越(yue)多(duo)的(de)行業現在(zai)能(neng)夠(gou)開發出(chu)用(yong)(yong)于(yu)(yu)可視化(hua)工(gong)業設計和工(gong)程項目(mu)的(de)應用(yong)(yong)，以(yi)及用(yong)(yong)于(yu)(yu)構建(jian)新一代物理AI和機器(qi)人的(de)環境仿真的(de)應用(yong)(yong)。

一、新NIM微服務：將生成式AI應用于USD

OpenUSD是一個通用3D數據交換(huan)框架(jia)。NVIDIA去(qu)年(nian)與皮克(ke)斯、Adobe、蘋果(guo)、Autodesk共同創(chuang)立了OpenUSD聯(lian)盟，并通過該(gai)聯(lian)盟與其他伙伴一起發布了 OpenUSD的(de)新(xin)版本(ben)、OpenUSD核心規范的(de)進展以及新(xin)成員(yuan)的(de)加入情(qing)況。

NVIDIA開(kai)(kai)發(fa)的(de)全球(qiu)首個用(yong)(yong)于(yu)OpenUSD開(kai)(kai)發(fa)的(de)生成式AI模型將(jiang)以NVIDIA NIM微服(fu)務的(de)形式提供。這些模型使得開(kai)(kai)發(fa)者能(neng)將(jiang)生成式AI copilot和(he)agents整合到USD工作流中，拓寬3D世界的(de)可能(neng)性，幫助加快USD在制造業(ye)、汽車行業(ye)和(he)機器(qi)人等新工業(ye)領域的(de)應用(yong)(yong)。

預覽版中(zhong)的微(wei)服務包括(kuo)：

  • USD Code NIM微服務：回答常識性OpenUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應用，以實現相應3D數據的可視化。
  • USD Search NIM微服務：使開發者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數據庫中進行搜索。
  • USD Validate NIM微服務：檢查上傳文件與OpenUSD發布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應用編程接口）驅動的RTX渲染路徑追蹤圖像。

即將提供的新微服務包括：

  • USD Layout NIM微服務：使用戶能夠基于空間智能，根據一系列文本提示組裝出基于OpenUSD的場景。
  • USD SmartMaterial NIM微服務：預測并將逼真的材料應用于計算機輔助設計對象。
  • fVDB Mesh Generation NIM微服務：根據點云數據生成基于OpenUSD的網絡，并通過 Omniverse Cloud API進行渲染。
  • fVDB Physics Super-Res NIM微服務：對幀或幀序列執行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。
  • fVDB NeRF-XL NIM微服務：使用Omniverse Cloud API在OpenUSD中生成大規模神經輻射場。

全球制(zhi)造業巨頭富(fu)士康受益于NVIDIA的計算平(ping)臺，利用NIM 微服務和(he)Omniverse為一家正(zheng)在開(kai)發(fa)中的工廠創建了(le)數字孿生。

全球領先的營銷與傳播服(fu)務(wu)公司(si)WPP是USD Search和USD Code NIM微服(fu)務(wu)的早期用(yong)戶之一，將(jiang)這些微服(fu)務(wu)用(yong)于其基于NVIDIA Omniverse構建的生成式AI內容創(chuang)建管(guan)線(xian)中，為可口(kou)可樂(le)公司(si)等客戶提供服(fu)務(wu)。

富(fu)士康首席數字官兼(jian)智(zhi)能制造平(ping)臺負(fu)責人史(shi)喆認為(wei)，NVIDIA Omniverse和全新的(de)NIM微服務將使數字孿生的(de)開發變(bian)得更加(jia)普及，并(bing)幫助富(fu)士康的(de)團隊以前(qian)所未有的(de)速(su)度(du)構(gou)建基于物(wu)理的(de)虛擬(ni)工廠。

二、新USD連接器：加速數據無縫導入，助攻機器人開發

除了微服務外，NVIDIA還推出了多款適用于機器人數據格式和蘋果Vision Pro流式傳輸的全新USD連接器。這些連(lian)接器將為(wei)更多行業帶來OpenUSD互(hu)操作(zuo)性與(yu)高(gao)級創作(zuo)能(neng)力。

NVIDIA與(yu)工(gong)業(ye)巨頭西(xi)門(men)(men)子正在(zai)擴大合(he)(he)作(zuo)，將把OpenUSD流水線與(yu)西(xi)門(men)(men)子Simcenter仿真技術組合(he)(he)集成(cheng)，以支持基于(yu)證(zheng)據的(de)決策(ce)和關鍵利益相關方之間的(de)協作(zuo)，實現(xian)復雜仿真數據的(de)高保真、實時、逼真可視化，讓企業(ye)能夠更加深入地了解產品(pin)在(zai)實際(ji)操作(zuo)環境中(zhong)的(de)性能。西(xi)門(men)(men)子將把Omniverse納入到(dao)其Teamcenter產品(pin)生命周期管理軟件組合(he)(he)中(zhong)，為這(zhe)項工(gong)作(zuo)打(da)好基礎。

NVIDIA還發布了一個從統一機器人描述格式到OpenUSD的連接器，以便(bian)機器人專家能夠將(jiang)他們的機器人數據無縫導入到用(yong)于設計、仿真和強化學習(xi)等(deng)用(yong)途的各種應用(yong)中。

為了推動OpenUSD生態系統的擴張，NVIDIA發布了OpenUSD Exchange軟件開發套件，幫助(zhu)開發(fa)者創建出自己的強大OpenUSD數據連接器。

新(xin)的開發者工具(ju)和API可(ke)通過NVIDIA Graphics Delivery Network（GDN），將大規(gui)模(mo)OpenUSD場景(jing)從基于(yu)Omniverse平臺構建的應用流式傳輸到 。目前，這些新(xin)工具(ju)和API提供(gong)搶先體驗版本(ben)。

NVIDIA API目錄現(xian)在提供USD Search、USD Code和USD Validate NIM微服務(wu)的(de)預覽(lan)版。OpenUSD – URDF連(lian)接器與NVIDIA Isaac Sim一(yi)起提供。

開發者(zhe)可使用全(quan)新Omniverse開發者(zhe)工(gong)具和參(can)考(kao)工(gong)作流，將(jiang)生成(cheng)(cheng)式AI集成(cheng)(cheng)到(dao)OpenUSD工(gong)作流中，使用OpenUSD構建生成(cheng)(cheng)式AI賦能的合(he)成(cheng)(cheng)數據管線。

結語：重工業的生成式AI潮已經到來

“重工業的(de)生(sheng)成式AI潮已經到來(lai)。”NVIDIA Omniverse與仿(fang)真技術(shu)副(fu)總裁Rev Lebaredian說，“直到最近，數字世界的(de)主要用(yong)戶還是創(chuang)意行業；而現在，借助NVIDIA NIM微服務(wu)為(wei)OpenUSD帶來(lai)的(de)增強(qiang)功能和(he)可訪問性，各個行業都可以創(chuang)建基于物理學(xue)的(de)虛擬世界和(he)數字孿生(sheng)，在加快創(chuang)新(xin)的(de)同時，為(wei)機器人這(zhe)次新(xin)一(yi)輪AI技術(shu)熱(re)潮做好準備。”

NVIDIA不(bu)僅在AI領域持續領先，也(ye)是推動工業元宇宙(zhou)發(fa)展的(de)積極貢獻者。今日的(de)新(xin)發(fa)布則是NVIDIA為改變3D內容創作(zuo)和交互方式所提(ti)供(gong)的(de)新(xin)利器，也(ye)反映(ying)了這(zhe)家計算巨頭為推動USD發(fa)展所做出的(de)最(zui)新(xin)努力。

數(shu)字(zi)孿(luan)生(sheng)將為加速新(xin)一波工(gong)業制(zhi)造(zao)和自主機(ji)器(qi)(qi)的(de)(de)(de)發展提供助力。生(sheng)成式AI模型則有望提供更高效(xiao)、更準確的(de)(de)(de)模擬，進而提高工(gong)業應(ying)用的(de)(de)(de)性(xing)(xing)能和可(ke)靠性(xing)(xing)。在工(gong)業數(shu)字(zi)化和內(nei)容創作(zuo)領域(yu)，越來(lai)越多的(de)(de)(de)企業開始利用OpenUSD和生(sheng)成式AI技術(shu)來(lai)突破工(gong)業元宇宙、數(shu)字(zi)孿(luan)生(sheng)、3D內(nei)容創作(zuo)等解(jie)決方案的(de)(de)(de)邊界。隨著NVIDIA持續(xu)推出更多好用的(de)(de)(de)NIM微服務和USD連接器(qi)(qi)，該(gai)公(gong)司將在這股(gu)浪潮中處于有利地(di)位。