利用 GPU 的強大功能實現(xiàn)虛擬沉浸式體驗和龐大的數(shù)據(jù)處理

"當Hiro走近街道時，他看到兩對年輕夫婦從Port Zero爬下，這是當?shù)氐娜刖晨诎逗蛦诬夒娷囌尽Ｋ麄兛赡苷褂盟麄兏改傅碾娔X在Metaverse中進行四人約會。當然，他看到的不是真人。這都是他的計算機根據(jù)光纖電纜上的規(guī)定繪制的移動插圖的一部分。人是像阿凡達一樣的軟件。他們是人們在元宇宙中相互交流的視聽身體。

--摘自《雪崩》，Neal Stephenson（Bantam，1992年）

一個全新的時代

自20世紀90年代以來，網(wǎng)絡空間更多沿著社交路線發(fā)展的概念已經存在，而元宇宙一直是人們關注的焦點，像Epic Games、微軟和最近的Facebook（現(xiàn)在的Meta）等公司宣布計劃創(chuàng)建跨越物理和虛擬環(huán)境的互聯(lián)世界。

就目前所涉及的公司來看，這暗示了元宇宙涵蓋的范圍：工作、游戲、社交。不過，從教育到醫(yī)療再到政治領域，也有可能包括進來。也許最好把它看作是一個虛擬的世界，在這里，現(xiàn)實世界中任何可能的事情都可能發(fā)生，同時現(xiàn)實中不可能發(fā)生的事情也有可能發(fā)生。

將這個雄心勃勃的概念變?yōu)楝F(xiàn)實確實帶來了挑戰(zhàn)。由于平臺、系統(tǒng)和應用程序之間的互操作性將是全面運作生態(tài)系統(tǒng)的關鍵，因此軟件需要不斷發(fā)展以推動元宇宙的實現(xiàn)。在未來幾年中，我們可能會看到一些令人印象深刻的軟件跳躍式升級更新，這將允許以全新的、令人興奮的方式管理大量數(shù)據(jù)。

不過，軟件雖然是融合元宇宙實現(xiàn)的各種問題的關鍵支柱，但硬件則是人們與這個新的在線世界互動的主要方式。全身觸覺和虛擬現(xiàn)實裝備仍然是一個遙遠的幻想，在向元宇宙的過渡期間，VR和AR技術很可能是體驗它的主要手段。這為芯片行業(yè)帶來了重大機遇，特別是從GPU的角度來看，推動大規(guī)模創(chuàng)新，幫助用戶沉浸其中，同時利用并行性來應對數(shù)據(jù)挑戰(zhàn)。

元宇宙的當前狀態(tài)

從技術上講，我們已經看到了較小規(guī)模的"元宇宙"。  其中引人熱議的一個案例便是Epic Games的游戲《堡壘之夜》（Fortnite）。2019年Marshmello演唱會活動聚集了1000多萬人參加，這是一個純粹的社交活動。隨后，許多其他活動結合了幾個IP，例Ariana Grande的虛擬巡演“Rift Tour”，Marvel的《星核戰(zhàn)爭》（Nexus Wars）。同樣，在游戲領域，我們也看到Roblox推出了其"開發(fā)者市場"，允許開發(fā)人員將游戲、資產、插件、3D模型等貨幣化——有效地創(chuàng)造了在游戲內工作實現(xiàn)賺錢的方法。

但元宇宙不僅僅是游戲。微軟是世界上最大的云供應商之一，擁有廣泛的工作軟件和服務，這些軟件和服務通過 Office 365和 領英跨越系統(tǒng)，坐擁數(shù)億用戶。隨著Facebook（Meta）剛剛宣布了其實現(xiàn)元宇宙的雄心勃勃計劃，我們開始更好地了解生態(tài)系統(tǒng)可能是什么樣子——各種連續(xù)的互連數(shù)據(jù)流，通過平臺、系統(tǒng)和應用程序傳輸，同時使用戶能夠真正存在于在線虛擬空間中。

AR和VR的潛力 

在考慮人們如何與元宇宙互動時，XR硬件是顯而易見的答案。很容易想象，戴上VR頭顯，連接到《頭號玩家》（Ready Player One）中類似的裝備，然后立即被傳送到您選擇的虛擬世界。

但是，VR頭顯仍處于起步階段，并且由于昂貴技術，其進入門檻相對較高。簡而言之，要實現(xiàn)完全沉浸式的虛擬環(huán)境，需要具有高刷新率的高分辨率顯示器。隨著目前正在開發(fā)的智能創(chuàng)新技術，例如注視點渲染，頭顯將繼續(xù)發(fā)展——每次迭代都變得更加方便和高效。

就早期的元宇宙方面，AR已經顯示出顯著的增長。像Pokémon Go這樣的游戲。用戶通過3D掃描周圍的現(xiàn)實世界，以進一步強化AR 的沉浸感。Niantic公司最近收購了 6d.ai 和Scaniverse，突顯了該公司構建AR硬件和軟件的計劃，這些硬件和軟件可以將真實環(huán)境和數(shù)字環(huán)境完全融合在一起。

微軟、蘋果、Facebook和谷歌也在開發(fā)AR產品，這些產品可能會依賴持續(xù)的物理環(huán)境掃描來改善用戶沉浸感。而且，從2021年到2028年，預計復合年增長率為43.8%（Grand  View Research，2021年2月），AR市場預計將繼續(xù)快速增長。

AR的真正潛力超越了游戲。該技術可能會產生重大的跨行業(yè)影響：從醫(yī)療培訓到零售實施，再到商業(yè)物流，甚至是室內設計。與VR相比，增強現(xiàn)實是一種更容易使用的解決方案，它可能是 向元宇宙過渡的最大驅動力。 

GPU、視覺沉浸感和克服數(shù)據(jù)挑戰(zhàn)

迄今為止，憑借數(shù)十年為100多億臺設備打造創(chuàng)新移動GPU解決方案的經驗，Imagination認識到圖形在創(chuàng)建真正沉浸式元宇宙世界中將發(fā)揮的重要作用。我們最近宣布的IMG CXT GPU是第一個將硬件光線追蹤引入移動設備的解決方案，同時從硬件角度來看，它非常高效。

今年早些時候，我們建立了光線追蹤等級系統(tǒng)（RTLS），確定了現(xiàn)有和未來解決方案的六個級別— 從0級到5級。CXT在4級運行，這意味著它不僅在硬件上執(zhí)行邊界卷層次結構（BVH）光線遍歷，而且還在芯片上執(zhí)行光線相干性排序。這使我們能夠對沿同一方向行進的光線進行分組，并充分利用 GPU 的并行計算能力——類似于基于分塊的渲染解決方案，從而提高整體 ALU 利用率和測試效率。

短期內，像CXT這樣的解決方案可以讓公司將光線追蹤帶到移動AR環(huán)境中，這意味著可以跨程序提供更逼真的渲染數(shù)字對象。

隨著XR硬件的發(fā)展，我們將開始看到混合處理解決方案，其中移動GPU可以嵌入到頭顯本身中。在這種情況下，功率與電池消耗保持平衡將比以往任何時候都更加重要 。CXT 在這方面具有獨特的優(yōu)勢，因為它是一種可擴展的解決方案，使SoC制造商能夠達到高達9TFLOPS的FP32光柵性能和超過7.2GRay / s的光線追蹤性能，同時提供比2級和3級解決方案高出2.5倍的功率效率。

當然，AR和VR技術只是元宇宙的冰山一角。生態(tài)系統(tǒng)本身可能會帶來許多軟件和數(shù)據(jù)處理挑戰(zhàn)，以及令人印象深刻的創(chuàng)新。近年來，GPU已被成功用于解決大數(shù)據(jù)問題，因為它們可以同時執(zhí)行數(shù)千個線程，從而比傳統(tǒng)CPU具有更高的輸出和內存帶寬。GPU還可以通過Imagination的相干性排序硬件等創(chuàng)新來渲染數(shù)字世界，從而釋放更高的效率。換句話說，圖形處理單元將在元宇宙中如何管理數(shù)據(jù)方面發(fā)揮重要作用。

雖然真正的元宇宙需要一段時間才能實現(xiàn)，但進入該行業(yè)是一個激動人心的時刻。 競爭孕育著創(chuàng)新，隨著越來越多的玩家加入這個全新在線時代的競爭，我們肯定會看到一些優(yōu)秀軟件、GPU、CPU和AI的發(fā)展。