智東西（公眾號：zhidxcom）
編譯 |?徐珊
編輯 |?云鵬
智東(dong)西7月14日(ri)消息(xi)，近日(ri)，蘋(pin)果的兩項VR/AR相關新(xin)專(zhuan)利得到了(le)美國(guo)專(zhuan)利商標局(ju)（U.S. Patent and Trademark Office）授權。
第一項專利(li)(li)(li)是“生成身體(ti)(ti)姿勢(shi)信息(xi)（Generating body pose information）系(xi)(xi)統(tong)”。該系(xi)(xi)統(tong)通(tong)過收集身體(ti)(ti)各(ge)個(ge)地方的(de)(de)(de)信息(xi)，然后利(li)(li)(li)用(yong)這(zhe)些信息(xi)打造用(yong)戶的(de)(de)(de)虛(xu)擬(ni)化身（avatar）。第二項專利(li)(li)(li)是“自適應無線傳輸（Adaptive wireless transmission schemes）系(xi)(xi)統(tong)”。該系(xi)(xi)統(tong)處理VR頭(tou)顯(xian)設備和(he)主機之(zhi)間的(de)(de)(de)通(tong)信。
據悉，蘋(pin)(pin)果正在(zai)(zai)開發(fa)AR/VR頭(tou)顯，以及稱為“Apple Glass”的(de)AR智能眼鏡(jing)。蘋(pin)(pin)果正在(zai)(zai)針對人機交互領(ling)域的(de)難題設計不(bu)同的(de)解決方案，希(xi)望蘋(pin)(pin)果頭(tou)顯產(chan)品(pin)可以在(zai)(zai)其他頭(tou)顯產(chan)品(pin)中脫穎而出。
一、新系統通過搜集姿態信息，在虛擬世界打造一個“你”
根據專利報告顯示，蘋果新(xin)專利“生成身體姿勢信息”系統(tong)可以通過攝像頭、神(shen)經(jing)網絡(luo)系統(tong)等方式搜集用(yong)戶的姿態信息，形成一個用(yong)戶的虛擬化身 。
1、用神經網絡系統搜集用戶姿態信息
單(dan)個(ge)神經(jing)網絡(luo)系統可以(yi)搜(sou)集(ji)用(yong)(yong)戶(hu)姿勢(shi)信息；多個(ge)神經(jing)網絡(luo)系統協同工作(zuo)，可以(yi)模擬用(yong)(yong)戶(hu)的(de)某(mou)個(ge)關節；最終(zhong)，所有系統的(de)信息全部匯總在一起便(bian)可以(yi)在虛擬世界(jie)打造一個(ge)用(yong)(yong)戶(hu)的(de)“分(fen)身”。
在這個過(guo)程中，不(bu)同的(de)硬(ying)件設(she)備都需要機(ji)器學(xue)習(xi)。因為“生成身體姿勢信息(xi)”系統(tong)不(bu)僅要處理(li)攝像機(ji)所搜(sou)集的(de)數據，還(huan)需要讓(rang)不(bu)同的(de)神經網絡系統(tong)之(zhi)間“學(xue)會”信息(xi)交(jiao)互。
2、神經網絡系統覆蓋身體全關節
神經(jing)網(wang)絡系統會搜集用(yong)戶身體上哪些部(bu)位的(de)信息，蘋果在專(zhuan)利報(bao)告中給出(chu)了答案。
▲多個(ge)神經(jing)網(wang)絡系統可以監控用戶的各(ge)個(ge)關(guan)節，共同創(chuang)建(jian)一個(ge)全身模型(xing)。（來源于：Appleinsider）
“生成(cheng)身體姿(zi)勢信(xin)息”系統的信(xin)息搜集(ji)范(fan)圍(wei)包括了“脖頸、肩關節(jie)、肘(zhou)關節(jie)、腕關節(jie)、骨盆關節(jie)、膝(xi)關節(jie)、踝關節(jie)和(he)指關節(jie)”。該系統不(bu)但(dan)會對每個部位的信(xin)息搜集(ji)范(fan)圍(wei)做出界定，而(er)且還(huan)會確定各部位之(zhi)間的連接處在哪里。
盡管(guan)該項專利的列表里給出了所有創建用戶身體模型需要(yao)的基本要(yao)素，但(dan)似(si)乎并不是很詳盡。比(bi)如(ru)說，指關節似(si)乎只是重點指代(dai)手指，腳趾(zhi)以(yi)及腳部運動似(si)乎并沒有被該系統所關注。
3、用數據打造用戶虛擬化身
蘋果認為(wei)，打(da)造良好(hao)的沉浸(jin)式體(ti)驗需要(yao)盡(jin)可能(neng)地搜集更多有(you)關用戶姿態(tai)(tai)的信息(xi)。因為(wei)VR或(huo)AR應用程(cheng)序(xu)可能(neng)會需要(yao)依據用戶的靜態(tai)(tai)姿勢或(huo)動(dong)態(tai)(tai)行為(wei)，為(wei)用戶呈(cheng)現不(bu)同的內容。比如說，VR游戲中的守(shou)衛(wei)需要(yao)對用戶不(bu)同的攻擊動(dong)作(zuo)做(zuo)出不(bu)同的反應。
事實上，蘋果(guo)希望用(yong)“生成(cheng)身體姿勢信息”系(xi)統控制用(yong)戶在虛擬世界的化身。比如說，虛擬在線社交VR Chat就可(ke)能會運用(yong)到(dao)這個系(xi)統來(lai)改變用(yong)戶的頭像呈現方式(shi)。
二、打通通訊壁壘，新專利使用凝視功能分配數據資源
蘋果的(de)第二項專利“自適應無線傳輸”系統希(xi)望能打通頭(tou)顯和主機之間通訊壁壘。
1、VR頭顯遇通訊難題
目前(qian)市面上的(de)(de)VR頭顯(xian)如Oculus Quest，盡管設(she)計(ji)者可以通過增加頭顯(xian)的(de)(de)重量，讓頭顯(xian)和主機之間的(de)(de)連(lian)接部(bu)位減少相應重量，但是，連(lian)接部(bu)位的(de)(de)電線(xian)本身就是一個問題。
對(dui)此(ci)，有人(ren)提出(chu)用無線通(tong)(tong)信系統減輕頭顯的重量，并(bing)且(qie)取消電線。但事(shi)實上，無線通(tong)(tong)信系統也(ye)會存在很(hen)多問(wen)題。
比如(ru)說，無(wu)線通(tong)信(xin)系統(tong)傳(chuan)輸數據(ju)需要消耗(hao)設(she)備電量，并(bing)且無(wu)線通(tong)訊(xun)系統(tong)的帶寬(kuan)比有線通(tong)訊(xun)更少。再比如(ru)，無(wu)線通(tong)訊(xun)系統(tong)里最常見(jian)的斷連、其他設(she)備干擾的問題。
2、新專利采用交錯幀傳輸
面對這些難題，蘋果新專(zhuan)利“自(zi)適應(ying)無線傳輸(shu)”系統提供了一種新的解(jie)決方案。
它雖然采用了無線(xian)通信系統，但是減(jian)少了一次傳(chuan)輸(shu)的(de)(de)數(shu)據(ju)量(liang)。該方案要(yao)求(qiu)系統傳(chuan)輸(shu)盡可能少的(de)(de)視頻(pin)數(shu)據(ju)。并且(qie)，這項專利選擇將(jiang)網絡的(de)(de)帶寬量(liang)減(jian)半，通過左右眼數(shu)據(ju)交錯(cuo)使用，實現交錯(cuo)幀(zhen)數(shu)據(ju)傳(chuan)輸(shu)（interleaved frame transmissions）。
蘋果的新專利認為(wei)，數據不必傳輸畫(hua)面(mian)的每一(yi)幀(zhen)。它將畫(hua)面(mian)的傳輸幀(zhen)分成不同類，一(yi)類是(shi)需要(yao)緊急更(geng)新的畫(hua)面(mian)幀(zhen)，另一(yi)類是(shi)可(ke)以再次使用、沒有更(geng)新、較早時間的畫(hua)面(mian)幀(zhen)。
▲每(mei)只眼(yan)睛的交替視頻(pin)幀可以(yi)將一次傳輸的數(shu)據(ju)量減半(ban)。（來源于：Appleinsider）
3、凝視跟蹤功能加持數據節流
此外，該(gai)項(xiang)專利還(huan)用到了凝視跟蹤功(gong)能(neng)（mention of gaze tracking）。該(gai)功(gong)能(neng)可以通過(guo)用戶的(de)凝視，優先更新用戶正在查看畫面(mian)的(de)數據。不僅如此，它還(huan)通過(guo)注視點顯示技(ji)術（foveated display techniques）減少用戶未(wei)關(guan)注的(de)畫面(mian)細節量，再次節省(sheng)數據傳(chuan)輸。
但實現(xian)這一方案可能需要(yao)極高的幀速率（frame rates）。據蘋果專(zhuan)利報告顯示，由(you)于(yu)頭(tou)顯在眼睛部位，所以“每(mei)秒至少達到100幀”。
三、技術會不斷迭代，但并不會全應用于蘋果產品
此(ci)前(qian)，蘋果在(zai)VR和(he)AR領域具有很多專利申請，并且(qie)與這次(ci)兩項(xiang)新專利有一些(xie)技(ji)術交(jiao)叉。
比如說在(zai)中央凹區(qu)域的顯示技術（ foveated displays）方面(mian)，中心凹是(shi)眼睛的一個關鍵區(qu)域，它(ta)使人們能夠以非常清晰(xi)和精確(que)的方式看到(dao)東(dong)西。2020年(nian)，蘋(pin)果又設計了與此次(ci)類似的一個系(xi)統(tong)，該系(xi)統(tong)可以通(tong)過(guo)眼動追蹤（?eye tracking）來決定將數據資源投(tou)放在(zai)屏(ping)幕哪(na)些地方，并(bing)且可以通(tong)過(guo)凝(ning)視檢(jian)測功(gong)能（using gaze detection）來確(que)保畫面(mian)是(shi)否完成更新。
再比(bi)如說，手(shou)勢(shi)識別功能。2018年，蘋果的(de)一項專利(li)曾(ceng)涉及如何利(li)用(yong)頭顯(xian)下方的(de)攝像頭來監(jian)控用(yong)戶的(de)手(shou)勢(shi)變化，以便系(xi)統通過(guo)手(shou)勢(shi)變化管理3D文檔。2015年，蘋果的(de)一項專利(li)可(ke)以通過(guo)機器視覺(jue)，遠距離識別人們(men)的(de)手(shou)勢(shi)。
蘋果每周都會提交大量(liang)的專(zhuan)利申請，但新專(zhuan)利的存在僅代表蘋果的研(yan)發團隊對該領(ling)域感(gan)興趣，并不能保證這(zhe)些(xie)專(zhuan)利會出現(xian)在蘋果的產品中。
結語：蘋果下場會帶火VR/AR設備嗎？
蘋果兩項在VR/AR領(ling)域的(de)新專利向我(wo)們揭示了一個事實，蘋果已經擁(yong)有較為成熟的(de)、針對人機(ji)交(jiao)互領(ling)域的(de)難題的(de)解決方案。
根據天風證券(quan)分析(xi)師郭明錤報(bao)告，蘋果(guo)可能將在(zai)2022年中期推出VR/AR頭顯設備。他認為，蘋果(guo)頭顯能否成功要看VR/AR應用能否提(ti)供非常順暢的(de)顯示(shi)與操作(zuo)流程。
據(ju)IDC稱，到2022年(nian)，VR/AR的(de)市場價值約為560億(yi)美元。當蘋果(guo)入(ru)場頭顯設備時，是否(fou)能通過新的(de)技術加速VR/AR設備落地，我們靜觀其變。
來源：AppleInsider
