智東西（公眾號：zhidxcom）
作者 | 周炎
編輯 | 云鵬
這半個多(duo)月以來，關于Vision Pro的(de)消息可謂“冰(bing)火兩重天(tian)”。
先是(shi)傳出Vision Pro開發(fa)者實驗室冷清，開發(fa)者興趣不大。后有庫克在財(cai)報(bao)電話(hua)會上(shang)為(wei)自己產品站(zhan)臺：我每天都用Vision Pro，體驗者用了都說好。近期，知(zhi)名(ming)近眼顯示(shi)專(zhuan)利專(zhuan)家對Vision Pro功能演示(shi)中(zhong)虛擬屏(ping)代替物理(li)屏(ping)提出質疑(yi)，稱“太(tai)荒謬”，文章(zhang)還獲(huo)得很多行業人士的(de)支持(chi)。
Vision Pro亮相之后，雖然許多數碼博主和Vision Pro開發者都搶先體驗了它，并發表了體驗感受，但僅憑這些還是回答不了關于產品的疑問，總是有點“隔靴搔癢”的意味。從數千項專利中找答案，看清蘋果的深層玩法和布局，遠(yuan)比激烈對(dui)線更有價值。?
就(jiu)在(zai)一個月以前(qian)，蘋果公司的人機(ji)界面設計副總裁艾倫·戴伊（Alan Dye）接受采訪時(shi)稱，設計團隊為Vision Pro申請(qing)了5000項(xiang)左右(you)的專(zhuan)利(li)，同時(shi)，在(zai)研(yan)發過程(cheng)中(zhong)，最難(nan)就(jiu)是在(zai)專(zhuan)利(li)公開的情況下設計Vision Pro。
目前每周仍許多有關于Vision Pro的專利流出，這些專利有的解答人們對于發布會上某些功能演示中存在的疑惑，還有的徹底放飛了大家的想象力，原來一款(kuan)產品未來還可能會(hui)讓(rang)人“聞(wen)到花香(xiang)等(deng)各種味(wei)道”。
這也不禁讓人思考：設計團隊(dui)在專利中為Vision Pro埋下了哪些伏筆？Vision Pro又(you)是否實現了蘋果(guo)“最初的夢想(xiang)”？
智東西通過對Patently Apple網站中有關Vision Pro的專利深扒后發現：原來看著簡單兩指指尖互相觸碰實現的手動控制原來需要相機對手部各個關節端的識別；實現人物自動淡入、淡出的EyeSight功能使用了具有支撐結構的紅外透明單向鏡；來實現3D攝像，需要先讓相機的POV模擬人眼的POV。
深扒專利為我們的解答的疑問遠不及此，在對WWDC23發布會演示視頻逐幀回顧后，智東西還發現，蘋(pin)果“精心選擇”了Vision Pro的(de)演示功能，這背后(hou)藏著(zhu)蘋(pin)果多年(nian)布下的(de)“一盤大棋”。
由于篇幅限制，我們選擇了手動(dong)(dong)控制、空間(jian)窗口(kou)、眼動(dong)(dong)交互、Optic ID、空間(jian)音頻、計算機生(sheng)成現實體(ti)驗、空中觀看(kan)動(dong)(dong)作電(dian)影、AR體(ti)育賽事、沉浸式遠程(cheng)電(dian)話會(hui)議(yi)、虛擬鍵盤、3D攝(she)影、影像(xiang)拍攝(she)通知、EyeSight等13項功(gong)能演示背后(hou)關系最為緊(jin)密的17項專利進(jin)行一(yi)輪“賽(sai)博(bo)拆機”。
一、微米級分辨率識別手部運動，可用于導航菜單、控制媒體播放
在(zai)WWDC23上(shang)，最(zui)先映入(ru)觀眾眼簾的就是Vision Pro的手動控(kong)制(zhi)功能。
蘋果在過去幾年發布了多項關于微手勢控制Vision Pro菜單的專利，從美國專利商標局的公開信息來看，該專利涉及具有顯示生成組件和一個或多個提供計算機生成體驗的輸入設備的計算機系統。（computer systrms with a display generation component and one or more input devices that provide computer generated experciences)，簡單理解就是一種手勢控制裝置。
從目前來看，Vision Pro與手勢結合可用于玩視頻游戲、導航菜單、控制媒體播放等。Vision Pro的(de)計算機系(xi)統（computer system）允許用(yong)戶使(shi)用(yong)微手(shou)勢來與三維(wei)環境進行交互。
Vision Pro可以識別到對應的指關節、指尖、手掌中心、連接到手腕的手端等的點。Vision Pro的相機安裝在遠離用戶的地方。微手勢的不同運動和位置以及各種運動參數用于確定在三維環境中執行的操作。由于微手勢不易引人注目，所以可以在公共場合中進行該操作。
目前，Vision Pro的手動控制還無法對實體設備進行操作，因此蘋果還在繼續研發智能戒指系統（smart ring system）。
從目前蘋果的專利信息(xi)來(lai)看，該戒指具有(you)包括滑動、點擊(ji)、旋轉等在內的16種交互方式。戒指中的傳感器可以感知到用戶的指令信息(xi)，然后根據指令控制虛擬物體和現(xian)實物體的交互。
同時需要明確的是，專利僅(jin)僅(jin)是技(ji)術保護(hu)的一種手段(duan)，這并不(bu)意(yi)味著蘋(pin)果會在短期內推出(chu)智能(neng)戒指產品，但(dan)從(cong)該(gai)專利為(wei)未(wei)來可能(neng)的交(jiao)互方式提供了新(xin)的可能(neng)性。
二、XR系統檢測頭部運動，用戶可操控跨平臺虛擬現實應用
如果說，上一個專利與識別手部運動有關，那么這個與Vision Pro頭顯的3D“無限畫布”（infinite canvas）有關的專利就與識別頭部運動有關。
蘋果早在2022年12月就申請了這項專利，并于今年6月在歐洲發布。從蘋果的專利描述上看，Vision Pro的混合現實（XR）系統可以檢測頭部運動，并相應地調整呈現給人的圖形內容和聲場。
從功能的角度，該專利可以理解成“空間用戶界面自動切換裝置”。
上圖是真實(shi)和(he)虛擬組件的分(fen)層在Vision Pro內呈現完成的增強現實(shi)（AR）視圖。根據蘋(pin)果的說法，對于每(mei)一個用(yong)戶界面（UI），頭顯(xian)都會分(fen)配一個邊(bian)界，該(gai)邊(bian)界定義了某個用(yong)戶界面應該(gai)處(chu)于的物理環境(jing)。
從上圖來看，Vision Pro頭顯(xian)系統(tong)的相機(ji)（camera）和傳(chuan)(chuan)感器（ sensor）會將捕捉到的信息傳(chuan)(chuan)輸到Vision Pro中(zhong)的合成引(yin)擎（ composting）和操作(zuo)系統(tong)（application）之中(zhong)。
接(jie)著應用程(cheng)序(xu)(xu)會向(xiang)操作(zuo)系統(tong)發(fa)送請求（request），然后操作(zuo)系統(tong)接(jie)著會反饋給應用程(cheng)序(xu)(xu)哪些是受(shou)限制的信息（constrained information）。
隨后，操作系統會將處理好的場景信息、各個應用程序也會將應用數據傳送到渲染引擎（rendering engine）之中。渲染引擎將加工好的信息傳送到合成引擎之中，與最初由傳感器和攝像機捕捉到的信息進行最終合成，最終各個應用程序界面就會顯示在用戶面前。
三、多單元區計算用戶凝視端點，用戶眼動控制空間物體
除了手動識別、頭動識別、Vision Pro還能針對眼部運動進行識別。產品評論家Marques Brownlee在看到Vision Pro的產品稱，你一旦開始使用Vision Pro后，一定會關注它的眼動追蹤功能（eye tracking），“我通常不會評價科技產品的功能為“魔法”或者“超現實”，但是這是我接觸過最接近魔法的事情。”
從美國專利商標局的公開信息來看，Vision Pro的眼動追蹤功能和一項“用于注視端點確定的方法和裝置”的專利有關。該專利可以用于確定主體在空間中注視三維物體的端點。聽起來似乎很復雜，事實上就是一個“眼動控制裝置”。
該專利將(jiang)用(yong)戶頭部及其(qi)(qi)周圍環境定義為一個(ge)(ge)系統，并將(jiang)其(qi)(qi)分為了多(duo)個(ge)(ge)單元(yuan)區(qu)，其(qi)(qi)中包括眼睛(jing)跟(gen)蹤(zong)單元(yuan)、頭部跟(gen)蹤(zong)單元(yuan)、3D場景結構表示(shi)單元(yuan)（3D scene structure representation unit）、計算單元(yuan)等。
Vision Pro會追蹤用戶的眼睛的注視方向，頭部、眼部跟蹤單元相對于整個參考坐標系的位置和取向，接著，Vision Pro在就會在3D場景結構表示單元中，通過參考坐標系中的坐標通過真實世界場景中對象的3D位置及其3D結構來表示真實世界場景和場景中包含的對象。最后，計算單元會基于用戶眼部的凝視方向、眼動儀的位置、3D場景結構表示等來計算出用戶的凝視端點。
四、傳感器捕捉用戶虹膜信息，用戶可通過Optic ID進行識別
8月初，Vision Pro虹(hong)膜生物識別系統Optic ID背(bei)后的專利也“浮出水(shui)面”。
從蘋果的描述來看，這項專利可以理解為“生物信息辨識算法”，Vision Pro的攝像機可以用于捕捉用戶的虹膜、眼睛、眼眶周圍區域的生物特征圖像，然后攝像機(ji)中的(de)控制器(qi)（controller）上執(zhi)行的(de)算(suan)法可(ke)(ke)以(yi)動態地確(que)定(ding)這些(xie)被捕獲的(de)圖像中哪(na)個可(ke)(ke)以(yi)用于(yu)生物識(shi)別(bie)認(ren)證(zheng)。
Vision Pro攝像機中控(kong)制器選擇圖像的客觀標準包括(kuo)：圖像的曝光度、對比(bi)度、陰影面積、清晰度、是(shi)否有遮擋物體、是(shi)否有反射光等。
五、幾何聲學模擬現實聽覺刺激，觀影時空間音頻更加真實
在結束身體(ti)部位識(shi)別板塊后(hou)，想(xiang)必大家在觀看WWDC23時(shi)(shi)，都(dou)會對上面動(dong)圖中演示的(de)“空間(jian)音頻(pin)”的(de)功能有(you)所印象，同時(shi)(shi)因(yin)為沒有(you)親身體(ti)驗過“空間(jian)音頻(pin)”，所以并(bing)不清楚“空間(jian)音頻(pin)”會如(ru)何提高沉浸(jin)感(gan)。
傳統上，當聲音沿間接路徑傳播時，耳道入口接收到的聲學信號中可能會存在偽影，通過使用(yong)空間(jian)音頻(pin)濾波器(qi)的信號處理算法，可以(yi)將用(yong)戶特定的偽影合(he)并(bing)到(dao)雙耳的音頻(pin)中去。
為了實現準確的空間音頻再現，虛擬音頻系統可以使用HRTF來創建聲音來自空間中某處的錯覺。聲音可以使用射線進行追蹤，這種方式被稱為幾何聲學（GA），幾何聲學的方法可用于模仿合成聲波的某些現實行為帶來的聽覺刺激。
目前的(de)空(kong)間音頻合成軟件(jian)可以管理實(shi)(shi)時模擬移(yi)動(dong)接收器周(zhou)圍的(de)移(yi)動(dong)聲(sheng)(sheng)(sheng)源的(de)計算負荷，然而，這些模擬往往是(shi)基于靜態混響(xiang)的(de)，在現實(shi)(shi)世(shi)界(jie)的(de)場(chang)景(jing)中，聲(sheng)(sheng)(sheng)波和反射性/阻(zu)礙性表面之間存在著顯著的(de)相互作用。房間的(de)建筑或場(chang)景(jing)構成中的(de)每一(yi)變(bian)化都會對房間里(li)的(de)聲(sheng)(sheng)(sheng)波在任(ren)何給定瞬間的(de)實(shi)(shi)時模擬方(fang)式(shi)產生重大影響(xiang)。
這就(jiu)需要改進虛擬(ni)(ni)三維環境中(zhong)的實(shi)時(shi)物理(li)聽覺(jue)化技術(shu)，這包括(kuo)其中(zhong)任何（或全部）的環境：聲源(yuan)、聲音接收器和(he)虛擬(ni)(ni)環境中(zhong)的幾何/表面可能在聲源(yuan)被模擬(ni)(ni)時(shi)的動態變化。
蘋(pin)果的(de)這項(xiang)專利(li)可以理解(jie)為(wei)“位(wei)置追蹤(zong)與(yu)動態(tai)音(yin)頻(pin)調整系(xi)統”。
當用戶走(zou)到虛擬空間中的哪個位置(zhi)，都能聽到實(shi)時處(chu)理(li)的遍布于空間內擬真的聲音效果，這些聲音會(hui)根據空間內物體位置(zhi)、甚(shen)至材質，以及實(shi)時移動的人產生(sheng)變(bian)化，從而更(geng)加真實(shi)。
六、生成用戶化身，支持計算機生成現實體驗
在觀影的過程中，除了空間音頻帶來的沉浸感，Vision Pro可為用戶帶來計算機生成現實（CGR）體驗，在提供CGR體驗之前，需要了解用戶的姿勢。一(yi)些CGR體(ti)驗呈現模仿用(yong)戶行為的用(yong)戶化身(shen)，如果用(yong)戶移動(dong)身(shen)體(ti)的一(yi)部分，化身(shen)就會(hui)移動(dong)相應的部分。
從FIG18可(ke)以(yi)看到(dao)(dao)，Vision Pro的傳感器可(ke)以(yi)對用戶身體(ti)的姿勢(shi)及(ji)其(qi)進行捕(bu)捉，然(ran)后分別在用戶的左(zuo)(zuo)肩、右肩、上下左(zuo)(zuo)右臂(bei)、軀(qu)干、左(zuo)(zuo)右腿等位置(zhi)進行定位，Vision Pro會將這些身體(ti)姿勢(shi)信息反(fan)饋到(dao)(dao)用戶的神(shen)經網(wang)絡訓(xun)練系(xi)統中，然(ran)后用戶會產生計(ji)算(suan)機生成(cheng)現實(shi)體(ti)驗(yan)。
這項技術是通過蘋(pin)果去年收購以色列公司(si)Camerai引入蘋(pin)果的。
七、識別用戶內耳前庭感知到的運動，減小飛機場景觀影眩暈感
WWDC23上(shang)，蘋果的(de)視頻預(yu)告片(pian)中(zhong)展示了用戶如何在飛機上(shang)佩(pei)戴(dai)Vision Pro觀(guan)看電影。
要知道，一般情況下，當身體運動和視野所觀測到的運動不匹配或者頭部運動和視覺觀測的頭部運動不匹配時，人很容易產生暈動癥。而當用戶在空中佩戴VR/AR頭顯時，由于飛機顛簸，以及VR/AR頭顯顯示的視野太窄或各種追蹤功能緩慢/不準確，身體運動、頭部運動與VR/AR頭顯觀測到的事物容易產生不匹配的情況，從而導致定向障礙和惡心。
近眼顯示專家Karl Guttag在其創辦的科技網站KGOn Tech給出了更加細致的分析，Karl Guttag稱，人眼視場角內分辨率最高的區域（視網膜中央凹）其覆蓋范圍僅為2度，使用(yong)者眼前看(kan)到的圖像是眼球通過掃視、跳(tiao)動等(deng)微動作捕捉并拼湊(cou)在(zai)一起的結(jie)果。
在Karl Guttag的(de)分析中(zhong)可(ke)以看(kan)到(dao)，在通常情況下，人體主要(yao)通過三種感(gan)官來(lai)保持平衡，其中(zhong)內(nei)耳器官的(de)前(qian)庭感(gan)知(zhi)（VOR）可(ke)識別(bie)頭部的(de)方向，以及哪個方向是上(shang)下方，如(ru)果人眼前(qian)看(kan)到(dao)的(de)運動與前(qian)庭系統感(gan)知(zhi)到(dao)的(de)運動不相符，那么就容易引起惡(e)心、眩暈等癥狀(zhuang)。
由于AR/VR頭(tou)顯(xian)主要根(gen)據用戶眼球和頭(tou)部運(yun)動來動態(tai)渲染圖像，顯(xian)示(shi)(shi)的(de)(de)內(nei)容可(ke)能會導致(zhi)內(nei)耳、眼球檢測到的(de)(de)數據不一致(zhi)，從而(er)眩暈。R1芯片宣(xuan)稱可(ke)以大幅消除傳感器(qi)和顯(xian)示(shi)(shi)器(qi)之(zhi)間(jian)的(de)(de)延遲。
Karl Guttag稱，在飛機等(deng)長途移動(dong)(dong)場景中，與(yu)前庭(ting)(ting)相關的暈動(dong)(dong)問(wen)題可(ke)能(neng)還(huan)會加重，因此，Karl Guttag得出結論，Vision Pro還(huan)需(xu)要識別用戶內耳前庭(ting)(ting)感知到的運(yun)動(dong)(dong)，才能(neng)很好(hao)地(di)減少運(yun)動(dong)(dong)癥狀。
巧合的是，蘋果今年6月公布的一項專利顯示，蘋果的確走了一條和Karl Guttag的猜測相同的路。這兩項專利分別可以理解為“運動感知增強系統”和“相對慣性測量系統”。
首先，第一項專利中，Vision Pro通過調整中心凹視區域（foveated gaze zone）外部的內容對比度或空間頻率（spatial frequency）可以減少暈動病，這種方式也不會像黑掉內容那樣有損與用(yong)戶(hu)體驗。
具體到實施方式上，蘋果增加了與用戶物理環境的3D空間相關聯的內容到凹注視區域外部。這樣的目前是為了使用戶可以相對于計算機生成現實（GCR）環境中移動，并且使用戶感知到的運動與前庭系統（vestibular system）感知的信息相匹配。
同時，Vision Pro還(huan)會在通過傳感器獲得(de)用戶的(de)生(sheng)理數據和運動數據等的(de)基礎上，向用戶提供相(xiang)關聯的(de)視覺和聽覺體驗。
總(zong)的(de)來(lai)說，該專(zhuan)利的(de)創新(xin)之處在于，在具有(you)處理(li)器(qi)的(de)電子(zi)設備上，首先確定了(le)顯示(shi)器(qi)的(de)第(di)一區和(he)第(di)二(er)區，然(ran)后根據第(di)一區和(he)第(di)二(er)區生成3D環境的(de)圖(tu)像(xiang)，識(shi)別對應于顯示(shi)器(qi)第(di)二(er)區的(de)每個(ge)圖(tu)像(xiang)的(de)內(nei)容(rong)，以及(ji)對應于顯示(shi)器(qi)第(di)二(er)區的(de)每個(ge)圖(tu)像(xiang)的(de)圖(tu)像(xiang)內(nei)容(rong)的(de)對比度或空間頻率(lv)中的(de)至少一個(ge)。
上圖列出了(le)用(yong)戶瞳孔和瞳孔的(de)視(shi)野圖，其中展現了(le)眼(yan)窩(wo)，即視(shi)網膜中心凹下(xia)的(de)部(bu)分(fen)、副(fu)眼(yan)窩(wo)(parafoved)和周邊視(shi)覺區域（peripheral）。
Karl Guttag對于Vision Pro也有疑(yi)惑的(de)(de)(de)(de)問題(ti)：在長時(shi)間空氣不流通的(de)(de)(de)(de)場景下(xia)，如(ru)果(guo)讓人一(yi)直佩戴有一(yi)定重(zhong)量、貼臉、且會散發(fa)熱量的(de)(de)(de)(de)頭顯來看電影(ying)，體驗感(gan)可(ke)能(neng)并不理(li)想(xiang)。飛機(ji)上的(de)(de)(de)(de)空乘(cheng)人員、乘(cheng)客可(ke)能(neng)會來回(hui)走動，每當(dang)有人靠近的(de)(de)(de)(de)時(shi)候，都可(ke)能(neng)觸發(fa)Vision Pro的(de)(de)(de)(de)透(tou)視模型(xing)，打破觀影(ying)的(de)(de)(de)(de)沉浸感(gan)。
除了調整中心凹視區域外部的內容對比度，蘋果在今年7月發布的一項有關相對慣性測量系統（relative inertial measurment system）也對乘坐交通工(gong)具時產生(sheng)的暈動癥(zheng)的解(jie)決有所(suo)幫助。
從(cong)蘋果的(de)(de)介紹來看，傳統的(de)(de)VR和(he)AR設備無(wu)法將用(yong)戶身體部分的(de)(de)運動與用(yong)戶所處(chu)的(de)(de)參照系（reference frame）分離開來。
舉例(li)來說，佩戴傳統VR和(he)(he)AR設備(bei)的(de)(de)用(yong)戶(hu)(hu)在乘坐交通工(gong)具時(shi)，在交通工(gong)具從停止狀態加速直到高速的(de)(de)過(guo)程中，用(yong)戶(hu)(hu)并不(bu)會在交通工(gong)具內進行運(yun)動。這樣(yang)VR和(he)(he)AR設備(bei)顯示的(de)(de)圖像，在用(yong)戶(hu)(hu)看來就像是他(ta)正(zheng)在以相同的(de)(de)速度和(he)(he)方(fang)向通過(guo)車輛行駛的(de)(de)場景。由(you)于(yu)眼前庭(ting)不(bu)匹(pi)配，用(yong)戶(hu)(hu)因此出現惡心等癥狀。
蘋果(guo)的(de)(de)相對慣性測量技術(shu)可以(yi)確(que)定用(yong)戶(hu)設備相對于非固(gu)定參考系（用(yong)戶(hu)乘坐的(de)(de)交通工具）相對的(de)(de)運(yun)動，從而將(jiang)用(yong)戶(hu)身體部分的(de)(de)運(yun)動與所處的(de)(de)參照(zhao)系分離。
八、實時跟蹤用戶視覺方向，增加賽事比分信息，帶來現場觀賽體驗
除了提升觀影體(ti)(ti)驗(yan)，蘋果(guo)還通過增強(qiang)現(xian)實技術(shu)提升觀看體(ti)(ti)育賽事(shi)的(de)體(ti)(ti)驗(yan)。
從蘋果的專利信息來看，沉浸式視頻內容可以通過三維的方式呈現給用戶。根據(ju)使用者(zhe)觀(guan)看(kan)現(xian)場活動(dong)的方向和觀(guan)看(kan)位置的視(shi)覺數(shu)據(ju)，Vision Pro選擇(ze)為用戶呈現(xian)特定視(shi)野或觀(guan)察視(shi)角的沉浸式(shi)視(shi)頻內容(rong)。同時(shi)，Vision Pro中呈現(xian)的內容還(huan)會根據用戶的移(yi)動而不斷更(geng)新。
從功能上來看，該專利可以理解為“第一人稱視角沉浸式觀賽系統”。
從上圖(tu)來看(kan)，體育賽事的視(shi)頻內(nei)容會(hui)(hui)通過網絡(luo)傳輸(shu)到Vision Pro上，經由(you)Vision Pro的通信(xin)模(mo)(mo)塊(kuai)，一部(bu)(bu)分信(xin)息(xi)就會(hui)(hui)進入(ru)數據(ju)緩沖區，然后在(zai)(zai)顯(xian)示(shi)在(zai)(zai)目鏡(jing)上。另一部(bu)(bu)分信(xin)息(xi)會(hui)(hui)經由(you)處理模(mo)(mo)塊(kuai)、以(yi)及傳感器(qi)顯(xian)示(shi)在(zai)(zai)目鏡(jing)上。
如果說第一個專利強調增強了用戶對體育視頻內容的沉浸感受，那么第二個專利則為用戶實時提供體育賽事現場情況信息，可以理解為“體育賽(sai)事視覺增強系統”。
將(jiang)時(shi)間倒回2022年(nian)6月，蘋(pin)果(guo)和美(mei)國職業足球(qiu)大(da)聯盟（MLS）宣布，Apple TV應用程序將(jiang)獨(du)家播(bo)放2023以后的每場MLS比賽直播(bo)。為了進軍視頻業，蘋(pin)果(guo)正希望將(jiang)拓展MLS的呈現(xian)方式，使用戶(hu)可以在Vision Pro中觀看(kan)MLS比賽直播(bo)，同時(shi)感受到現(xian)場比賽的氛圍。
蘋果(guo)在(zai)專利背景信(xin)息中(zhong)(zhong)(zhong)指(zhi)出，目前用戶已經習慣在(zai)電視(shi)中(zhong)(zhong)(zhong)觀看體育(yu)賽(sai)(sai)事(shi)中(zhong)(zhong)(zhong)隊伍名稱、得分(fen)等補充信(xin)息，例如，在(zai)足球比(bi)賽(sai)(sai)轉播期間(jian)，在(zai)球場上顯(xian)示(shi)黃色的先下線，籃球比(bi)賽(sai)(sai)中(zhong)(zhong)(zhong)，比(bi)分(fen)一(yi)般顯(xian)示(shi)在(zai)右下角。
Vision Pro的傳感器可以捕捉物理環境中的視頻或者圖像，而此時，Vision Pro的顯示器處于透明或半透明狀態，圖像或視頻的光線會通過這層透明或半透明的介質導入眼睛之中。此外，關于體育賽事的補充信息還會顯示在體育賽事的視圖之中。從下圖可以(yi)(yi)看(kan)到，例如“玩家A進(jin)球(qiu)”、“47:46”這樣的場上比分、“射擊速度66千米/小時”等“‘增強現實”內容的信息(xi)都會以(yi)(yi)黃色來突(tu)出顯(xian)示。
Vision Pro仍然會面臨一些問題。在續(xu)航方(fang)面，戶外比賽需(xu)要處理大量的實時圖像和(he)數據，對電池(chi)續(xu)航和(he)節能的要求會增加。
在技術方面，如果實現對體育賽事的AR呈現，Vision Pro需要高效處理大量的圖像和數據，以提供給流暢的增強現實體驗。同時，系統的實時跟蹤和定位性能也需要高精度和穩定性，以確保在真實世界中的精準重疊。
九、提供沉浸式遠程電話會議功能，支持與多人分享同一主題內容
Vision Pro不(bu)僅可(ke)以(yi)通(tong)過“空(kong)間音頻”、“增(zeng)強現實”、“用戶化身”等(deng)方(fang)(fang)式為用戶提供娛樂(le)方(fang)(fang)面的沉浸感(gan)，在工作層(ceng)面，還可(ke)以(yi)為用戶帶來(lai)沉浸式的電話會議體驗。
該專利可以理解為沉浸式電話會議和遠程呈現系統（immersive teleconferencing &telepresence system）。從美(mei)國專利(li)(li)局的(de)(de)信息來看，該專利(li)(li)申請涉(she)及(ji)了基于會話描述協(xie)議（session description）和(he)實時傳輸協(xie)議的(de)(de)程序。
下圖描述了(le)沉浸式電話會(hui)議和遠程呈現(xian)系統的簡化結構(gou)，圖中可(ke)以(yi)看到，一群(qun)同時正在會(hui)議室中開會(hui)，房間中含有會(hui)議桌，以(yi)供實際出(chu)席(xi)的參與者使用(yong)。
此外，Vision Pro的相機能夠以相對于相機不同的角度或視場捕獲視頻的多個單獨的相機或鏡頭。當有人并未出現在會議室中，但還是希望加入電話會議。那么會議室中的參與者可以使用屏幕顯示來自個人的共享演示文檔或者視頻流。未佩(pei)戴Vision Pro的參與者可以使用iPad和iPhone在遠(yuan)程來加(jia)入會議。
從上圖的(de)(de)105b可以(yi)(yi)看(kan)到，遠程參與會議的(de)(de)人可以(yi)(yi)使用ipad和iPhone等設備觀看(kan)會議室的(de)(de)360度全景視(shi)(shi)圖，還可以(yi)(yi)使用ipad或iPhone的(de)(de)手機攝像(xiang)頭拍(pai)攝視(shi)(shi)頻。
十、虛擬鍵盤“隔空打字”，支持多設備協同完成文檔內容
與工作場景密切相(xiang)關的(de)還(huan)有Vision Pro虛擬(ni)鍵盤帶來(lai)的(de)“隔空打字”功能。
查閱蘋果的專利，在過去幾年中，有多個專利涉及到虛擬鍵盤的“隔空打字”功能。蘋果今年3月發布了一項關于“用戶擴展現實（XR）系統的多設備連續性”的專利，也就是一種“多設備(bei)協同輸入裝置”。
該(gai)專(zhuan)利允許(xu)使(shi)用iPhone、iPad、Mac的用戶將正(zheng)在操作的文(wen)(wen)檔傳輸(shu)到(dao)Vision Pro之中，允許(xu)用戶在擴展現實中完成該(gai)文(wen)(wen)檔。接著(zhu)Vision Pro可以通過檢測用戶手指運動(dong)來(lai)進行輸(shu)入。
從FIG2中可以看到，iPhone設備將其內容(rong)傳輸(shu)到Vision Pro上，用(yong)戶佩戴Vision Pro后，前方會出(chu)現應用(yong)程(cheng)序窗口(kou)(kou)，其中包括文件管理應用(yong)程(cheng)序（file mgr app）、瀏(liu)覽器(qi)窗口(kou)(kou)（browser window）、內容(rong)編(bian)輯器(qi)窗口(kou)(kou)（content editor window)、媒體播放器(qi)窗口(kou)(kou)（media player app window），iPhone原(yuan)本(ben)輸(shu)入(ru)的內容(rong)可以在內容(rong)編(bian)輯器(qi)窗口(kou)(kou)查看到。
從FIG5中可以看到，Vision Pro上的攝像頭和傳感器可以捕捉到iPhone的用戶界面，然后Vision Pro中的處理器會將捕捉到的用戶界面生成副本，然后會為用戶重新創建一個文檔，使其可以在Vision Pro所提供的顯示界面中繼續編輯該文檔。
當Vision Pro接管了該文檔的控制權之后，iPhone的顯示屏可能會關閉或更改為低功耗狀態。同時Vision Pro還可以在XR環境中打開多個應用窗口。
蘋果在2020年被授(shou)予(yu)了一項(xiang)名為“自適應(ying)輸入(ru)表(biao)(biao)面”（Adaptive Input Surface ）的(de)專(zhuan)利，該專(zhuan)利與(yu)觸敏輸入(ru)（touch-sensitive）有關，可以代替具(ju)有觸覺(jue)反(fan)饋(kui)(kui)的(de)虛擬鍵盤。觸覺(jue)反(fan)饋(kui)(kui)可以通過靜電(dian)電(dian)極的(de)可控陣列(lie)提供給用戶，這可以使用戶感(gan)知到(dao)表(biao)(biao)面上不(bu)同水平的(de)摩擦力。就可以有針對性地進行輸入(ru)。同時(shi)輸入(ru)表(biao)(biao)面移動感(gan)的(de)致動器(qi)還會進一步為用戶提供附加的(de)觸覺(jue)反(fan)饋(kui)(kui)。
一(yi)般而言，這個輸入(ru)表面會接近于(yu)Vision Pro的傳感(gan)器，該傳感(gan)器會捕捉用戶手(shou)指的位置。
十一、模擬人眼POV，單視場或立體場視圖實時渲染到Vision Pro
最(zui)后要講的(de)三部分與Vision的(de)攝(she)像(xiang)功能和相關(guan)的(de)透鏡鏡片(pian)有關(guan)，其中不得不提(ti)的(de)就是Vision Pro的(de)3D攝(she)像(xiang)功能。
在傳統的(de)VR/AR頭顯中，場(chang)景(jing)攝(she)像機（scene cameras）安裝在頭顯的(de)前面。但通常(chang)情況下，場(chang)景(jing)攝(she)像機的(de)入瞳以(yi)及視點（POV）與用戶眼睛的(de)POV存在很大的(de)偏移，因此(ci)，攝(she)像機的(de)POV并不能代表(biao)人(ren)眼的(de)POV。
因此，為了更好模擬人眼的POV，Vision Pro通過將相(xiang)機的入射光(guang)瞳向用戶的眼睛處移動來校正(zheng)(zheng)相(xiang)機的POV，以更好匹配(pei)用戶的POV，從(cong)功能的角度，該(gai)專(zhuan)利(li)可以理解為“相(xiang)機POV校正(zheng)(zheng)裝置”。
Vision Pro的(de)相(xiang)(xiang)機(ji)(ji)(ji)的(de)二維陣列（two-dimensional arrays）可以(yi)捕獲眼(yan)前真實世界場景的(de)各個部分(fen)的(de)圖(tu)像，攝像機(ji)(ji)(ji)沿球面曲線(xian)或曲面定位（spherical curve or surface），以(yi)使攝像機(ji)(ji)(ji)具有(you)不(bu)重疊的(de)相(xiang)(xiang)鄰視(shi)(shi)場（FOV）。同時(shi)，為了準確表示用戶的(de)視(shi)(shi)角，Vision Pro相(xiang)(xiang)機(ji)(ji)(ji)中的(de)光(guang)(guang)學(xue)器件被配置為使陣列中相(xiang)(xiang)機(ji)(ji)(ji)的(de)入射光(guang)(guang)瞳位于圖(tu)像傳感(gan)器處所(suo)形成(cheng)相(xiang)(xiang)機(ji)(ji)(ji)圖(tu)像平面的(de)后面。同時(shi)，Vision Pro的(de)相(xiang)(xiang)機(ji)(ji)(ji)也在傳感(gan)器上形成(cheng)優化的(de)圖(tu)像。因此，每個相(xiang)(xiang)機(ji)(ji)(ji)陣列都能從與用戶眼(yan)睛基(ji)本相(xiang)(xiang)同的(de)視(shi)(shi)角捕捉場景的(de)視(shi)(shi)圖(tu)。
在蘋果(guo)發(fa)布會(hui)的(de)展示中(zhong)，使用者可(ke)以(yi)與圖(tu)片中(zhong)場景進行交(jiao)互一直讓人好奇(qi)，從蘋果(guo)發(fa)布的(de)專利中(zhong)可(ke)以(yi)看到(dao)，虛(xu)擬現實系統(tong)可(ke)以(yi)向用戶顯示立(li)體(ti)場景以(yi)創建深(shen)度錯覺，并且計算機可(ke)以(yi)實時調整場景內容(rong)。
每個(ge)相機按照從物側(ce)到像側(ce)的順(shun)序包(bao)括(kuo)：第(di)一(yi)透(tou)鏡(jing)組，其中包(bao)括(kuo)一(yi)個(ge)或(huo)多(duo)個(ge)透(tou)鏡(jing)元(yuan)件；孔徑光(guang)闌（apertue stop）其中包(bao)括(kuo)針孔（pinhole）；第(di)二(er)透(tou)鏡(jing)組，其中包(bao)括(kuo)一(yi)個(ge)或(huo)多(duo)個(ge)透(tou)鏡(jing)元(yuan)件、多(duo)個(ge)鏡(jing)頭(tou)元(yuan)件和(he)傳感(gan)器，同時，第(di)一(yi)組透(tou)鏡(jing)組中的透(tou)鏡(jing)之間的間隙(xi)最小或(huo)者(zhe)沒有(you)間隙(xi)。
這樣安(an)排的(de)(de)原因是希望使一個場景(jing)的(de)(de)光被反(fan)射到(dao)兩個或多個攝(she)像(xiang)機上，這些(xie)攝(she)像(xiang)機分(fen)別為(wei)捕捉場景(jing)的(de)(de)各個部分(fen)的(de)(de)圖(tu)像(xiang)，鏡子的(de)(de)作(zuo)用(yong)是使攝(she)像(xiang)機的(de)(de)光圈更接近被攝(she)者的(de)(de)眼(yan)睛。所捕獲的(de)(de)圖(tu)像(xiang)經過處理后生成(cheng)圖(tu)像(xiang)。用(yong)戶在由自己的(de)(de)左(zuo)右眼(yan)來查看所顯示的(de)(de)圖(tu)像(xiang)。
而且真正實現3D攝影，這或許還只是入門級的要求。蘋果在2021年4月公布一項關于360攝影和后期制作相關的專利，或許可以(yi)更好地(di)解釋Vision Pro如何(he)實現(xian)了體驗者們所(suo)言的“3D立體景觀(guan)”。
蘋果在專利中(zhong)稱，傳統的180度(du)和360度(du)視(shi)頻和圖(tu)像(xiang)都以平面存儲格(ge)式(shi)（in flat storge formats）進行(xing)存儲，同時(shi)使用等距柱(zhu)狀投(tou)影(ying)（equirectangular projections）或(huo)立(li)(li)方投(tou)影(ying)（cubic projections）來表示(shi)球(qiu)面空間（sphrical space）。如果這些視(shi)頻或(huo)圖(tu)像(xiang)在傳統的編(bian)輯或(huo)圖(tu)形應用程序中(zhong)進行(xing)編(bian)輯，同時(shi)當(dang)這些視(shi)頻或(huo)圖(tu)像(xiang)以圓(yuan)頂(ding)投(tou)影(ying)、立(li)(li)方體或(huo)球(qiu)面映(ying)射的方式(shi)分布和呈現時(shi)，容(rong)易出現大量(liang)問題。
此外，在對(dui)(dui)用球面合成或編輯的圖像或視頻進行處理后，容易出現后續鏡頭未對(dui)(dui)準或立(li)體視覺(jue)不匹配等情(qing)況。然(ran)而蘋(pin)果的專利彌補了這一遺憾(han)。
目前Vision Pro獲得專利會將單視場（monoscopic）或立體180度或360度的靜態圖像或視頻圖像從主機編輯或視覺效果軟件作為等距柱狀投影或其他球面投影傳輸同時運行的輸入的方法和系統。同一設備上的軟件程序，可以從有線或無線鏈接的頭戴式頭顯的方向和位置數據，并同時將該方向代表的代表性單視場或立體場視圖實時渲染到Vision Pro中。
說到這或許就可以解答如何形成3D立體景觀了，但蘋果并未止步與此，蘋果在專利中還進一步想到了關于Vision Pro拍到的照片和視頻如何進行后期制作，雖然蘋果沒有在WWDC23的預告中展示這方面的功能。
簡單來(lai)講，Vision Pro使用(yong)GPU緩沖區來(lai)接收圖(tu)像數(shu)據，同時這個GPU緩沖區還與媒(mei)體操(cao)作(zuo)的(de)應用(yong)程序(xu)相關(guan)聯，可以獲取到顯示(shi)設備的(de)方向數(shu)據（orientation data），這樣利用(yong)獲得的(de)圖(tu)像數(shu)據和方向數(shu)據，Vision Pro的(de)屏幕(mu)上就可以顯示(shi)出預覽圖(tu)像。需(xu)要指出的(de)是(shi)，當媒(mei)體操(cao)作(zuo)應用(yong)程序(xu)并修改圖(tu)像數(shu)據時，所述的(de)預覽圖(tu)像會(hui)被動態修改。
十二、增加集成板塊，安裝多種傳感器，告知外界頭顯正在拍攝
此前谷歌眼鏡由于會在對方不知情的情況下對其進行拍攝而受到外界的詬病，蘋果在下面這項專利中為Vision Pro增加了集成板塊（integrated part），該集成板塊可以讓外界知道頭顯正在拍攝，簡單來講，就是“傳感器捕捉與指示裝置”。
從專利信息來看，蘋果在Vision Pro安(an)裝(zhuang)上許多傳(chuan)感器(qi)，首先是，三(san)維(wei)傳(chuan)感器(qi)，三(san)維(wei)傳(chuan)感器(qi)下面又(you)分為多個(ge)類別，例如三(san)維(wei)圖像傳(chuan)感器(qi)（three-dimensional sensors）、結(jie)構光傳(chuan)感器(qi)(structured light sensors)，當目標被光束照射產生的光點的三(san)維(wei)圖像數據(ju)被三(san)維(wei)圖像傳(chuan)感器(qi)捕捉到，這時Vision Pro中的相機(ji)就會對圖像進(jin)行拍攝(she)。
其次(ci)，Vision Pro中還(huan)有三(san)維(wei)(wei)激光雷(lei)達(da)傳感(gan)器(qi)(qi)（the-dimensional lidar sensor)，可以理解(jie)為一種光檢測和測距的傳感(gan)器(qi)(qi)（light detection and ranging sensors）；三(san)維(wei)(wei)射頻傳感(gan)器(qi)(qi)（three -dimensional radio-frequency sensors）或者收集三(san)維(wei)(wei)圖像數據的其他(ta)傳感(gan)器(qi)(qi)。
最后還有實(shi)現(xian)跟(gen)蹤傳(chuan)感器（gaze tracking sensors），其(qi)中就包括基于圖像傳(chuan)感器的視線(xian)跟(gen)蹤系統。（gaze tracking system based on an image sensor）。
講完(wan)了Vision Pro中的(de)(de)傳感器，Vision Pro中的(de)(de)發光組件(jian)（light-emitting component）可以用來(lai)指示相機(ji)的(de)(de)當前操作模式。
從上圖來看，Vision Pro采用了兩種設計分別是圓形指示器設計、八角形指示器設計（Octagonal Indicator Design）。當相機在捕捉運動圖像的時候，指示器變為紅色，當相機沒有捕捉視頻時，指示器就可以為綠色或者黑色。
十三、雙向鏡和單向鏡間自由切換，EyeSight可實現自動自動淡入、淡出功能
壓軸出場的是Vision Pro的Eyesight功能，在WWDC23上，相信很多人對Vision Pro雙向鏡與單向鏡的切換感到好奇，在WWDC23小組討論中，Vision Pro的首席開發人員(yuan)Mike Rockwell談到了EyeSight背后(hou)的技(ji)術。
據悉，Eyesight的想法可以追溯到蘋果前首席設計(ji)師Jony Ive，事實上(shang)Meta曾在(zai)2021年展示過帶有假(jia)視覺的原(yuan)型。
EyeSight功能(neng)簡單來(lai)說，就是外部的(de)顯(xian)(xian)(xian)示(shi)屏可以實時顯(xian)(xian)(xian)示(shi)用戶的(de)眼(yan)睛。然(ran)而實現(xian)該(gai)功能(neng)并(bing)非容易，一(yi)方面傳(chuan)統(tong)的(de)2D顯(xian)(xian)(xian)示(shi)器在顯(xian)(xian)(xian)示(shi)眼(yan)睛時會顯(xian)(xian)(xian)得不自然(ran)。于是以Mike Rockwell為(wei)代表(biao)的(de)開發人(ren)員想到(dao)了制造一(yi)種(zhong)(zhong)彎曲的(de)透鏡顯(xian)(xian)(xian)示(shi)器，這(zhe)種(zhong)(zhong)顯(xian)(xian)(xian)示(shi)器可以為(wei)每個(ge)觀察Vision Pro外顯(xian)(xian)(xian)示(shi)屏的(de)人(ren)呈現(xian)獨特視圖。
在WWDC23中，Vision Pro的(de)效果展示部分，也(ye)可以聽到該(gai)頭顯屏幕(mu)使用了(le)一種(zhong)名為“Lenticur ”的(de)透(tou)鏡。2021年，Patenltly Apple發(fa)布了(le)三篇關于相關的(de)專(zhuan)利報告。
今年(nian)5月(yue)，在一(yi)項(xiang)在Lenticur透鏡顯示(shi)圖(tu)像的(de)(de)(de)方法的(de)(de)(de)專(zhuan)利(li)被(bei)(bei)公布(bu)出來(lai)。從專(zhuan)利(li)信(xin)息來(lai)看(kan)，Vision Pro離線后會(hui)生成(cheng)靜態網格(ge)(ge)，傳感器會(hui)實(shi)時(shi)將拍(pai)攝(she)對象的(de)(de)(de)紋(wen)理(li)信(xin)息映射到(dao)固定的(de)(de)(de)網格(ge)(ge)之中(zhong)。在離線的(de)(de)(de)過程(cheng)中(zhong)，被(bei)(bei)拍(pai)攝(she)對象的(de)(de)(de)紋(wen)理(li)信(xin)息和3D網格(ge)(ge)信(xin)息（3D mesh information）可以用于渲(xuan)染(ran)對象多個視點的(de)(de)(de)UV貼圖(tu)（UV map），這樣就完成(cheng)了(le)3D建模。
Vision Pro開發(fa)人員在分享(xiang)中(zhong)曾提及，而這些視圖數(shu)(shu)據(ju)有兩大主要(yao)數(shu)(shu)據(ju)源，一是頭顯中(zhong)眼動(dong)追蹤攝像頭捕捉到(dao)的(de)(de)畫面信息(xi)，二是蘋(pin)果(guo)使(shi)用數(shu)(shu)字角色，這個數(shu)(shu)字角色是佩戴者的(de)(de)3D面部掃描的(de)(de)幫(bang)助下(xia)預先(xian)生成(cheng)的(de)(de)。
從(cong)圖(tu)(tu)1A和(he)圖(tu)(tu)1B分別顯(xian)示(shi)(shi)了Lenticur顯(xian)示(shi)(shi)器(qi)的3D前視圖(tu)(tu)和(he)頂視圖(tu)(tu)。Lenticur顯(xian)示(shi)(shi)器(qi)包括顯(xian)示(shi)(shi)面(mian)板、該面(mian)板的材質可以(yi)是LCD、OLED、DLP、LCoS（硅基液晶）。同時，可以(yi)看出Lenticur使用了柱面(mian)透(tou)(tou)鏡，這種透(tou)(tou)鏡本質上一組放(fang)大透(tou)(tou)鏡，特點是可以(yi)改變圖(tu)(tu)像(xiang)的寬(kuan)高比，為每個(ge)觀察Vision Pro外顯(xian)示(shi)(shi)屏的人呈(cheng)現獨特視圖(tu)(tu)。
圖210可以是視網膜(mo)投影儀(yi)系統（retinal projector system），其將左圖像(xiang)(xiang)和右圖像(xiang)(xiang)逐像(xiang)(xiang)素掃描到(dao)用戶(hu)的眼睛之(zhi)中。為了掃描圖像(xiang)(xiang)，投影儀(yi)還會·生(sheng)成光束(shu)，這(zhe)些光束(shu)被(bei)引導(dao)(dao)反(fan)射(she)(she)組件（reflective components），反(fan)射(she)(she)組件會將光束(shu)重新引導(dao)(dao)到(dao)用戶(hu)的眼睛之(zhi)中。
EyeSight還包括自動淡入和淡出眼部區域的功能，這取決于用戶是在沉浸式內容中還是與附近的人進行互動。自動淡入可以理解為，當有人靠近用戶時，此人會自動出現在視野中。
Vision Pro的鏡片中帶有涂層，就像太陽鏡和滑目鏡這類產品一樣，可以產生單向鏡面效果。但是這也就造成一個問題，當使用者佩戴太陽鏡、滑目鏡這類產品時，由于涂層不夠透明很可能會使組件無法有效運行。
Vision Pro使用了紅外透明單向鏡，這款單向鏡使用了支撐結構（support structure）的材料，這種支撐結構可以支撐材料層，使得材料層將外部區域和內部區域分開。
同時，光(guang)學器件可以與材料層重疊，這樣(yang)可以實現(xian)該效果的光(guang)學組(zu)件包括(kuo)可見相機的可光(guang)組(zu)件和諸如(ru)紅外發光(guang)器件、光(guang)紅外發射器的、紅外光(guang)傳感(gan)器的紅外組(zu)件等可以穿過材料層，同時被(bei)紅外透(tou)明單向鏡(jing)的反(fan)射外觀隱藏而不(bu)被(bei)看到(dao)。
結語：打造虛擬交互新模式，Vision Pro有望掀起XR領域熱潮
從(cong)上文深扒(ba)Vision Pro 13項功(gong)能(neng)展示中(zhong)(zhong)背后(hou)專利可以看(kan)到，無論是空(kong)間窗口(kou)、空(kong)間音(yin)頻等都(dou)為用(yong)戶帶來了“空(kong)間計算”新體(ti)驗，同時，EyeSigtht功(gong)能(neng)一改(gai)傳統XR設備“隔絕式(shi)”交(jiao)互(hu)方式(shi)，使得佩戴(dai)者既(ji)能(neng)實時看(kan)到外部情況，還能(neng)在有(you)人(ren)靠近的情況下，與(yu)現實中(zhong)(zhong)的人(ren)進(jin)行交(jiao)互(hu)，打造了虛擬交(jiao)互(hu)新模式(shi)。
XR發(fa)展已有10余年(nian)的(de)(de)時間，這期間雖然(ran)一直(zhi)缺少爆款級產(chan)(chan)品出現，但是由于以蘋果(guo)(guo)、Meta、谷(gu)歌為(wei)(wei)首的(de)(de)科(ke)技巨(ju)頭的(de)(de)“押注(zhu)”，XR領域(yu)一直(zhi)受關注(zhu)度較高，與(yu)之相關的(de)(de)新專利、新產(chan)(chan)品、新場(chang)景也在持續發(fa)布。作為(wei)(wei)蘋果(guo)(guo)“十(shi)年(nian)磨(mo)一劍”打造出來的(de)(de)現象級產(chan)(chan)品Vision Pro有望(wang)掀起XR領域(yu)的(de)(de)熱潮，進一步(bu)擴大XR設備(bei)的(de)(de)市場(chang)規模。
