智東西（公眾號：zhidxcom）
編｜十四 小智
最受(shou)矚目的(de)AR公司(si)Magic Leap目前已經(jing)完成8.27億美元的(de)C輪(lun)融資，總估值(zhi)達45億美元。
4月21日(ri)，美國專(zhuan)利商(shang)標局(ju)披露了(le)其最新的(de)(de)7項專(zhuan)利，主要(yao)介(jie)紹(shao)了(le)Magic Leap的(de)(de)光(guang)路模塊(kuai)的(de)(de)主要(yao)結構及(ji)相關的(de)(de)投影(ying)，圖像傳(chuan)輸和調制技術。
實際上，Magic Leap在中國以奇躍公司的(de)名義很早就開始(shi)進行了專(zhuan)利(li)積累(lei)。本期智能(neng)內參就來解(jie)讀包(bao)括(kuo)最新專(zhuan)利(li)在內的(de)Magic Leap光(guang)學(xue)和計(ji)算(suan)模塊的(de)多項核心技術。
在智東西（公眾號：zhidxcom）分別回復關鍵詞“美國專利”和“中國專利”獲取以下全部專利報告。
以下，為智東西（公眾號：zhidxcom）所摘選并編譯的關鍵要點：
光學模塊：
光學模塊涉及到的專利共有8項，分別是：
1.人體工程學頭戴式顯示設備和光學系統
專利申(shen)請號：201180068447.7
特點：包覆型透視(shi)顯(xian)示系統設計(ji)。
2.具有相互遮擋和不透明度控制能力的用于光學透視頭戴顯示器的設備
專(zhuan)利申請號：201380029550.X
特點：調(diao)制透視圖(tu)像(xiang)路徑(jing)和虛擬圖(tu)像(xiang)路徑(jing)。
3.三維虛擬和增強現實顯示系統
專利申請號：201280067730.2
特點(dian)：選擇性(xing)透(tou)明的投射裝置。
4.具有主動中央凹能力的寬視場 (FOV) 成像設備
專利(li)申請號：201380029492.0
特點：圖像(xiang)捕捉，寬視(shi)場圖像(xiang)的可(ke)控(kong)感(gan)興(xing)趣(qu)區域。
5.使用波導反射器陣列投射器的多深度平面三維顯示器
專利申(shen)請號：201380042218.7
特點：線性(xing)波導(dao)的(de)二(er)維陣列(lie)，模擬4D光場(chang)。
6.超高分辨率掃描光纖顯示器
專利申請號(hao)：201480014814.9
特(te)點：一種(zhong)用于掃描(miao)電磁(ci)成像輻射(she)的緊湊系統。
7.人機工程學的頭戴顯示設備和光學系統
專利申請號：201380058207.8
特點：自由形(xing)態光波(bo)導棱(leng)鏡和補(bu)償(chang)透鏡，允(yun)許實(shi)現眼鏡形(xing)狀外觀和寬的(de)透視視場 (FOV)。
8.顯示系統和方法
專利申(shen)請(qing)號：201480027589.2
特點(dian)：具(ju)體的外(wai)殼框架、透鏡組合等。
光學模塊的技術專利主要解決以下3個問題：
1、光路：使用波導反射器陣列投射器的多深度平面三維顯示器
Magic Leap光(guang)學系統(tong)包含了一個(ge)(ge)圖像生成源(隨時間變化，提供一個(ge)(ge)或多個(ge)(ge)圖像數據框架)，一個(ge)(ge)光(guang)調制器（配置與圖像生成源關聯(lian)的傳輸光(guang)），一個(ge)(ge)將圖像信息直接傳到用戶眼(yan)(yan)球的基(ji)元（包括多個(ge)(ge)傳輸光(guang)反射器，包括第一眼(yan)(yan)球視角(jiao)、第二視角(jiao)……）。
2、用于VR/AR的可尋址焦點自由態光學系統立體視覺顯示
這項系統的(de)美國專利編號為20160011419，是應(ying)用于自由形態(tai)光(guang)波導的(de)幾種計算硬(ying)件和方(fang)法，及其具體(ti)制作方(fang)式。
該系統包括初(chu)級自(zi)由形(xing)態光學(xue)元件(jian)、拓寬視(shi)場的二級自(zi)由形(xing)態光學(xue)元件(jian)（平鋪陣列(lie)）。此外，元件(jian)之(zhi)間(jian)會設(she)置多種 聚焦體系來調(diao)焦，避免輻輳調(diao)節沖突，進行渲(xuan)染(ran)。
現實(shi)世界(jie)的光(guang)會通(tong)過(guo)設備出來的參(can)考光(guang)，被合(he)理地映(ying)射。而虛(xu)擬圖像，可以通(tong)過(guo)計算，由(you)系(xi)統利用參(can)考光(guang)來產生。
3、核心技術：光場顯示
據紐(niu)約(yue)州立大(da)學(xue)石溪分校終身教(jiao)授，顧險峰教(jiao)授認(ren)為，Magic Leap的(de)核心(xin)技術在(zai)于光(guang)場顯(xian)示，即利用光(guang)纖陣(zhen)列顯(xian)示光(guang)場信(xin)息(xi)：激(ji)光(guang)經由透鏡系(xi)統輸出，在(zai)空中畫出了一(yi)簇射(she)線，同步地改變經過顏色(se)和強(qiang)度(du)，一(yi)根纖維利用分時技術得到一(yi)幅(fu)圖像(xiang)。
其中(zhong)，光場信息則(ze)來源(yuan)于真實自然中(zhong)采(cai)集，并轉(zhuan)化而成的(de)數字射線。計算單元可以利(li)用渲(xuan)染，生(sheng)成各種角度的(de)圖像，無需建立幾何(he)模型(xing)、紋理模型(xing)和光照(zhao)模型(xing)。
專利文(wen)件顯示，Magic Leap利用可以進(jin)行擺動(dong)的光(guang)纖(xian)陣列，調(diao)節虛(xu)擬(ni)圖像光(guang)信息的入射方向，以及聚(ju)焦情況。其中(zhong)，單個光(guang)纖(xian)直(zhi)徑(jing)為700微(wei)米(mi)，光(guang)纖(xian)末梢直(zhi)徑(jing)僅50微(wei)米(mi)。
光(guang)纖出射的虛擬圖像(xiang)通過眼鏡上(shang)(shang)可調節位置的反(fan)射單元，與現實世界的圖像(xiang)信息一起，入射到(dao)視網(wang)膜上(shang)(shang)。于(yu)此(ci)同時，現實世界的影像(xiang)也可以通過眼鏡上(shang)(shang)的可調反(fan)、透射光(guang)鏡來調節清晰(xi)度(du)。
也就(jiu)是(shi)(shi)說用戶(hu)可以(yi)主(zhu)動選擇性聚焦，一只(zhi)虛(xu)擬的貓就(jiu)放在了(le)近處，你看(kan)它的時候就(jiu)是(shi)(shi)實的，你看(kan)遠處的城堡的時候，這只(zhi)貓就(jiu)是(shi)(shi)虛(xu)的，和真實情況一樣，所(suo)以(yi)不會(hui)有暈眩感。虛(xu)擬圖像和現實圖像的清晰度調節效果(guo)如下圖所(suo)示。
但這(zhe)也就要求(qiu)Magic Leap的設備能精確的調(diao)控機械部件，使得每一個纖維都穩(wen)定自然地顫(zhan)動(dong)，并且顫(zhan)動(dong)的模式要和數據傳輸相互同步，不受(shou)外(wai)界(jie)噪(zao)音的影(ying)響。
計算模塊
計算模塊涉及到的專利共有3項，分別是：
1.大量同時遠程數字呈現世界
專利申請號：201280032550.0
特點：呈現(xian)一個(ge)或多個(ge)虛擬世界。
2.用于增強和虛擬現實的系統和方法
專利申(shen)請(qing)號：201280064922.8
特點：多用戶交互(hu)系統，包括處理器(qi)、存儲器(qi)、軟件(jian)等。
3.用于增強和虛擬現實的系統與方法
專利申(shen)請號：201480026513.8
特點(dian)：數據計(ji)算、存儲和傳(chuan)輸。
計算模塊的技術專利主要解決以下5個問題：
1、圖像處理中樞
傳(chuan)統(tong)的顯(xian)示(shi)技(ji)術只需(xu)要計(ji)算(suan)四維光場中的一(yi)個(ge)二(er)維切片，而光場顯(xian)示(shi)需(xu)要計(ji)算(suan)整個(ge)四維光場，其計(ji)算(suan)復雜度提高幾個(ge)數量級，這是技(ji)術瓶頸之一(yi)。
Magic Leap圖(tu)形(xing)處理(li)系(xi)(xi)統的美國(guo)專利編號為20160026253。系(xi)(xi)統包(bao)含(han)圖(tu)像俘(fu)獲裝置和(he)通訊耦合處理(li)器。
其中(zhong)，圖像俘獲裝置(zhi)用于獲取(qu)一(yi)(yi)個或多個圖像，該圖像相當于AR頭戴設備(bei)用戶的(de)視場；通訊(xun)耦(ou)合處理(li)器可(ke)使圖像俘獲裝置(zhi)從一(yi)(yi)系列圖像中(zhong)提取(qu)一(yi)(yi)系列節(jie)點圖，并(bing)在其中(zhong)識別(bie)一(yi)(yi)系列稀(xi)疏節(jie)點和緊密節(jie)點，來(lai)形成歸一(yi)(yi)化的(de)節(jie)點圖。
2、多硬件交互系統
這(zhe)項系統的(de)(de)美(mei)國專利編號為20160005326。系統可為用戶提供多維的(de)(de)，時(shi)間演化的(de)(de)，動作(zuo)敏(min)感(gan)的(de)(de)輸(shu)入、輸(shu)出的(de)(de)沉(chen)浸式(shi)，環境(jing)適應性體驗。
該系統可(ke)用于聯(lian)網設(she)備(bei)，比如移動(dong)平板(ban)，并(bing)可(ke)傳輸適用于增強現實的三維、隨(sui)時的內容模(mo)型。因此(ci)，現實世界中，用戶通(tong)過聯(lian)網設(she)備(bei)，可(ke)將物(wu)理(li)運(yun)動(dong)投射到(dao)虛擬世界。
此(ci)外，系統也采用了圖像認知(zhi)技術，來區分現(xian)實世界的物質(zhi)，并顯示在界面。此(ci)外，系統還能將(jiang)電(dian)腦合成(cheng)的虛擬圖像重疊到現(xian)實圖像中去。
3、多用戶交互系統
這項(xiang)系統(tong)的(de)美國專(zhuan)利編號為20160100034，是允許(xu)兩個或更(geng)多用戶在包含虛擬(ni)數據(ju)，計算網絡和設備的(de)虛擬(ni)世界互動的(de)系統(tong)。
系(xi)統包括(kuo)一(yi)個或多個計算(suan)設(she)備包括(kuo)內(nei)存，處理(li)線路，以(yi)及(ji)至(zhi)少部分存儲在內(nei)存并(bing)在處理(li)線路內(nei)至(zhi)少可以(yi)處理(li) 部分虛擬世界(jie)數據的(de)軟件；其中至(zhi)少虛擬世界(jie)數據的(de)第一(yi)部分源(yuan)于從虛擬世界(jie)本地的(de)第一(yi)用(yong)(yong)戶到第一(yi)用(yong)(yong)戶。
計(ji)算網絡用(yong)于將第一(yi)(yi)部分傳(chuan)輸到用(yong)戶設備來呈現給第二用(yong)戶，這(zhe)樣一(yi)(yi)來，第二用(yong)戶 就可(ke)以(yi)在本地體驗到第一(yi)(yi)部分，因此第一(yi)(yi)用(yong)戶虛擬世界的(de)一(yi)(yi)部分就被有(you)效地傳(chuan)送給了第二用(yong)戶。
4、社會情感學習工具包
編號為20160026253的(de)專利，介紹了Magic Leap社會情(qing)感學習工具包采集的(de)數據(ju)以及調(diao)控的(de)效果(guo)。
用(yong)于虛擬和(he) / 或增(zeng)加用(yong)戶(hu)(hu)體(ti)驗的(de)系統被配置(zhi)為使得(de)可以(yi)至少部分地(di)基于具有來自諸如(ru)語音音調(diao)變化(hua)分析(xi)和(he)面部識別分析(xi)(如(ru)由相關軟件模塊執(zhi)行的(de))監測頭部移動、 體(ti)溫、 心(xin)跳等(deng)源(yuan)的(de)輸入的(de)可穿戴設備上的(de)數據使與用(yong)戶(hu)(hu)相關聯(lian)的(de)遠程化(hua)身進(jin)行動畫。此外(wai)， 可以(yi)以(yi)化(hua)身好像表達某種(zhong)情感的(de)方式使得(de)化(hua)身角色進(jin)行動畫。 例如(ru)， 在(zai)(zai)化(hua)身是狗(gou)的(de)實(shi)施例中， 由人類用(yong)戶(hu)(hu)的(de)本地(di)的(de)系統檢測到的(de)高興的(de)微笑或語調(diao)在(zai)(zai)化(hua)身中可以(yi)被表示成搖著尾巴的(de)狗(gou)的(de)化(hua)身。
以(yi)上(shang)圖的對比為(wei)例，可以(yi)基于在用(yong)戶面孔上(shang)的微笑的面部識(shi)別， 或基于語(yu)音或說話(hua)的友(you)好(hao)語(yu)調 ( 如由被配置為(wei)分析(xi)至麥克風(其(qi)可從用(yong)戶本地地捕獲語(yu)音樣本)的語(yu)音輸入的軟(ruan)件來確定， 使(shi)得右圖的蜜蜂化身 進行動畫以(yi)具(ju)有友(you)好(hao)的微笑。
5、定位追蹤
編號為20160026253的專利，還介紹了Magic Leap的定位(wei)追(zhui)蹤(zong)系統，主要由用戶(hu)感(gan)測系統和環境感(gan)測系統協同作用來解釋場景(jing)信(xin)息。
相應的傳感(gan)組(zu)件包括了：接口系統100，服務器(qi) 110，網關組(zu)件 140，頭(tou)戴式系統300，數(shu)據接口 302，顯(xian)示(shi)器(qi)303，用戶感(gan)測(ce)系統304，境感(gan)測(ce)系統306，處理器(qi) 308，傳感(gan)器(qi)310，312。
其中用戶感測(ce)系統(tong) 304 可(ke)以包括：
用(yong)于(yu)接收來自用(yong)戶的(de)語音輸入的(de)擴音器(qi)(qi)(qi)(qi)， 一(yi)個或多(duo)(duo)個紅(hong)外(wai)照相(xiang)機(ji)(ji)傳(chuan)感器(qi)(qi)(qi)(qi)， 一(yi)個或多(duo)(duo)個可見光(guang)譜照相(xiang)機(ji)(ji)傳(chuan)感器(qi)(qi)(qi)(qi)，構造的(de)光(guang)發(fa)射器(qi)(qi)(qi)(qi)和 / 或傳(chuan)感器(qi)(qi)(qi)(qi)、，紅(hong)外(wai)光(guang)發(fa)射器(qi)(qi)(qi)(qi)， 相(xiang)干光(guang)發(fa)射器(qi)(qi)(qi)(qi)和 /或傳(chuan)感器(qi)(qi)(qi)(qi)， 陀螺儀， 加速計， 磁力計， 近程傳(chuan)感器(qi)(qi)(qi)(qi)， GPS傳(chuan)感器(qi)(qi)(qi)(qi)， 超聲波發(fa)射器(qi)(qi)(qi)(qi)和檢測(ce)器(qi)(qi)(qi)(qi)以及觸覺接口。
環境感測系統306：
用(yong)途：可(ke)用(yong)于通過檢測(ce)和登記本地環境 （包括靜態(tai)對(dui)象、 動態(tai)對(dui)象、 人、 手勢和各種(zhong)照(zhao)明、 大氣(qi)和聲學(xue)條件(jian)）來映射(she)用(yong)戶周圍的(de)物(wu)理(li)環境的(de)一(yi)個(ge)(ge)或(huo)多(duo)個(ge)(ge)元素。在一(yi)些實施例(li)中(zhong)， 其(qi)可(ke)以(yi)包括嵌入到本地計(ji)算系(xi)統中(zhong)的(de)基于圖像的(de) 3D 重構(gou)軟件(jian)， 其(qi)可(ke)操作以(yi)便對(dui)傳感器 312 所檢測(ce)到的(de)一(yi)個(ge)(ge)或(huo)多(duo)個(ge)(ge)對(dui)象或(huo)信(xin)息進行(xing)數字重構(gou)。
功能：環境感測系統 306 提供了以下中的一(yi)個或(huo)(huo)多(duo)個 功能： 動作捕捉數(shu)據(ju) （包(bao)括手勢識別(bie)(bie)(bie)） 、 深度感測、 面部識別(bie)(bie)(bie)、 對象(xiang)識別(bie)(bie)(bie)、 唯一(yi)的對象(xiang)特(te)性識別(bie)(bie)(bie)、 語(yu)音(yin) / 音(yin)頻識別(bie)(bie)(bie)和處理、 聲源定位、 降噪、 紅(hong)外(wai)線(xian)或(huo)(huo)類(lei)似(si)(si)的激光投影、 以及(ji)(ji)單色(se)(se)和 / 或(huo)(huo)彩色(se)(se) CMOS 傳感器 （或(huo)(huo)其它(ta)類(lei)似(si)(si)的傳感器） 、 視野傳感器， 以及(ji)(ji)各種(zhong)其它(ta)光學增強型(xing)傳感器。
構成：環境(jing)感(gan)(gan)測系統306可以(yi)包括上面提(ti)到組件之外(wai)的(de)所有傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)設(she)施。包括用于(yu)接收來自本(ben)地環境(jing)的(de)音頻麥克(ke)風、一個(ge)或多(duo)個(ge)紅外(wai)照像機傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)(qi)、 一個(ge)或多(duo)個(ge)可見光(guang)譜(pu)照相機傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)(qi)、 結構光(guang)發(fa)射器(qi)(qi)和 / 或傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)(qi)、 紅外(wai)光(guang)發(fa)射器(qi)(qi)、 相干(gan)光(guang)發(fa)射器(qi)(qi)和 / 或傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)(qi)、 陀螺(luo)儀、 加速計(ji)、 磁力計(ji)、 近(jin)程(cheng)傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)(qi)、GPS 傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)(qi)、 超聲波(bo)發(fa)射器(qi)(qi)和檢測器(qi)(qi)以(yi)及(ji)觸(chu)覺接口。
傳感器310包括：照(zhao)相機或(huo)(huo)光學(xue)檢測/掃描(miao)電路， 其(qi)能夠檢測用戶的(de)實時光學(xue)特征/測量結果， 例如以下中(zhong)的(de)一(yi)個(ge)或(huo)(huo)多個(ge) ： 瞳(tong)孔收縮/擴張(zhang)、 每個(ge)瞳(tong)孔的(de)角(jiao)度測量/定位(wei)、 球度（spherocity） 、 眼(yan)睛形(xing)狀 （如眼(yan)睛形(xing)狀隨時間改變）以及(ji)其(qi)它解剖數據。
傳感器 312 可(ke)以包括：通(tong)常面朝外部的照相機或掃描儀。
總結
除(chu)了計(ji)算、存儲元件等方面的進步，可以看(kan)到，Magic Leap專利中光路模塊設(she)計(ji)方面很有亮點。
Magic Leap采用了大量的自由形態波導，來(lai)實現人工(gong)學設計，并(bing)輔以光路(lu)補償(chang)。而(er)將掃描電磁成像(xiang)輻射(she)集成化的成果(guo)，應(ying)用于AR設備，也很有新意。
不過，之前為賣點的仿神經網絡(luo)，似(si)乎還沒有(you)在這幾份專利書(shu)中很明顯的表現出來。
重要的事情再說一遍：在智東西（公眾號：zhidxcom）分別回復關鍵詞“美國專利”和“中國專利”獲取以下全部專利報告。
