
芯東西(公眾號:aichip001)
作者 | ?ZeR0
編輯 | ?漠影
什么樣的(de)初(chu)創公司,能(neng)同時拿到(dao)英偉達、AMD、英特爾三(san)大芯片巨(ju)頭的(de)投資(zi)?
答案是Ayar Labs。
芯東西12月12日報道,硅谷光互連芯片設計公司Ayar Labs昨日宣布完成英偉達、AMD、英特爾、格芯等參投的(de)1.55億美元融(rong)資。
與臺積電有戰略合作關系的VentureTech Alliance、美國機器制造巨頭3M也參與了此輪融資。
目前其累計融資達3.7億美元,估值已超過10億美元,成為(wei)新晉(jin)芯(xin)片(pian)獨(du)角獸。
Ayar Labs聯合創始人兼CEO馬克·韋(wei)德(Mark Wade)說:“領先的(de)GPU提供商AMD和(he)英偉達以(yi)及半導體(ti)代工(gong)廠格芯、英特爾代工(gong)、臺積電(dian),再加(jia)上Advent、Light Street和(he)我(wo)們其他投資者(zhe)的(de)支持,凸顯了我(wo)們的(de)光學(xue)I/O技(ji)術(shu)重(zhong)新定義AI基礎(chu)設(she)施未(wei)來的(de)潛力。”
獲得(de)如此多芯片巨頭的青(qing)睞,Ayar Labs憑什么?
一、AI的下一個百萬倍加速,需要光互連等先進技術
Ayar Labs成立于(yu)2015年(nian),總部位(wei)于(yu)加州圣何塞(sai),專(zhuan)門為大(da)規模AI工(gong)作(zuo)負載提供光互連解決方(fang)案。其瞄準的賽道,如今正是下一代AI基礎設施建設的關鍵技術之一。
高盛近(jin)日發布(bu)的一(yi)份報告預測(ce),未(wei)來十年,AI基礎(chu)設施支(zhi)出預計將超過1萬億美(mei)元(yuan)。這(zhe)凸顯了(le)對消除傳統(tong)銅互連、可插(cha)拔光(guang)學器件(jian)造成的瓶頸(jing)的解(jie)決方案的迫切需求(qiu)。
當前大多數數據中(zhong)(zhong)心的運營依(yi)賴于(yu)傳(chuan)統的電(dian)互連(lian),銅(tong)線(xian)是數據中(zhong)(zhong)心短距離(li)信息(xi)傳(chuan)輸的標準。AI服務器系統在(zai)持續傳(chuan)輸數據過程(cheng)中(zhong)(zhong)會消耗(hao)大量電(dian)力,打破(po)現有(you)(you)AI基礎設施瓶頸的有(you)(you)效解法之一,便是采用(yong)光互連(lian)技術來(lai)加速(su)通信。
采(cai)用傳統互連(lian)時,隨(sui)著AI模型復(fu)雜性增加,系統效率(lv)(lv)會降低。據Ayar Labs官網分享,一顆(ke)GPU的運行效率(lv)(lv)為80%,64顆(ke)GPU的運行效率(lv)(lv)可能是50%,256顆(ke)GPU的運行效率(lv)(lv)可能只有(you)30%了。光學I/O則能夠針對提高AI基礎設施的性能和(he)能效。
英偉達數(shu)據中心產品首(shou)席平臺架(jia)構師(shi)羅(luo)伯·奧伯(Rob Ober)認為(wei),過去十(shi)年,英偉達加(jia)速計算已經為(wei)AI帶(dai)來(lai)百萬倍的加(jia)速,而下一個百萬倍的加(jia)速將需要(yao)光學(xue)I/O等全新技術,來(lai)支持未來(lai)AI/ML工作負(fu)載和系統架(jia)構的帶(dai)寬、功率和規模(mo)要(yao)求。
OpenAI計(ji)算主管克里斯(si)托弗(fu)·伯納(Christopher Berner)也(ye)強調(diao)道,橫(heng)向擴(kuo)展(zhan)期間的互連帶寬對于防止加(jia)速器在等待網絡傳輸或(huo)梯度時停(ting)轉至關重要。
二、突破數據移動瓶頸,用光互連加快AI系統通信速度
此(ci)前光一直被(bei)用(yong)于數據(ju)傳輸(shu),只(zhi)不過主要(yao)用(yong)于電信(xin)(xin)網絡的長距離通信(xin)(xin)中(zhong)。
Ayar Labs則將這項(xiang)技術塞進了芯片(pian)封(feng)裝里。
該公司開發了業界首款針對大規模AI工作負載優化的封裝內光學I/O解決方案。相比采用可插拔光學器件+電氣SerDes的傳統互連,Ayar Labs的方案可實現5~10倍的更高帶寬、4~8倍的能效,并將延遲降低至1/10。
其方案結合了兩項行業首創技術——TeraPHY光學I/O Chiplet和SuperNova多波長光源。
TeraPHY可集(ji)成(cheng)到客戶的SoC封裝中,利用其SuperNova遠程光(guang)技術實現更快的芯片(pian)間通信,從(cong)而幫助客戶最大限度地提(ti)高(gao)AI基(ji)礎設(she)施的計算(suan)效率和性(xing)能(neng),還能(neng)提(ti)高(gao)“AI應用的盈利能(neng)力(li)指(zhi)標(biao)”。
TeraPHY光學I/O Chiplet是(shi)一款體(ti)積小、功耗(hao)低(di)、吞(tun)吐量高的銅背板和(he)可插拔光學通信替代方案(an),其模塊化多端口設計(ji)科(ke)承載8個光通道(相當于x8 PCIe Gen5鏈(lian)路)。
它將硅光(guang)子學(xue)與標準CMOS制造工藝結合(he),使專用集(ji)成電路(ASIC)能(neng)跨越從毫米到千米的距離進行通信(xin),相(xiang)當于形成一個巨型GPU。每個端口有256Gbps,每個Chiplet有2Tbps。
萬億參數AI模型和高性能計算(HPC)設計需要不斷增加的帶寬。Ayar Labs光學I/O提供4Tbps的總雙向帶寬,為生成式AI架構開(kai)辟了新的可能性。
高性能計算(HPC)和AI的分布式計算系統無法容忍傳統電氣I/O前向糾錯帶來的數十納秒額外延遲。而Ayar Labs光學I/O的延遲為每Chiplet + TOF 5納秒,無需前向糾錯。
為了使電氣I/O和可插拔光學器件能夠穿越系統、機架和數據中心,112 Gbps長距離電氣I/O會消耗6-10pJ/b的能量。Ayar Labs光學I/O消耗的能量則不到5pJ/b(10W)。
SuperNova是首款符(fu)合CW-WDM MSA標準的(de)(de)多(duo)波長(chang)、多(duo)端口光源,最多(duo)支持將16種波長(chang)的(de)(de)光傳輸至16根光纖。
與CWDM4多波長可插拔光學器件相比,其波長增加了64倍。該光源可驅動256個光學載波,實現16Tbps的雙向帶寬。
Ayar Labs基于開放標準(UCIe、CXL、CW-WDM MSA),使其能順利大規(gui)模集成到(dao)AI系統(tong)中。
這些(xie)芯(xin)片由格芯(xin)生產。Ayar Labs還與英特(te)爾合作,將其(qi)技術集成到(dao)英特(te)爾的制造產品(pin)中(zhong)。該(gai)公司(si)也(ye)在與臺(tai)積電洽(qia)談。
HPE、英(ying)特爾、洛(luo)克希德·馬丁、英(ying)偉(wei)達都(dou)是Ayar Labs的技術合作伙伴。其供應鏈(lian)合作伙伴包括(kuo)格芯、MACOM、Sivers Semiconductors等。
三、瞄準AI數據中心挑戰的硅光子學競爭者們
幾個月前,Ayar Labs開始向部分客戶出貨了約15000臺設備。馬克·韋德希望到2026年中期,其芯片能實現大批量生產;到2028年及以后,每年出貨量可達到1億臺以上。
Advent Global Opportunities和Light Street Capital是(shi)Ayar Labs最(zui)新融資的領投方。
Advent Global Opportunities合伙人喬丹·卡茨(Jordan Katz)將加入Ayar Labs董事會(hui)。他相信光互(hu)連技術(shu)將徹底改變AI基礎設施的(de)未來,而他認為Ayar Labs是(shi)引領這場革命的(de)最佳初創公(gong)司。
其他(ta)投資方中,英(ying)偉達(da)正(zheng)在基板層實(shi)現光學互(hu)連(lian),英(ying)特爾也在今年早些時候展示了(le)芯片間光通(tong)信(xin)。
不過,Ayar Labs并非光互(hu)連領域的獨孤求敗。
今年9月,瑞士光互連創企(qi)Lightium AG完(wan)成(cheng)700萬美(mei)(mei)元(yuan)(yuan)種(zhong)子(zi)輪融資(zi),投(tou)資(zi)方(fang)包括谷歌等(deng);10月,美(mei)(mei)國(guo)光子(zi)計算及網絡創企(qi)Lightmatter完(wan)成(cheng)4億(yi)美(mei)(mei)元(yuan)(yuan)D輪融資(zi),總(zong)融資(zi)額達(da)到8.5億(yi)美(mei)(mei)元(yuan)(yuan),估值超(chao)過44億(yi)美(mei)(mei)元(yuan)(yuan);同樣在10月,另一家美(mei)(mei)國(guo)光子(zi)技術創企(qi)Xscape Photonics完(wan)成(cheng)4400萬美(mei)(mei)元(yuan)(yuan)A輪融資(zi),由思科、英偉達(da)等(deng)參投(tou)。
在國內,上海曦(xi)智科技是(shi)全球首(shou)家以(yi)光(guang)計(ji)算(suan)和光(guang)互連為(wei)核心的(de)AI芯(xin)片公司,已(yi)經構建光(guang)子計(ji)算(suan)和光(guang)子網絡(luo)兩大產品線,其Photowave系列(lie)是(shi)業界首(shou)款兼(jian)容PCIe 5.0和CXL 2.0協議的(de)光(guang)互連硬件產品,數據傳輸延(yan)遲可以(yi)達到(dao)20納秒(miao)(+TOF*)以(yi)內,其中有源光(guang)纜延(yan)遲可低(di)至1納秒(miao)以(yi)下。曦(xi)智科技的(de)首(shou)個CPO共封裝(zhuang)光(guang)學項目也正(zheng)在落地中。
結語:重新思考AI系統架構
大模型推動計算資(zi)源需(xu)求(qiu)激增,需(xu)要數百乃至數千個互連的(de)GPU和其他加速器,這意味著數據要以閃電(dian)般的(de)速度(du)在芯片與存儲設備(bei)之間流轉(zhuan)。
硬(ying)(ying)件利用率(lv)低、功耗飆升(sheng)、成本增加(jia)等重壓之下,傳統(tong)互連方案越來越難以承擔多模(mo)態AI系統(tong)所需的成本和吞(tun)吐量。從云計算(suan)大廠到智算(suan)基建商(shang),都(dou)在探(tan)索新的數據中(zhong)心架(jia)構設(she)計,升(sheng)級硬(ying)(ying)件和軟件基礎設(she)施。
芯片巨頭們(men)已經盯上了光互連(lian)(lian)技術(shu),以(yi)期利用光學(xue)特性突破固有瓶頸,提高AI基礎設施的性能和計算效率,同時降低成本(ben)和功耗。隨著更多(duo)資本(ben)涌向這一(yi)賽道,光互連(lian)(lian)商業化落地進程(cheng)正在(zai)提速(su)中(zhong)。
來源:Ayar Labs,SiliconANGLE,彭博社,HPCwire