智東西(公眾號:zhidxcom)
編輯 | 程茜

Scaling Law的時代,真的結束了。

最先發出警(jing)告(gao)的(de),來自ChatGPT背(bei)后的(de)頭號功臣(chen)Ilya Sutskever。

路透社的(de)官方(fang)采(cai)訪(fang)中(zhong)他直言不諱(hui)“ results from scaling up pre-training – the phase of training an AI model that uses a vast amount of unlabeled data to understand language patterns and structures – have plateaued.”

——大數據訓(xun)練(lian),帶來的AI智能程(cheng)度提升已(yi)達(da)階段性瓶頸(jing)。

但“Scaling the right thing matters more now than ever.”

——選對正確的方向,比過去任何時代,都要更加(jia)重要與迫(po)切。但是,風向突變(bian),未來大(da)模(mo)型到底要Scaling什么?

不同于技術前沿的恐慌四處彌漫,相比尋找最頂級的大模型,業界已經早早將目光轉向了通往智能的另一條捷徑——向量數據庫。

一、源起:AI時代的數據庫機會

“如(ru)果(guo)說算(suan)力是(shi)火箭的機體(ti),那么(me)算(suan)法是(shi)控制(zhi)系(xi)統,數據是(shi)燃料,雖然(ran)每一輪計(ji)算(suan)機技術的革命(ming)都是(shi)從硬(ying)件開始,然(ran)后是(shi)算(suan)法的進步(bu),但數據才是(shi)最(zui)(zui)核心、最(zui)(zui)有價值的資(zi)源。”“未來這個賽道,將跑(pao)出估值至少百億美金的公(gong)司。”

說話的(de)是星爵,向(xiang)量數據庫(ku)創業(ye)公司Zilliz的(de)創始人。

2017大模型開山之作Transformer 在論文《Attention is All You Need》中提出的同期,在Oracle工作了七年之久的他開啟了人生中的第一次創業——面向未來,做一款專屬于AI時代的數據庫產品。

那(nei)是(shi)在(zai)大(da)模型(xing)還(huan)沒(mei)等(deng)來ChatGPT的(de)(de)(de)漫長蟄伏期,傳統(tong)CV、NLP卻在(zai)一輪(lun)輪(lun)天價融資與遲遲不見(jian)蹤影(ying)的(de)(de)(de)市場化夾縫中,慢慢走(zou)向泡(pao)沫(mo)破裂的(de)(de)(de)時刻。

生存環境變(bian)得惡(e)劣,遭遇的拷問也越來越嚴苛:數據庫(ku)(ku)是巨頭的游戲,創(chuang)業公司憑什么(me)參與(yu)?AI時代,為什么(me)需要新的數據庫(ku)(ku)?這個(ge)數據庫(ku)(ku),又(you)與(yu)傳統數據庫(ku)(ku)有什么(me)區別?

回答這(zhe)一切問題的(de)前提,是對產業發(fa)展趨勢(shi)進(jin)行足(zu)夠清晰的(de)梳理。

首先(xian),AI時(shi)代,我們使用的(de)數據本(ben)身有了什么變化?

答案是從結構化(hua)(hua)數(shu)據(ju)(ju),向非結構化(hua)(hua)演變。相(xiang)比傳統(tong)的(de)結構化(hua)(hua)數(shu)據(ju)(ju),其(qi)(qi)格式更(geng)(geng)加不固(gu)定,有(you)圖片、有(you)音(yin)頻、有(you)視頻、有(you)文本、日志(zhi)……而他們(men)共同的(de)特點,就是數(shu)據(ju)(ju)結構不規(gui)則或不完整,沒(mei)有(you)預定義(yi)的(de)數(shu)據(ju)(ju)類型,難以用數(shu)據(ju)(ju)庫二維表來(lai)表現(xian)。與(yu)(yu)此(ci)同時,這些數(shu)據(ju)(ju)本身所涵蓋的(de)信息密度(du)更(geng)(geng)大(da),但如何提取背(bei)后隱含(han)的(de)信息,往往需(xu)要特殊的(de)處理(li)與(yu)(yu)分析,相(xiang)對(dui)應的(de)如何對(dui)其(qi)(qi)進行檢索與(yu)(yu)描述(shu)也是行業面臨的(de)困境(jing)之一。此(ci)外,伴隨移動互聯網的(de)發展,IDC統(tong)計(ji)發現(xian),非結構化(hua)(hua)數(shu)據(ju)(ju)的(de)數(shu)量正(zheng)在(zai)飛速增長,占(zhan)據(ju)(ju)了(le)全人類數(shu)據(ju)(ju)總量的(de)80%之多。

痛點眾多,但需求同樣迫切。算力和算法是大模型通往終局的耀眼明珠,但數據的質量、規模和多樣性,則直接決定了所能挖掘到的信息的價值深度和廣度。如何滿足這一市場需求,這是面向AI時代的數據庫的機會,也是創業公司挑戰巨頭的底氣所在

但這個產品應該如何建(jian)構呢?星爵腦中冒(mao)出了一個前所未有的形態——向量數據庫(ku)。

早(zao)在(zai)20世紀70年(nian)代末至90年(nian)代中(zhong)(zhong)期,人工(gong)智能浪潮尚在(zai)第二階段,那時的(de)(de)產(chan)業就已經有了初步的(de)(de)非結構化數(shu)據利用(yong)思路,將文本、圖片(pian)利用(yong)算(suan)法,進行特征提取(qu),然后將其轉化為(wei)空間(jian)(jian)中(zhong)(zhong)的(de)(de)不同向量維度進行表示。比如一朵玫(mei)瑰(gui)花的(de)(de)照片(pian),在(zai)向量空間(jian)(jian)中(zhong)(zhong),可以被(bei)描述(shu)為(wei):圖片(pian)格式(shi)(shi)、植物(wu)、紅色、愛情(qing)、保質期短、花卉等幾百上千(qian)個(ge)維度,這(zhe)些維度全部以數(shu)字與代碼(ma)的(de)(de)形式(shi)(shi)呈現給計(ji)算(suan)機,在(zai)此(ci)基礎上,人工(gong)智能通過(guo)暴力的(de)(de)學習,進而掌握玫(mei)瑰(gui)花的(de)(de)圖片(pian)識別能力。

如果將這一(yi)過程進行產品化升(sheng)級,也就奠定了向(xiang)量(liang)數據庫的(de)產品雛形(xing)。由此,在星爵的(de)帶領下(xia),Zilliz敲下(xia)了全世界(jie)(jie)向(xiang)量(liang)數據庫的(de)第(di)一(yi)行代碼,全世界(jie)(jie)第(di)一(yi)個(ge)向(xiang)量(liang)數據庫產品Milvus正(zheng)式誕生了。

在(zai)(zai)此之后,2019年10月(yue)15日,Zilliz正式(shi)宣(xuan)布將 Milvus在(zai)(zai)GitHub上開源(yuan),用戶只需(xu)一(yi)臺服務(wu)器,區區十行(xing)代碼,就(jiu)可(ke)以輕松實(shi)現十億圖(tu)庫的以圖(tu)搜圖(tu),響應時間(jian)僅(jin)為(wei)數(shu)百毫秒。

在此之后以圖搜圖、視頻搜索、企業知識庫構建相繼爆火,MilvusGithub上的star短短三年,就突破了一萬的數量,但此時距離向量數據庫真正在大眾范圍內出圈,還差一把火。

二、爆發:LLM陰云籠罩,RAG外掛破局

如(ru)果科技產業(ye)有(you)自(zi)己的(de)編年(nian)體史(shi)書,關于2022-2024這三(san)年(nian)的(de)瘋狂,大概可以(yi)被這樣概括:

2022年年終,ChatGPT橫空出世,大模型火(huo)遍全球。

2023年(nian),百模齊(qi)發,英偉達稱王(wang);然而(er),如何解決大模型幻(huan)覺,卻(que)始終是圍繞在大模型頭(tou)頂,一(yi)朵揮(hui)之不去的(de)陰云。

2024年,OpenAI內亂,Scaling Law觸頂成為大模型落地的第二朵陰云,大模型的本質是有損壓縮的觀點被越來越多的人認同。

如何破局?

RAG成為業內公認的(de)解(jie)決(jue)方案。

但什么是RAG?

翻譯成(cheng)中文,就是檢(jian)索增強生成(cheng)。

具體來說,一個(ge)典(dian)型的RAG框架可以分(fen)為檢(jian)(jian)(jian)索(suo)器(Retriever)和生成器(Generator)兩部(bu)分(fen),檢(jian)(jian)(jian)索(suo)過程包括為數據(如Documents)做切分(fen)、嵌入向量(Embedding)、并(bing)構建索(suo)引(yin)(Chunks Vectors),再(zai)通過向量檢(jian)(jian)(jian)索(suo)以召回相關結(jie)果(guo),而(er)生成過程則是利用(yong)基于檢(jian)(jian)(jian)索(suo)結(jie)果(guo)(Context)增強的Prompt來激活LLM以生成回答(Result)。

其中,檢索系統通過將特定領域知識、實時更新信息等大模型所不具備的內容進行向量化并存儲,可以外掛的形式補足了大模型的知識短板;而生(sheng)成模(mo)型則能夠(gou)靈活地(di)構建回答,并(bing)融入更(geng)廣泛的語境和(he)信息。

而作為RAG檢(jian)索系統的(de)核(he)心,向(xiang)量(liang)數(shu)據(ju)庫也從(cong)2023年起(qi),成(cheng)為各大企業(ye)大模型落地(di)過(guo)程中的(de)基礎應用工具。甚至就連(lian)Open AI,也是向(xiang)量(liang)數(shu)據(ju)庫的(de)資深擁躉(dun),早在2023年3月,OpenAI就官宣, 通(tong)過(guo)chatgpt-retrieval-plugin 插件集成(cheng)向(xiang)量(liang)數(shu)據(ju)庫,是大模型產品形成(cheng)長期記憶(yi)一個(ge)必不可(ke)少的(de)環節。

也(ye)(ye)是自這(zhe)(zhe)一(yi)(yi)天起,向(xiang)量數(shu)(shu)據(ju)庫平靜已久的市(shi)場(chang)瞬間沸(fei)騰(teng),成(cheng)為大模型產業最重要的基礎設施之一(yi)(yi):不僅這(zhe)(zhe)一(yi)(yi)年的OpenAI 發布會與(yu)英偉達GTC大會上,老牌玩(wan)家Zilliz先(xian)后(hou)被(bei)列入官方插件庫并受邀上臺演講(jiang),僅僅一(yi)(yi)個多(duo)月,數(shu)(shu)十億(yi)熱錢(qian)就在一(yi)(yi)級市(shi)場(chang)涌入向(xiang)量數(shu)(shu)據(ju)庫賽道(dao)。追隨熱度(du),一(yi)(yi)度(du)有(you)企業靠著概念就將公司估(gu)值推升至 數(shu)(shu)十億(yi),魔改ClickHouse 、 HNSWlib加上向(xiang)量檢索封裝就緊急推出向(xiang)量數(shu)(shu)據(ju)庫產品的玩(wan)家更是多(duo)如過江(jiang)之鯽。而Zilliz2019年開(kai)源的向(xiang)量數(shu)(shu)據(ju)庫Milvus在GitHub的Star數(shu)(shu),也(ye)(ye)在2023至2024年期間,迅速從一(yi)(yi)萬(wan)增長至三(san)萬(wan)。

但(dan)向量數據(ju)庫之于大(da)模型,能力僅(jin)限(xian)于此嗎?

答案是否定的。

在解決了大模型的幻覺問題之后,大模型的第二朵陰云,在2024年悄然浮現。

這一年,以Ilya Sutskever為代表,一眾大(da)模型(xing)頂級研(yan)發(fa)大(da)牛(niu)逐(zhu)漸發(fa)覺,大(da)模型(xing)的Scaling Law效率(lv)正逐(zhu)漸變得(de)越來越低(di),與此同時,如(ru)(ru)果保持如(ru)(ru)今的參(can)數(shu)膨脹(zhang)效率(lv),預計在 2028 年左右,全世界公(gong)域互聯網中的數(shu)據儲量將被(bei)全部利用完。

大模型幾乎(hu)將(jiang)所有公(gong)域的(de)知識學習殆盡,但為什么還未實現真正意(yi)義上的(de)通用人(ren)工智能?

大(da)模(mo)型(xing)剛剛興起(qi)之時,業內一度(du)對(dui)大(da)模(mo)型(xing)的(de)認知是大(da)模(mo)型(xing)是現實(shi)世界(jie)的(de)無(wu)損壓縮(suo)編碼,因此只(zhi)要大(da)模(mo)型(xing)學習足夠多的(de)知識,就(jiu)能還原真實(shi)的(de)世界(jie),像現實(shi)世界(jie)中的(de)人類一樣聰明,甚至通過(guo)還原真實(shi)世界(jie),可以發掘其背后潛在的(de)運行規律。

如(ru)(ru)今(jin),隨(sui)著Scaling Law放緩,越來越多(duo)的(de)(de)(de)人(ren)開始意識到,大(da)模(mo)型(xing)的(de)(de)(de)壓縮(suo)(suo)本(ben)質,是(shi)一(yi)種有損(sun)壓縮(suo)(suo)。在學習互聯網的(de)(de)(de)各種信(xin)息之時,大(da)模(mo)型(xing)往(wang)往(wang)只能通過內容的(de)(de)(de)組(zu)合方式、語(yu)法規則(ze)等維度(du),去對(dui)信(xin)息進行(xing)高度(du)的(de)(de)(de)凝練與規則(ze)提取,而這(zhe)個壓縮(suo)(suo)過程,往(wang)往(wang)伴隨(sui)的(de)(de)(de),就是(shi)細節的(de)(de)(de)丟(diu)失,知(zhi)識體系的(de)(de)(de)簡(jian)化、以及長(chang)尾(wei)知(zhi)識的(de)(de)(de)空白。如(ru)(ru)果(guo)以這(zhe)種缺失細節與深度(du)邏輯的(de)(de)(de)算法去進行(xing)推理,結果(guo)就會類(lei)似我們古代成語(yu)中的(de)(de)(de)“按圖索驥”,以抽象(xiang)的(de)(de)(de)高額頭、大(da)眼睛、粗四肢(zhi)為特征,最終找(zhao)到的(de)(de)(de)可(ke)能不是(shi)千里(li)馬,而是(shi)完全符合標準的(de)(de)(de)蛤蟆。

答案(an)依舊是(shi)向(xiang)量數據(ju)(ju)庫與RAG。向(xiang)量數據(ju)(ju)庫不僅支(zhi)持對(dui)數據(ju)(ju)的更多維(wei)度解構(gou),同(tong)時也可以對(dui)細節進行更高程度的還(huan)原,并對(dui)長尾知識進行存儲,基于(yu)此(ci)構(gou)建的RAG,可以很(hen)好的彌補大模(mo)型對(dui)真實世界有損壓縮帶(dai)來的缺陷。比如在圖像領域,今年爆火的ColPali RAG、iRAG、VisRAG,都是(shi)其中代表。

也是因此,今年(nian)年(nian)底,在Menlo Ventures對600家美(mei)國(guo)企(qi)業進行調研之后發(fa)現,企(qi)業 AI 的部(bu)署落地中,RAG占(zhan)比(bi)從2023年(nian)的31%,到(dao)2024年(nian)上(shang)升到(dao) 51%,與之形成(cheng)鮮(xian)明對比(bi),生(sheng)產環(huan)境(jing)中,僅有(you)9%的生(sheng)產模(mo)(mo)型采用微(wei)調方式進行模(mo)(mo)型部(bu)署。

向量數據庫與RAG,幾乎成為了大模型落地的默認最強外掛。

但不(bu)同于C端(duan)(duan)用(yong)戶可以(yi)在office辦公套件(jian)與國產的(de)(de)WPS之間靈活切換(huan);由(you)于關(guan)系到(dao)企業隱私(si)數(shu)據(ju)的(de)(de)管理,以(yi)及頂層業務的(de)(de)搭(da)建(jian),B端(duan)(duan)對(dui)數(shu)據(ju)庫的(de)(de)選擇往(wang)往(wang)慎之又(you)慎,企業一旦找到(dao)合適的(de)(de)產品,就會(hui)受限(xian)于數(shu)據(ju)遷移成(cheng)(cheng)本高、與現(xian)有系統集(ji)成(cheng)(cheng)緊密(mi)、運維(wei)和管理成(cheng)(cheng)本高等綜(zong)合因(yin)素,在很長一段時間內不(bu)會(hui)進行(xing)更換(huan)。數(shu)據(ju)庫一用(yong)四十年,產品生命周(zhou)期比程(cheng)序(xu)員職業周(zhou)期還長的(de)(de)情況,在這一行(xing)業并不(bu)罕見。

舉個簡單例子(zi),在(zai)(zai)金融賽道,大(da)模型除(chu)了(le)需(xu)要(yao)掌(zhang)握公開的(de)(de)(de)知識,還需(xu)要(yao)大(da)規模、多樣化、高質量、實時的(de)(de)(de)用戶(hu)交易記錄、信用記錄、消(xiao)費行(xing)為等數(shu)據,才(cai)能準確(que)預測客戶(hu)的(de)(de)(de)信用風險和投(tou)資偏好,并基(ji)于此為投(tou)資者(zhe)提供更全面、準確(que)的(de)(de)(de)投(tou)資建議;在(zai)(zai)醫(yi)療行(xing)業,在(zai)(zai)疾病(bing)診(zhen)斷中,向量數(shu)據庫能夠提供準確(que)詳細(xi)的(de)(de)(de)病(bing)歷數(shu)據、檢驗(yan)檢查結果等數(shu)據,是大(da)模型準確(que)判(pan)斷疾病(bing)類(lei)型、嚴重程度和制定治療方案的(de)(de)(de)關鍵。

也是因此,如何選擇合適的向量數據庫,也成為了困擾無數大模型應用開發者的頭疼問題。

三、激戰:向量數據庫的瑯琊榜

不久前,全球知名獨立研究機構Forrester發布《2024年第三季度向量數據庫供應商Wave報告》,正式對向量數據庫市場的江湖座次,用一張瑯琊榜給出了自己的評判。

在這份報告中,Forrester選(xuan)擇了(le)14家向量數據庫(ku)(ku)供應(ying)商,對其產品(pin)能力、商業策(ce)略、市場表現為(wei)核心的25項評估標準進行(xing)打分,參賽選(xuan)手既包括(kuo)AWS等知名大廠,也有甲骨(gu)文、MangoDB等老(lao)牌數據庫(ku)(ku)玩(wan)家,以及Zilliz等向量數據庫(ku)(ku)代表玩(wan)家。

后Scaling Law時代,需要一份向量數據庫的瑯琊榜

在這張表(biao)中(zhong),橫軸(zhou)代表(biao)玩家的(de)戰略(lve)(strategy),對應企(qi)業的(de)戰略(lve)創(chuang)新(xin)能力,縱軸(zhou)代表(biao)當(dang)前產(chan)品(pin)的(de)能力(current offering),圓(yuan)圈的(de)大(da)小(xiao)代表(biao)企(qi)業的(de)市(shi)場(chang)份(fen)額(market presence)。三個(ge)半圓(yuan)的(de)象限,則(ze)是(shi)Forrester報告設定的(de)領導者(zhe)(leaders)、表(biao)現強勁(jing)(strong performers)、競(jing)爭者(zhe)(contenders)三大(da)玩家梯隊。

通過這張表,不難發現,一方面AWS等云服務巨頭掌握了市場相當一部分用戶數,但與此同時,Zilliz為代表的創業公司,也首次沖進領導者象限,成為這個市場在產品以及技術創新方向的領頭羊。緊隨其(qi)后(hou),第(di)(di)二梯(ti)隊玩家同樣表(biao)(biao)現強勁(jing),這也是所含企業最多(duo)的(de)(de)(de)層級,包括甲骨文等7家供應商。但相比于(yu)領導者(zhe),這些供應商在(zai)(zai)某些方面存(cun)在(zai)(zai)明顯不(bu)足,如(ru)微軟缺乏高(gao)級向量功(gong)能、甲骨文的(de)(de)(de)解(jie)決方案尚未成熟……第(di)(di)三梯(ti)隊的(de)(de)(de)競(jing)爭者(zhe)相比上(shang)述兩類,綜合表(biao)(biao)現較弱,其(qi)產品(pin)大多(duo)不(bu)成熟或者(zhe)缺少部分重要功(gong)能。

更具體拆解來看,報告中認為,企業在選擇向量數據庫時應該重點關注三個主要方面:支持廣泛的核心向量功能、簡化向量的數據管理、以高效形式實現性能與規模的交付。

后Scaling Law時代,需要一份向量數據庫的瑯琊榜

而想要做到這些,向量(liang)數(shu)(shu)據(ju)(ju)庫需要構建包括(kuo)向量(liang)索引、元數(shu)(shu)據(ju)(ju)管理、向量(liang)搜(sou)索和混合搜(sou)索等在內的全(quan)面(mian)功能(neng),同時(shi)(shi)為(wei)了保(bao)(bao)證(zheng)企業交互(hu)友好、便利,向量(liang)數(shu)(shu)據(ju)(ju)庫需要兼顧廣(guang)泛數(shu)(shu)據(ju)(ju)管理功能(neng)和簡化部(bu)署(shu)、快速(su)開發(fa)的能(neng)力。此(ci)外,面(mian)對不斷膨(peng)脹的大(da)模型規模,向量(liang)數(shu)(shu)據(ju)(ju)庫在存儲和處(chu)理數(shu)(shu)千萬到上(shang)億個向量(liang)時(shi)(shi),還應能(neng)保(bao)(bao)證(zheng)查(cha)詢速(su)度,并根據(ju)(ju)工作負載要求進(jin)行彈性擴展和收縮。

以此次(ci)領(ling)導者(zhe)向量(liang)數(shu)(shu)據(ju)庫企業Zilliz為例,在具體得分(fen)上,Forrester在向量(liang)維(wei)度、向量(liang)索引、性(xing)能、可擴展(zhan)性(xing)方面給這(zhe)家(jia)企業打出(chu)了高分(fen),指(zhi)出(chu)其不僅擅長管理(li)大量(liang)向量(liang)數(shu)(shu)據(ju),同時兼具優化的存(cun)儲(chu)、高效管理(li)和(he)搜索功能。

比(bi)如在可擴展性(xing)層(ceng)面,通過(guo)這份公開的產品對比(bi)不難發現(xian),相比(bi)傳統(tong)數據(ju)庫玩(wan)家,Milvus通過(guo)支持磁(ci)盤索引,可以實現(xian)更輕松(song)擴展和更合理的資源分配(pei)。通常來(lai)說,磁(ci)盤索引可以將(jiang)部分數據(ju)存(cun)儲在磁(ci)盤上,僅在需要時加載(zai)到內存(cun)中;支持Partition/Namespace/邏輯分組,則可以將(jiang)數據(ju)按照特定的規則或屬性(xing)進行劃分,同(tong)時根據(ju)重要性(xing)或訪問頻率分配(pei)不同(tong)資源。

此外,Milvus支持的索引類型多達11種,這也(ye)使其(qi)更能適(shi)應不同數據特點(dian),并提升查詢準確性。

后Scaling Law時代,需要一份向量數據庫的瑯琊榜

▲Milvus和MongoDB向量數據庫產品可擴展性對比

那么一個新的問題來了,一家創業公司,如何在巨頭的包圍中層層突圍,打造大模型時代的新型基礎設施?

四、突圍:創業公司如何打造大模型時代的新型基礎設施

一定程度上,Zilliz的成功,是一個大模型時代,創業公司從巨頭射程突圍,野蠻生長的范例。這背后,既有歷史進程的助推(tui),同樣離(li)不開企(qi)業自(zi)身技術遠見與長期主義堅持。

于時代背景(jing)而言,2022年(nian)底發布的(de)(de)ChatGPT,是這家企業(ye)從(cong)低調蟄伏(fu)到一鳴驚人(ren)的(de)(de)拐點。大模(mo)型的(de)(de)普及,加(jia)速讓非結構(gou)化數(shu)據(ju)的(de)(de)處理成為主流,向量數(shu)據(ju)庫自(zi)此闖入聚光燈下。

恰逢其(qi)時,傳(chuan)統的(de)數據(ju)庫(ku)企業,盡管擁有更好(hao)的(de)技術(shu)基(ji)礎(chu)、數據(ju)資源與(yu)客戶基(ji)礎(chu),然(ran)而其(qi)為傳(chuan)統倒排索引而構(gou)建的(de)的(de)產品形態(tai),對于(yu)需(xu)要(yao)基(ji)于(yu)密集向量檢(jian)索、數據(ju)規模極速膨(peng)脹的(de)大(da)模型而言,原本的(de)優(you)勢被重新(xin)翻譯為在向量檢(jian)索上的(de)搜索與(yu)性(xing)能不(bu)足。與(yu)之形成(cheng)對比,專(zhuan)業向量數據(ju)庫(ku)不(bu)僅能夠在毫秒級時間內完成(cheng)上億個目標的(de)檢(jian)索與(yu)召回;更能通過分布(bu)式架構(gou)與(yu)先進存儲技術(shu),可以在不(bu)影響(xiang)系統性(xing)能的(de)前(qian)提下,實(shi)現從處理小規模向量數據(ju),到支(zhi)持(chi)百億甚至千億級向量數據(ju)的(de)平(ping)滑過渡。

而與(yu)同行(xing)(xing)的(de)(de)專(zhuan)業向(xiang)量(liang)(liang)(liang)數(shu)(shu)據(ju)(ju)庫(ku)玩(wan)家(jia)(jia)相比,Zilliz最大(da)的(de)(de)優勢則(ze)在于時間(jian)積累起的(de)(de)生(sheng)態護城河(he)。與(yu)多(duo)數(shu)(shu)玩(wan)家(jia)(jia)2023年(nian)才趕鴨子(zi)上架式一(yi)(yi)(yi)股(gu)腦涌入向(xiang)量(liang)(liang)(liang)數(shu)(shu)據(ju)(ju)庫(ku)不同,Zilliz是唯(wei)一(yi)(yi)(yi)一(yi)(yi)(yi)家(jia)(jia)在2019年(nian)就推出產品(pin)(pin)化開(kai)源向(xiang)量(liang)(liang)(liang)數(shu)(shu)據(ju)(ju)庫(ku)的(de)(de)玩(wan)家(jia)(jia)。而對(dui)于數(shu)(shu)據(ju)(ju)庫(ku)這樣一(yi)(yi)(yi)個強調生(sheng)態效應的(de)(de)市(shi)場,五年(nian)足(zu)以構(gou)建(jian)起一(yi)(yi)(yi)堵足(zu)夠(gou)寬厚的(de)(de)技(ji)術(shu)與(yu)行(xing)(xing)業認知組建(jian)起的(de)(de)銅墻鐵壁。在對(dui)手還在使用(yong)(yong)開(kai)源算法進行(xing)(xing)產品(pin)(pin)封(feng)裝之時,Zilliz不僅有(you)Github 3W star的(de)(de)開(kai)源向(xiang)量(liang)(liang)(liang)數(shu)(shu)據(ju)(ju)庫(ku)Milvus,同時還推出了商業化產品(pin)(pin)Zilliz Cloud,為(wei)用(yong)(yong)戶提供(gong)百億(yi)級(ji)向(xiang)量(liang)(liang)(liang)數(shu)(shu)據(ju)(ju)毫秒級(ji)檢索能力(li)、開(kai)箱即用(yong)(yong)的(de)(de)向(xiang)量(liang)(liang)(liang)數(shu)(shu)據(ju)(ju)庫(ku)服務。

與此同時,大模型的快速普及,也為無數Zilliz這樣的中間層玩家,帶來了前所未有的全球化機遇。不同于老一代互聯網企業的出海敘事,亦或是copy to China、copy from China,Zilliz從成立第一天,就面向全球市場,其商業化進程也通過借助AWS這樣的云服務巨頭,實現了全球化擴張,讓用戶可以基于Bedrock+Zilliz Cloud構建一整套完整的RAG應用、以圖搜圖系統、算法推薦系統等,加速企業的大模型落地。

在這(zhe)一過程中(zhong),Zilliz不僅在全球范圍內積累了上萬企(qi)業級(ji)用(yong)戶,產品更是被廣泛(fan)應(ying)用(yong)于圖片(pian)檢索、視頻分析、自然(ran)語言理解、推薦系統(tong)、定(ding)向(xiang)廣告、個性(xing)化(hua)搜(sou)索、智能客服、欺詐(zha)檢測、網絡(luo)安(an)全和新藥發現等各個領域,完成從(cong)新興玩家(jia)到大模型基礎設施的(de)進化(hua)。

當時代的風口來臨,參與其中,每個人都能聽到風的聲音,但真正穿越周期,走出巨頭與時代突圍,長期主義才是唯一的答案。