智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影
智東西5月31日報(bao)道，5月29日-30日，亞馬(ma)遜(xun)云(yun)科技(ji)(ji)中(zhong)國峰會在上海舉(ju)行(xing)。峰會第二(er)日，亞馬(ma)遜(xun)云(yun)科技(ji)(ji)大中(zhong)華(hua)區產品總經理陳曉(xiao)建(jian)分(fen)享了構建(jian)和應用生(sheng)(sheng)成(cheng)(cheng)式(shi)(shi)AI的多款創新產品；亞馬(ma)遜(xun)云(yun)科技(ji)(ji)大中(zhong)華(hua)區解(jie)決方案(an)架構總經理代聞以橋梁設計做精巧比(bi)喻，從三個方向(xiang)分(fen)享生(sheng)(sheng)成(cheng)(cheng)式(shi)(shi)AI時代下架構的演(yan)進與迭代。
企業開展生成式(shi)AI應(ying)用落(luo)地的過程中面臨新的挑戰，主要體(ti)現在(zai)：1）底層算力資(zi)源(yuan)短缺(que)；2）缺(que)乏(fa)合適(shi)的工具，用于訪(fang)問(wen)和部署世界一(yi)流模型，從(cong)而進行端到端的生成式(shi)AI應(ying)用構建；3）缺(que)少匹配自身(shen)需求的，可開箱即(ji)用快速上手(shou)的應(ying)用。
為了助力(li)企業(ye)生(sheng)成(cheng)式AI應用落地，亞馬遜云科技打造三層生(sheng)成(cheng)式AI技術(shu)棧：
1）底層(ceng)是以(yi)(yi)GPU和(he)自(zi)研芯片為(wei)代表的基礎設施，用于基礎模型的訓練(lian)以(yi)(yi)及在(zai)生產環境中(zhong)運行推理；
2）中間層是以(yi)Amazon Bedrock為代表的，提供可(ke)以(yi)訪問所需(xu)基礎模型，以(yi)及構建(jian)和(he)擴(kuo)展生成(cheng)式AI應用程序的工(gong)具；
3）頂(ding)層則是以Amazon Q為(wei)代表的，利(li)用(yong)基(ji)礎模型構建(jian)的開箱即用(yong)的生成(cheng)式AI應用(yong)程序(xu)，用(yong)戶(hu)無需任何專業(ye)知識即可快速上手生成(cheng)式AI。
一、技術棧底層：聯手英偉達構建AI超算，上線零一萬物、百川智能基礎模型
亞馬遜云科技大中華區(qu)產品總經理陳曉建談道(dao)，生成(cheng)式AI應用開始于(yu)基(ji)礎模型的(de)訓練和推理，這兩(liang)種(zhong)工(gong)作負(fu)載(zai)對算力有大量需求，也是限(xian)制企業模型開發步(bu)伐的(de)關鍵制約(yue)因素。
為了(le)(le)幫助企業(ye)降低(di)經濟壓力，亞馬遜云(yun)科技推(tui)出了(le)(le)一(yi)系列專門構建的(de)、高性價比(bi)的(de)芯(xin)片和(he)計算實例供企業(ye)選擇，用于運行模型(xing)的(de)訓練和(he)推(tui)理工作負載。
今天(tian)的(de)(de)模(mo)型(xing)規模(mo)需(xu)(xu)(xu)要分布式(shi)的(de)(de)調度以及(ji)相應的(de)(de)存儲和網絡(luo)的(de)(de)性(xing)能。以訓練(lian)500億參數(shu)量的(de)(de)模(mo)型(xing)為(wei)例，需(xu)(xu)(xu)要提供1T（1萬億）token的(de)(de)數(shu)據(ju)量，如(ru)果用(yong)一張(zhang)A100的(de)(de)GPU需(xu)(xu)(xu)要74年的(de)(de)時間才能完(wan)成，而(er)用(yong)2048張(zhang)GPU則只(zhi)需(xu)(xu)(xu)要13天(tian)。Stability AI訓練(lian)Stable Diffusion用(yong)了(le)4000張(zhang)A100 GPU，而(er)Meta訓練(lian)Llama 3則使(shi)用(yong)了(le)超(chao)過16000張(zhang)A100 GPU。
算法工程師(shi)通過分布(bu)式(shi)訓(xun)練的(de)技術(shu)，同時使用(yong)數(shu)千張甚至上萬(wan)張的(de)GPU卡來訓(xun)練基礎(chu)模型，需要更好的(de)卡到卡之(zhi)間，實例到實例之(zhi)間的(de)高帶寬來降低通信(xin)延遲，提(ti)高GPU利用(yong)率，進而(er)縮短整個集(ji)群的(de)訓(xun)練時間。
Amazon?UltraCluster提供(gong)了(le)超(chao)大規(gui)模、超(chao)高(gao)(gao)帶寬以及(ji)超(chao)高(gao)(gao)穩(wen)定的(de)(de)高(gao)(gao)性能計算集群，FSx for Lustre和(he)S3提供(gong)了(le)高(gao)(gao)性能存儲的(de)(de)穩(wen)定方案。
基于英偉達全(quan)新GPU資源的(de)系(xi)列實(shi)例(li)建立(li)在亞(ya)馬遜云科技的(de)高性能存儲(chu)和(he)網(wang)絡服(fu)務基礎之上，支(zhi)持(chi)廣泛的(de)編排選(xuan)項和(he)開源框架，通過EFA網(wang)絡，允許企業(ye)配(pei)置高達2萬個GPU的(de)超級集群(qun)來(lai)支(zhi)持(chi)最大工作負載。
Project Ceiba項目是(shi)亞馬遜云(yun)(yun)科(ke)技(ji)為(wei)英(ying)(ying)偉達(da)構(gou)建的(de)AI超級(ji)計算(suan)機(ji)，由(you)英(ying)(ying)偉達(da)和亞馬遜云(yun)(yun)科(ke)技(ji)聯合(he)開發(fa)，搭載了超過2萬(wan)個英(ying)(ying)偉達(da)Grace架構(gou)的(de)Blackwell GB200超級(ji)芯(xin)(xin)片(pian)和亞馬遜云(yun)(yun)科(ke)技(ji)第四代EFA網絡(luo)。每個超級(ji)芯(xin)(xin)片(pian)可提供高達(da)800Gbps的(de)網絡(luo)帶寬(kuan)，其(qi)算(suan)力將(jiang)能達(da)到驚人(ren)的(de)414Exaflops。
基于(yu)英偉(wei)達 A10G GPU的(de)Amazon EC2 G5實例(li)在中國區正式可(ke)用，性能達到Amazon EC2?G4DN的(de)3倍，推理性價比提高了40%。
過去5年，亞馬遜云科技在(zai)定(ding)制芯(xin)(xin)片領域的(de)投資帶(dai)來(lai)了機器(qi)學(xue)習訓練和(he)(he)推(tui)(tui)理成本的(de)大幅下(xia)降。其中，基于Amazon Trainium的(de)Trn1 EC2實例和(he)(he)基于Amazon Inferentia芯(xin)(xin)片的(de)Inf2 EC2實例，與基于英偉(wei)達GPU的(de)Amazon EC2實例相比，可分別將訓練成本降低(di)高達50%，推(tui)(tui)理成本降低(di)高達40%。
訓練(lian)和推(tui)理也需(xu)要合適的軟件工具。亞馬遜(xun)云科技推(tui)出了Amazon SageMaker托管機器學(xue)習服務，幫助企業輕松構(gou)建、訓練(lian)、微調和部署模型(xing)。
亞馬(ma)遜云科技宣布來自零一萬物的Yi-1.5 6B/9B/34B的基(ji)礎(chu)模型(xing)在中國區(qu)域正(zheng)式上線SageMaker Jumpstart，同時來自百川(chuan)智能的Baichuan-2 7B基(ji)礎(chu)模型(xing)也(ye)即將上線中國區(qu)域的SageMaker Jumpstart，為開發生成式AI應用(yong)提供更多(duo)基(ji)礎(chu)模型(xing)選擇(ze)。
Amazon SageMaker JumpStart是Amazon SageMaker的一項重(zhong)要服務，可幫(bang)助客戶獲取、微(wei)調(diao)和部署來(lai)自業界最(zui)新公(gong)開的可用(yong)預訓練(lian)基礎模型，包括Meta Llama 3、Cohere Command等。
該服務還為機器學(xue)習從業者提供深度模型定制和評(ping)估功能，允(yun)許其通過已經使用的環境輕松訪問基礎(chu)模型。
此外，Amazon SageMaker HyperPod正式可用，專門助力大規模分布式訓練，能夠將訓練模型的時(shi)間減(jian)少多達40%。
二、技術棧中間層：用基礎模型加速應用構建，四大價值讓生成式AI觸手可及
技(ji)術棧的(de)中間層對于大(da)部(bu)分企業來說更加重要，構建生成式AI應(ying)用(yong)通常是從(cong)選(xuan)用(yong)既有(you)的(de)基礎模型開始，而不(bu)是直接參與構建基礎模型。
所以如(ru)何(he)選擇更加適合(he)自身業(ye)務的模(mo)型，便成為(wei)了企業(ye)首先需要作答(da)的問(wen)題。
在模型選擇方面，Amazon Bedrock是一(yi)項全面(mian)托管的服務，用戶(hu)可通過單一(yi)的API訪問來自(zi)Al21 Labs、Anthropic、Cohere、Meta、Mistral Al、Stability AI和亞馬遜等(deng)領先AI公司的高(gao)性能基礎模型。
值得一提的是(shi)最新推出(chu)的亞馬遜云科(ke)技自研Embedding模型Amazon Titan Text Embeddings V2模型，針對檢(jian)索(suo)增強生成（RAG）工作流程進行(xing)了優化。
另一款最新推出的Titan Text Premier基礎(chu)模型，是(shi)Titan Text系(xi)列中(zhong)先進(jin)的型號，旨在為各(ge)種(zhong)企業應用程序(xu)提(ti)供(gong)卓越(yue)的性能，并對RAG及Agent提(ti)供(gong)了專門優化，提(ti)供(gong)了更高(gao)的準確性。
為了(le)幫助企業選擇合(he)適的(de)模(mo)(mo)(mo)型(xing)，亞馬遜(xun)云科(ke)技正式(shi)推(tui)出了(le)Amazon Bedrock模(mo)(mo)(mo)型(xing)評估功能，可將模(mo)(mo)(mo)型(xing)評估時間(jian)從數個星期壓縮至幾個小時。
在模型定制方面，Amazon Bedrock支持企業自定義模型的導(dao)入(ru)。企業可將基(ji)于(yu)Amazon SageMaker或其他工具開發的存儲在Amazon S3里面(mian)的定制模型導(dao)入(ru)到Amazon Bedrock中，以(yi)完全托(tuo)管的API形式進(jin)行(xing)訪問，而無需管理底(di)層基(ji)礎(chu)設施。
目前(qian)Amazon Bedrock自(zi)定義模(mo)型導入已提(ti)供預覽版，支持Llama、Mistral、Flan-T5三種流行的(de)開放模(mo)型架構(gou)，同時還將在未來進一(yi)步擴展支持范圍。
從數據(ju)準備到數據(ju)運(yun)用，亞馬遜云科技打造了(le)一套全(quan)面的數據(ju)服(fu)務體系，涵蓋數據(ju)庫、數據(ju)湖、數據(ju)治理、數據(ju)分析、機器學習和生成式AI五(wu)大維(wei)度。
該體系可(ke)以幫助(zhu)企業(ye)連接(jie)現有(you)的(de)(de)數據源(yuan)，定(ding)制(zhi)面向生成(cheng)式AI應用構建的(de)(de)高質量企業(ye)數據資源(yuan)，配合Amazon Bedrock提(ti)供的(de)(de)微(wei)調、持續預訓(xun)練、RAG等功能(neng)，打(da)造與企業(ye)業(ye)務相關的(de)(de)生成(cheng)式AI應用。
為了(le)進一步幫(bang)助企業(ye)使用RAG技術(shu)優化(hua)模型的個性化(hua)響應，亞馬遜云科(ke)技正式推出了(le) 完(wan)全托(tuo)管的Amazon Bedrock知識庫(ku)功能。
該功能支(zhi)持企(qi)業使(shi)用上下文相(xiang)關(guan)的內部數據(ju)自定義基(ji)礎模型響應。Amazon Bedrock上的知識庫會自動執(zhi)行端(duan)到端(duan)的RAG工作流程(cheng)，使(shi)用者無需編寫自定義代碼來集成數據(ju)源和管(guan)理查詢。
在應用集成方面，Amazon Bedrock的(de)Agent功(gong)能提(ti)供(gong)了一(yi)(yi)種(zhong)工具，支持開發人員定義特定的(de)任務(wu)、工作流程或決策過程，增(zeng)強(qiang)控制和自動(dong)化，同時確保(bao)與預期用(yong)例(li)保(bao)持一(yi)(yi)致(zhi)。
Agents for Amazon Bedrock現(xian)已支持Claude 3 Sonnet和Haiku模型。
亞馬遜云科技還提供(gong)了(le)一站式生成(cheng)式AI應用(yong)(yong)開發(fa)工作站Amazon Bedrock Studio。借助這一工作站，開發(fa)者可(ke)以(yi)使(shi)用(yong)(yong)簡單易用(yong)(yong)的(de)交互界面進行模型選擇(ze)、模型評(ping)估，還可(ke)以(yi)與團隊(dui)成(cheng)員協作，共同(tong)試驗，創建和完善生成(cheng)式AI應用(yong)(yong)。
在負責任的AI方面，亞馬遜云科技承諾以負(fu)責任的方(fang)式構建(jian)服務，同(tong)時重點考慮公正性(xing)、隱(yin)私性(xing)和(he)安全性(xing)、可(ke)解釋性(xing)、可(ke)治理性(xing)、穩健性(xing)、透明性(xing)6大方(fang)面(mian)。
企業(ye)在構建生成(cheng)式(shi)(shi)AI應(ying)用(yong)程(cheng)(cheng)序(xu)時，通常希望(wang)其客戶和應(ying)用(yong)之(zhi)間的交互是安全并遵守企業(ye)指導方針的。對此，亞馬(ma)遜(xun)云科技(ji)推出了Amazon Bedrock的Guardrails功能(neng)，可幫(bang)助(zhu)企業(ye)輕(qing)松實施(shi)生成(cheng)式(shi)(shi)AI應(ying)用(yong)程(cheng)(cheng)序(xu)的保護(hu)措施(shi)，并根據自身需求和負責(ze)任(ren)AI政策進行定(ding)制。
同Amazon Bedrock上(shang)基礎模型原生(sheng)提供的(de)(de)保護能力相比，Amazon Bedrock的(de)(de)Guardrails功能可幫助(zhu)企業用(yong)戶阻止多達(da)85%的(de)(de)有害內容。
三、技術棧上層：開箱即用的生成式AI應用
亞馬遜云科技(ji)構(gou)建的生成(cheng)式AI助(zhu)手Amazon Q可幫(bang)助(zhu)企業達成(cheng)加速軟件開發、發揮(hui)業務數據價值等目標。
目前，Amazon Q Developer、Amazon Q Business、Amazon Q in Connect、Amazon Q in QuickSight均已正式可用。
Amazon Q Developer可協(xie)助開(kai)(kai)發人員完成從編碼、測試、升級應用到故(gu)障排查、安全掃描和修復、優(you)化云資源等(deng)繁瑣重復的(de)(de)工作，讓開(kai)(kai)發者把(ba)更多時間專注于創新體驗的(de)(de)開(kai)(kai)發，加快應用部署速度。
在實際應用中，Amazon Q Developer共包(bao)含3大核心應用場(chang)景：1）大規模(mo)消除技術(shu)冗余；2）提高開(kai)發人(ren)(ren)員(yuan)生產力；3）近乎實時生成代碼(ma)建(jian)議(yi)和(he)推薦，幫(bang)助開(kai)發人(ren)(ren)員(yuan)更(geng)(geng)快、更(geng)(geng)安(an)全(quan)地進行構建(jian)。
為了幫助企業(ye)發揮大(da)量難以訪問和解析(xi)的(de)數(shu)據(ju)的(de)價值，亞馬遜云(yun)科技推出了具有從任意數(shu)據(ju)中獲取洞見能力(li)的(de)Amazon Q Business。
通(tong)過它，企(qi)(qi)業(ye)員工可以通(tong)過連接(jie)企(qi)(qi)業(ye)數(shu)據(ju)庫(ku)，來提問(wen)關于公司政策、產品信息、業(ye)務結果(guo)、代碼庫(ku)、人員等諸多問(wen)題，從而總結數(shu)據(ju)邏輯、分析趨勢并就數(shu)據(ju)進行對(dui)話(hua)。
Amazon Q Business有(you)四大應用場景：統一的(de)對話檢索式體驗、生成總結與(yu)提煉關鍵發現、提升內容創(chuang)作的(de)效率、簡化任務流程(cheng)。
Amazon Q Business中的(de)Amazon Q Apps功能(neng)公開預覽(lan)。借此創(chuang)建(jian)應(ying)用(yong)程序非常(chang)簡單(dan)，員工(gong)可以(yi)用(yong)自然語言描述(shu)他(ta)們想要(yao)的(de)應(ying)用(yong)程序類(lei)型(xing)，或者只需告訴Amazon Q Apps從(cong)Amazon Q幫助解決問題的(de)對話中執行即(ji)可。
Amazon Q Developer 和 Amazon Q Business截止到6月30號免費試用。
四、亞馬遜云科技全方位助力人才成長，三大力量驅動架構創新
亞(ya)馬遜云(yun)科(ke)技(ji)計劃到2025年(nian)向全球2900萬人提供(gong)免費培(pei)訓，而目前已經有2100萬人受益。
為了(le)讓更多的開發者有機會低(di)門檻(jian)體驗到前沿的生成式AI服務，亞(ya)馬(ma)遜云(yun)科技推出了(le)云(yun)上(shang)探索實驗室CloudLab平臺。開發者不需要注冊賬號、不需要購買云(yun)資源(yuan)，只(zhi)需掃碼進入云(yun)上(shang)探索實驗室，即可在24小(xiao)時之內盡情構建(jian)。
同時，亞(ya)馬遜云科技(ji)還為中國開發者量身定做了“從基礎到應(ying)用：LLM 全景(jing)培訓(xun)”課程。
生成(cheng)式(shi)AI時代，構(gou)建(jian)應用有什么(me)不一樣的方法？有何種新的架構(gou)趨勢？
亞馬(ma)遜云科技(ji)大中華區解決方案架構總經理代(dai)聞說(shuo)，技(ji)術架構演進過程里(li)面(mian)不變(bian)的(de)三個主題需求——基礎組(zu)件能(neng)力，架構體系創(chuang)新，多元(yuan)技(ji)術融合。
代聞(wen)從橋(qiao)梁(liang)發展(zhan)歷程入手，提出橋(qiao)梁(liang)的發展(zhan)和構建是由基礎(chu)材料，建筑架(jia)構和多(duo)元(yuan)化需求三者共同(tong)作用的結果，而技術(shu)的發展(zhan)往(wang)往(wang)也是如此。
最基(ji)礎(chu)的(de)(de)組件，例(li)如材(cai)料、技(ji)術往(wang)往(wang)決定了能采用的(de)(de)架(jia)構。對于信息技(ji)術來說，最基(ji)礎(chu)的(de)(de)材(cai)料就是算力。
云計算的最(zui)基(ji)礎(chu)組件(jian)是計算、存儲(chu)和(he)網(wang)絡，其中又以計算作為(wei)最(zui)核心的組件(jian)。
自2006年推出Amazon EC2服(fu)務以來(lai)，Amazon EC2從最初的70種實例類型增長到超過(guo)750種，亞馬(ma)遜云科技(ji)在虛擬化技(ji)術和硬(ying)件加速方面正持續進(jin)步(bu)。
亞馬遜云科技(ji)已發布五代Nitro芯(xin)片。Nitro提供了一個(ge)隔離(li)的(de)敏感數據(ju)處理(li)環(huan)境(jing)Nitro Enclaves，可以為客(ke)戶自(zi)己的(de)實例帶(dai)來額(e)外的(de)隔離(li)，保護正(zheng)在使用的(de)數據(ju)免(mian)受任何未經(jing)授(shou)權的(de)訪問(wen)，即使是來自(zi)客(ke)戶管理(li)員級別的(de)用戶。
在自研(yan)處理器(qi)方面，從(cong)2018年的(de)(de)Amazon Graviton到2023年的(de)(de)Amazon Graviton4，每(mei)一代的(de)(de)Graviton都會上一代有兩(liang)位數的(de)(de)性能提升，并且單位算力的(de)(de)功耗在不(bu)斷(duan)下(xia)降。
亞馬遜(xun)云科技在全球規(gui)模(mo)化(hua)提供(gong)的基于Graviton的Amazon EC2實(shi)例(li)種類達150多個，已(yi)經構建的Graviton處理器數(shu)量超(chao)過200萬個，并擁有超(chao)過50000客(ke)戶。
如今亞馬(ma)遜云科(ke)技的(de)諸多托管服務(wu)都全面(mian)采用了Graviton架構，如Amazon DocumentDB、Amazon Aurora、Amazon RDS等，這些服務(wu)不僅提高(gao)了性(xing)能，還(huan)降低(di)了成(cheng)本，為客(ke)戶(hu)提供了更高(gao)的(de)性(xing)價比(bi)。
代聞認為(wei)(wei)，構(gou)(gou)(gou)建的風險管理意識非常重要，企業在構(gou)(gou)(gou)建時往(wang)往(wang)要面臨(lin)著大量(liang)的不確定性，各種風險因素層出不窮，因此架構(gou)(gou)(gou)韌性成為(wei)(wei)了重中(zhong)之重。
通過單元(yuan)(yuan)化架(jia)構，亞馬遜云科技將IAM拆(chai)分成細小的(de)計算和(he)存儲單元(yuan)(yuan)，實現了(le)高可用性(xing)和(he)極小的(de)故障(zhang)影響范圍，不僅保障(zhang)了(le)服務(wu)的(de)穩定性(xing)，也使得IAM能夠(gou)每秒(miao)處理(li)超過10億個API調用。
架(jia)構創新的第三大驅動力(li)量是多元技術融合。
通過Zero-ETL集(ji)成(cheng)，亞馬(ma)遜云(yun)科技消除了(le)數(shu)據(ju)提取、轉換和加載的復雜性，使得用(yong)戶可以(yi)無縫(feng)地將數(shu)據(ju)從Amazon DocumentDB同步(bu)到(dao)Amazon OpenSearch Service，或者將 Amazon DynamoDB的數(shu)據(ju)直接用(yong)于Amazon Redshift的分析。這種無縫(feng)集(ji)成(cheng)不(bu)僅簡化了(le)數(shu)據(ju)流(liu)動，也提高了(le)數(shu)據(ju)的價(jia)值和業務的敏(min)捷性。
結語：推動服務和架構創新，助力生成式AI普惠化
過去十(shi)年，云計(ji)算為創(chuang)新和創(chuang)業提(ti)供了前所未有的便(bian)利。未來(lai)(lai)十(shi)年，生成式AI帶來(lai)(lai)了重塑各(ge)行各(ge)業的新機(ji)遇。
整體應(ying)用(yong)架(jia)構是多元技術(shu)均衡(heng)的(de)(de)結果，需(xu)要考慮成本(ben)、合(he)規、擴展(zhan)性(xing)、可持續(xu)發展(zhan)、韌性(xing)、安(an)全(quan)、性(xing)能、訪問可達性(xing)、可用(yong)性(xing)等(deng)因素。一個良好的(de)(de)架(jia)構需(xu)能隨著多元因素的(de)(de)影響不斷(duan)演進。
亞馬(ma)遜云科技的(de)(de)優良(liang)架構體系到(dao)現在已經超過(guo)十(shi)年，從卓(zhuo)越運營、安全、可靠、性(xing)能效率(lv)四個維度演進到(dao)六個維度，新增了可持續發展和(he)(he)成本優化。隨著客戶對各種組(zu)件更深入的(de)(de)使用(yong)，架構師的(de)(de)決定和(he)(he)組(zu)件選擇會直接影響(xiang)到(dao)整(zheng)塊的(de)(de)應用(yong)負(fu)載在云上的(de)(de)成本。
伴隨著技術的進(jin)步，亞(ya)馬(ma)遜(xun)云科技將(jiang)繼續推動(dong)架構(gou)的演(yan)進(jin)，通過創新的服務和架構(gou)，突破技術壁壘(lei)，助力(li)生成式AI普惠化。
