智東西AI前瞻（公眾號：zhidxcomAI）
作者 | 江宇
編輯 | 漠影
智東西AI前瞻5月30日報道(dao)，豆(dou)包(bao)APP近日推(tui)出實時視頻(pin)通話功能。用戶(hu)在電(dian)話界面(mian)開(kai)啟視頻(pin)畫面(mian)后，即可(ke)與豆(dou)包(bao)基(ji)于真實場景進行實時問答互動 。
該(gai)功能將(jiang)豆(dou)包的(de)視覺理(li)解(jie)能力，從圖片(pian)場景(jing)擴展到視頻場景(jing)。去年(nian)底(di)，豆(dou)包就曾上線圖片(pian)理(li)解(jie)功能，支持(chi)上傳圖片(pian)后識別(bie)內容，包括(kuo)理(li)解(jie)梗圖等(deng) 。
此(ci)次升(sheng)級以(yi)期(qi)進(jin)一(yi)步降低(di)用戶交互(hu)門檻，提供“邊(bian)看邊(bian)聊”的體驗。
用戶(hu)在(zai)(zai)旅行過(guo)程(cheng)中(zhong)，可打開視(shi)(shi)頻(pin)通話(hua)，詢問(wen)所處(chu)景(jing)點的歷史背景(jing)、特(te)色內容(rong)或路線規(gui)劃等。例如，在(zai)(zai)故(gu)(gu)宮參觀(guan)時(shi)，用戶(hu)可以(yi)通過(guo)視(shi)(shi)頻(pin)向“豆包”展示景(jing)點畫面，了解特(te)定宮殿(dian)的歷史故(gu)(gu)事、建筑特(te)色 。
在博物館(guan)、美術館(guan)等場景，也可以通(tong)(tong)過(guo)視頻(pin)通(tong)(tong)話功能，隨時問豆(dou)包(bao)展品的背景信息 。
此實(shi)時視(shi)頻(pin)通話功(gong)能的(de)實(shi)現(xian)，是基于豆(dou)包最新的(de)視(shi)覺(jue)理(li)(li)解模(mo)型。該模(mo)型具備(bei)內容識別、理(li)(li)解推(tui)理(li)(li)和內容描述能力，能夠(gou)融合視(shi)覺(jue)與語言輸入，進行綜合的(de)深度(du)思(si)考和創(chuang)作。
此外，為(wei)提升(sheng)對話的準確性(xing)與時效性(xing)，豆包視頻(pin)通話功能接入了聯網搜索能力，以獲取互(hu)聯網最(zui)新信(xin)息。
智(zhi)東西也在深度體驗了豆包(bao)視(shi)頻(pin)通(tong)話(hua)(hua)(hua)的功能：打開(kai)豆包(bao)App后(hou)，點擊(ji)“對話(hua)(hua)(hua)”、“通(tong)話(hua)(hua)(hua)圖案”、“開(kai)啟(qi)視(shi)頻(pin)通(tong)話(hua)(hua)(hua)”。
值(zhi)得一提的(de)是(shi)，豆(dou)包電腦(nao)端也已同步開啟共享視頻通話功能，多平(ping)臺(tai)覆蓋，為用(yong)戶提供更靈活的(de)選擇。
想知道豆包(bao)App的視頻通話(hua)功能(neng)有(you)多(duo)強大？智東西替你先試為快。
此前(qian)的(de)(de)ChatGPT就在網絡上(shang)掀起一陣挑選(xuan)“報恩(en)”榴(liu)蓮(lian)的(de)(de)熱潮。那么，比起穩(wen)定的(de)(de)圖片分(fen)析(xi)，在視頻通(tong)話中，豆包能否通(tong)過視頻幫你挑選(xuan)出最完美的(de)(de)榴(liu)蓮(lian)？
在(zai)實際體驗(yan)中(zhong)，豆包確實能夠通過視(shi)頻畫面給出詳細的(de)榴蓮挑(tiao)選建議，例如根據果(guo)殼(ke)上刺的(de)特征進行判斷，推測果(guo)肉的(de)成熟度。這為像挑(tiao)選榴蓮這類(lei)需要眼力和經驗(yan)的(de)場景，提供了出人意料的(de)AI輔助。
AI和人(ren)類交(jiao)互的方式愈發多樣，也(ye)變得越來越有趣。更多關于豆包(bao)的新功(gong)能(neng)，用戶可以自行探(tan)索。
