智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影
智(zhi)東(dong)西(xi)5月(yue)31日報道，5月(yue)24日-28日，以(yi)“奇境漫游”為主題(ti)的(de)索尼大型品牌活動“Sony Expo 2023”在上海舉(ju)行。本屆展會上，索尼中國(guo)研究院旗(qi)下多項技術(shu)概念驗(yan)(yan)證結合索尼人(ren)(ren)氣娛(yu)樂IP內(nei)(nei)容的(de)體(ti)驗(yan)(yan)項目悉數亮相(xiang)，包括結合3D內(nei)(nei)容生成和(he)動作捕捉(zhuo)技術(shu)的(de)“虛擬舞蹈實驗(yan)(yan)室(shi)”、可取代人(ren)(ren)力實現機(ji)械臂自動拍攝(she)的(de)“智(zhi)能機(ji)械攝(she)影室(shi)”、以(yi)觸(chu)覺反(fan)饋(kui)技術(shu)助力演(yan)唱會等欣賞體(ti)驗(yan)(yan)的(de)“沉(chen)浸式觸(chu)覺劇場”等。
期(qi)間，索(suo)尼（中(zhong)國）副總裁(cai)、索(suo)尼中(zhong)國研(yan)(yan)究(jiu)院院長(chang)竹中(zhong)幹雄與(yu)智(zhi)東西等媒(mei)體進行深入交流，分享索(suo)尼中(zhong)國研(yan)(yan)究(jiu)院技術研(yan)(yan)發(fa)(fa)的(de)(de)方(fang)向、舉措(cuo)以及(ji)階段性(xing)成(cheng)果(guo)。他談道：“中(zhong)國是一個高(gao)速發(fa)(fa)展和充滿無限(xian)可(ke)能性(xing)的(de)(de)市(shi)場(chang)，并且人才濟(ji)濟(ji)，在(zai)中(zhong)國做研(yan)(yan)發(fa)(fa)能夠更貼近本土的(de)(de)實際需求(qiu)、加快研(yan)(yan)發(fa)(fa)成(cheng)果(guo)的(de)(de)概念驗證，從而推動實際落(luo)地。”
一、強化中國本土產學研合作，已發力AIGC方向，未來關注可持續發展
竹中(zhong)(zhong)幹雄(xiong)說，索尼中(zhong)(zhong)國(guo)(guo)研(yan)究院的(de)使命是“通(tong)過開展對(dui)索尼技術(shu)的(de)應用研(yan)究，為中(zhong)(zhong)國(guo)(guo)社(she)會(hui)和(he)索尼的(de)業務做出貢(gong)獻”，研(yan)發(fa)聚焦(jiao)于三個方(fang)向——娛樂、移動出行和(he)可持續發(fa)展。
索尼(ni)中(zhong)(zhong)國研(yan)究(jiu)院于(yu)2005年在北京(jing)設立(li)了(le)第一個實(shi)(shi)驗(yan)室，最近幾(ji)年又(you)設立(li)了(le)深(shen)圳和(he)上海實(shi)(shi)驗(yan)室，持續加大在中(zhong)(zhong)國的研(yan)發投入(ru)。其(qi)中(zhong)(zhong)，北京(jing)實(shi)(shi)驗(yan)室主(zhu)攻人(ren)(ren)工智能（AI）、無線通信方面(mian)的研(yan)究(jiu)，上海實(shi)(shi)驗(yan)室側重研(yan)究(jiu)3D內容制作，深(shen)圳實(shi)(shi)驗(yan)室則側重于(yu)傳(chuan)感器和(he)機器人(ren)(ren)相關研(yan)發。
從短期來看(kan)，兩到三年(nian)間(jian)，索尼(ni)中國研(yan)究院會(hui)特別聚焦在(zai)中國的(de)娛樂(le)（元宇宙）和(he)移動出(chu)行領域，期待通過索尼(ni)的(de)AI、通信(xin)、傳感、機器人(ren)、3D內容制作等前(qian)端技術，結合(he)索尼(ni)旗下影視(shi)、音樂(le)、動畫、游戲(xi)等豐富的(de)娛樂(le)內容，打造更加多樣和(he)可及的(de)娛樂(le)內容創作和(he)欣賞解決(jue)方案。
竹中幹雄談道，AI內容創作和AI大模型研究是非常重要的前沿(yan)技術，將會給未(wei)來(lai)的互(hu)聯網(wang)帶來(lai)極大沖擊(ji)，索尼中國研究院目(mu)前在AIGC方向發力較多。
從(cong)中(zhong)長期來看，五到(dao)十年間，索(suo)尼中(zhong)國(guo)研(yan)究院希望著眼于可持(chi)續發(fa)展，即利用現有(you)的(de)(de)一些工業互聯網(wang)IoT技(ji)術(shu)、傳感器設備，再結合上索(suo)尼中(zhong)國(guo)研(yan)究院開發(fa)的(de)(de)AI和無(wu)線移動通(tong)信的(de)(de)基礎技(ji)術(shu)，應(ying)用在農業、老齡(ling)化、教育等(deng)一些中(zhong)國(guo)現存的(de)(de)社會課題(ti)領(ling)域，運用索(suo)尼的(de)(de)技(ji)術(shu)在本土找到(dao)合適的(de)(de)合作伙伴，共同開發(fa)相應(ying)的(de)(de)解決(jue)方案(an)，為中(zhong)國(guo)社會的(de)(de)發(fa)展做出(chu)一些貢獻。
▲索尼（中(zhong)(zhong)國）有限公(gong)司副總(zong)裁、索尼中(zhong)(zhong)國研究院院長竹中(zhong)(zhong)幹(gan)雄接受媒(mei)體采訪(fang)
索尼中(zhong)(zhong)國(guo)研(yan)究(jiu)院正在向應(ying)用(yong)型(xing)(xing)研(yan)究(jiu)轉型(xing)(xing)，把基礎技(ji)術(shu)(shu)應(ying)用(yong)到實際(ji)場(chang)景和產品(pin)中(zhong)(zhong)，以其現(xian)有技(ji)術(shu)(shu)再加上其他技(ji)術(shu)(shu)進(jin)(jin)行一(yi)些適合(he)中(zhong)(zhong)國(guo)國(guo)情的(de)(de)PoC驗證，并會面向特定應(ying)用(yong)領域，在中(zhong)(zhong)國(guo)尋找合(he)適的(de)(de)產學研(yan)合(he)作(zuo)伙伴來共(gong)同進(jin)(jin)行研(yan)究(jiu)和開發。
竹中(zhong)(zhong)幹雄告訴智東西，通過與(yu)合作(zuo)(zuo)伙伴一起共同(tong)(tong)(tong)研(yan)究(jiu)(jiu)(jiu)開發(fa)(fa)新的(de)解決方案和新的(de)應用，能(neng)夠改(gai)進索(suo)(suo)尼(ni)中(zhong)(zhong)國(guo)(guo)研(yan)究(jiu)(jiu)(jiu)院(yuan)的(de)技(ji)術(shu)。總結來(lai)說，基礎技(ji)術(shu)研(yan)究(jiu)(jiu)(jiu)這部(bu)分是由索(suo)(suo)尼(ni)中(zhong)(zhong)國(guo)(guo)研(yan)究(jiu)(jiu)(jiu)院(yuan)獨自完成的(de)，在基礎研(yan)究(jiu)(jiu)(jiu)上面(mian)一層的(de)應用研(yan)究(jiu)(jiu)(jiu)方向，索(suo)(suo)尼(ni)中(zhong)(zhong)國(guo)(guo)研(yan)究(jiu)(jiu)(jiu)院(yuan)希望(wang)能(neng)夠積極(ji)地與(yu)外部(bu)合作(zuo)(zuo)伙伴共同(tong)(tong)(tong)開展(zhan)。在明確想(xiang)要在某個領域(yu)尋找合作(zuo)(zuo)伙伴時，索(suo)(suo)尼(ni)中(zhong)(zhong)國(guo)(guo)研(yan)究(jiu)(jiu)(jiu)院(yuan)會本著互補原則，主動提(ti)出邀(yao)約合作(zuo)(zuo)的(de)提(ti)案，共同(tong)(tong)(tong)在中(zhong)(zhong)國(guo)(guo)推進某一項技(ji)術(shu)的(de)發(fa)(fa)展(zhan)。
二、將關鍵技術與現有產品融合，探索未來娛樂內容創作體驗
在Sony Expo 2023上，索尼(ni)中國研究院以給創作者提(ti)(ti)供更(geng)多創作可能性(xing)和給用戶提(ti)(ti)供多維娛(yu)樂體驗為目(mu)標(biao)帶來了三個主(zhu)題體驗項目(mu)。
這些項目展現(xian)了索(suo)尼(ni)(ni)中(zhong)國(guo)研究(jiu)院開(kai)發的(de)(de)關鍵(jian)技(ji)術與現(xian)有產品的(de)(de)融合與協(xie)同(tong)。其展臺(tai)的(de)(de)體(ti)驗內(nei)容和(he)空間展示(shi)由索(suo)尼(ni)(ni)中(zhong)國(guo)設計(ji)中(zhong)心(xin)統籌設計(ji)開(kai)發，整個展臺(tai)是索(suo)尼(ni)(ni)設計(ji)理念、前端技(ji)術、娛樂IP的(de)(de)一次融合和(he)展示(shi)，是索(suo)尼(ni)(ni)對未來娛樂內(nei)容創作和(he)體(ti)驗的(de)(de)思考(kao)成果(guo)。
▲索尼中國研究(jiu)院(yuan)Sony Expo 2023展臺全貌
（1）“虛擬舞蹈實驗室”體驗區：參觀者可以先(xian)進入綠幕拍攝區，拍下自(zi)己的(de)(de)真實三維形(xing)象(xiang)，然(ran)后(hou)佩(pei)戴(dai)索(suo)尼的(de)(de)輕量級動作捕捉(zhuo)設(she)備，跟著索(suo)尼大屏電視(shi)上(shang)(shang)的(de)(de)RAYNOS-chan卡(ka)通人物形(xing)象(xiang)簡單舞動，記錄下自(zi)己的(de)(de)動作數據(ju)，經過索(suo)尼的(de)(de)系統生(sheng)成加工(gong)后(hou)，就(jiu)可以在(zai)索(suo)尼的(de)(de)空間現實顯示屏上(shang)(shang)裸(luo)眼欣賞到自(zi)己的(de)(de)三維形(xing)象(xiang)在(zai)3D空間中跳舞。
竹中幹(gan)雄談(tan)道，這個(ge)項目用(yong)到(dao)了輕量級動作捕(bu)捉(zhuo)系統(tong)mocopi、空間(jian)現實(shi)顯示設備Spatial Reality Display兩(liang)個(ge)既有產品，與自由(you)視點體積捕(bu)捉(zhuo)拍攝技術（FVV）相結(jie)合，瞬間(jian)就能生成3D人(ren)物，從(cong)而(er)創造(zao)一種全新的(de)娛樂體驗。索尼中國研究院會提出各(ge)種新的(de)應用(yong)方法提案，然后進行(xing)實(shi)驗價值驗證。
該項技術已經于索尼(ni)在(zai)華的首個黑彩晶虛擬制(zhi)作影棚開始了概念驗證實驗，將有望幫助(zhu)內容創作者甚至普通用戶以更(geng)輕量級、更(geng)可(ke)及的方(fang)式創造虛擬3D內容，將現實真實世界映射到元宇宙中。
（2）“智能機械攝影室”體驗區：參(can)(can)觀者可在一個由(you)索尼(ni)虛(xu)擬制作(zuo)技術打造出(chu)的《尼(ni)爾：機械紀元》游(you)戲場景(jing)中近距離接觸游(you)戲主角尤爾哈B型二號（YoRHa No.2 Type B）。選好游(you)戲關卡背景(jing)后，拍攝機器人(ren)能(neng)夠自動(dong)追蹤并記錄下(xia)參(can)(can)觀者與尤爾哈的合照影像，并支持免費下(xia)載領取電子照片留念(nian)。
這是索(suo)尼中國研究(jiu)院(yuan)(yuan)探(tan)索(suo)的(de)機(ji)械臂(bei)在(zai)娛樂場景的(de)用(yong)例(li)，也是全場最大(da)的(de)一個(ge)體驗區。拍(pai)攝(she)機(ji)器(qi)人可智(zhi)能(neng)化的(de)完成(cheng)追(zhui)蹤、對焦(jiao)、構(gou)圖(tu)、拍(pai)攝(she)的(de)功能(neng)，提供穩定的(de)拍(pai)攝(she)質(zhi)量，極大(da)節省人力。未來，索(suo)尼中國研究(jiu)院(yuan)(yuan)將進一步(bu)在(zai)該(gai)概念驗證中加(jia)入可實(shi)時移(yi)動的(de)中小(xiao)(xiao)屏背景，打造更加(jia)輕量級，小(xiao)(xiao)面積(ji)空間可實(shi)現的(de)虛擬(ni)制作解決方案。
▲在“智(zhi)能機械攝影室”體(ti)驗區，機器人(ren)正(zheng)在給體(ti)驗者(zhe)拍照
（3）“沉浸式觸覺劇場”：參(can)觀(guan)者可以站上(shang)特制的(de)(de)地板區(qu)域，觀(guan)看電視中(zhong)(zhong)索尼(ni)音(yin)樂旗下藝人(ren)LiSA演唱(chang)會(hui)的(de)(de)精彩內容。地板上(shang)搭載了索尼(ni)的(de)(de)觸覺反饋(kui)技術，使得參(can)觀(guan)者能與LiSA的(de)(de)歌(ge)聲同(tong)(tong)頻共(gong)振，通(tong)過不同(tong)(tong)波(bo)形的(de)(de)震(zhen)動效果感受演唱(chang)會(hui)中(zhong)(zhong)的(de)(de)高潮起伏，實現360音(yin)頻、視頻、觸感多(duo)維一體(ti)的(de)(de)沉浸式娛樂體(ti)驗。
目前，觸(chu)覺反饋(kui)技(ji)術已(yi)應用于索尼PlayStation 5游戲機(ji)(ji)的(de)DualSense手(shou)柄、索尼Xperia智(zhi)能手(shou)機(ji)(ji)的(de)部分型號(hao)中。竹中幹(gan)雄說(shuo)，索尼中國研究院考慮將這一技(ji)術應用于元宇宙空(kong)間(jian)中，尤其(qi)是在大(da)型娛樂、體驗型設施(shi)的(de)應用，提供大(da)型空(kong)間(jian)的(de)沉浸(jin)式娛樂解決方案，現在已(yi)與國內部分合作伙伴在合作洽談中。
▲索尼中國研(yan)究院(yuan)Sony Expo 2023展臺全(quan)貌
結語：技術研發創新是根本基石
索尼中國研究(jiu)院在華領銜的(de)首次出展，旨(zhi)在對外溝(gou)通(tong)和交(jiao)流索尼在華技術研發舉措及階(jie)段(duan)性成(cheng)果，進一(yi)步貼(tie)近本土創意娛(yu)樂(le)社(she)群(qun)，攜手更多優秀合作伙伴共同(tong)進行新時(shi)代下新應用場景的(de)探索與實踐。
竹中(zhong)幹雄說(shuo)，多元(yuan)化(hua)的(de)業務(wu)是索(suo)尼(ni)獨(du)特的(de)優(you)勢，而(er)技術研(yan)發(fa)創新是根本的(de)基(ji)石，立足長遠，索(suo)尼(ni)中(zhong)國(guo)研(yan)究院關注的(de)領域將更(geng)為廣泛，如可持續發(fa)展等(deng)，會進一步開放對外交流，強化(hua)中(zhong)國(guo)本土(tu)的(de)產學研(yan)合作(zuo)，以期(qi)更(geng)加(jia)融入和貢獻于中(zhong)國(guo)的(de)產業升級和社會發(fa)展。
