智東西（公眾號：zhidxcom）
作者 | 夏舍予
編輯 | 徐珊
智東西8月23日消(xiao)息(xi)，根據外媒Tech Xplore報道，加(jia)州大學伯克利分(fen)校的研究人(ren)員開發(fa)了一種分(fen)層強(qiang)化學習框(kuang)(kuang)架（a hierarchical reinforcement learning framework ），該框(kuang)(kuang)架可以提高四(si)足機器(qi)人(ren)足球射門(men)的精準度。目前中國機器(qi)人(ren)初創(chuang)企業(ye)宇樹科技(ji)的機器(qi)狗Unitree A1已經應用了該技(ji)術。
李(li)中宇（音(yin)譯(yi)）是該項(xiang)目的(de)(de)研究人(ren)員(yuan)之一，他說：“四(si)足(zu)機器人(ren)是仿(fang)造人(ren)類(lei)(lei)的(de)(de)腿建(jian)造的(de)(de)，人(ren)類(lei)(lei)的(de)(de)腿不僅可以運動，還能踢足(zu)球(qiu)。我們希望(wang)四(si)足(zu)機器人(ren)也能獲得踢足(zu)球(qiu)的(de)(de)能力”
一、先跟蹤，后規劃，分層框架能讓機器狗精準射門
近(jin)年來，技(ji)術的(de)進步為機器(qi)人帶來了更可靠的(de)硬件和(he)更先進的(de)控制算法。因(yin)此，現在機器(qi)人有可能處理更加復雜的(de)任務，例(li)如與人類一起踢足球。李忠(zhong)宇和(he)他的(de)團隊開發的(de)分層(ceng)強(qiang)化學習框(kuang)架可以提高四足機器(qi)人足球射門的(de)精準度(du)。
分層強化學習框(kuang)架由兩個(ge)部分組成：運動控制策略（a motion control policy）和運動規劃(hua)策略（a motion planning policy）。前者能夠跟蹤機器人(ren)腿部的任意運動軌(gui)跡，后者能夠在這(zhe)些軌(gui)跡中選擇一個(ge)最佳的路(lu)線(xian)，進而(er)讓機器人(ren)把足球踢進目標位置。
▲記錄機器狗的不同運(yun)動軌(gui)跡
李(li)忠宇說：“為了讓訓練結果更(geng)接近真(zhen)實(shi)情況，我(wo)們會用(yong)真(zhen)實(shi)世界的數(shu)據訓練機器人。”
在訓練過(guo)程(cheng)中(zhong)，李忠(zhong)宇及其團隊(dui)發現，雖然分(fen)層強化學習框架(jia)可以(yi)讓機(ji)器人精準地把足球射向任意目標，但這個任務非常復雜，因為機(ji)器人必須在保(bao)持(chi)平(ping)衡的情況下，擺動它的腿來獲取動力。
二、變形和摩擦，機器人足球技術兩大挑戰
但這其中存(cun)在另一(yi)個問題(ti)：足(zu)球會變(bian)(bian)形。李忠宇說：“機(ji)器人不僅要處理(li)(li)腿(tui)與(yu)可(ke)變(bian)(bian)形足(zu)球之(zhi)間難(nan)以(yi)建模的軟接觸（soft contact）情況，還(huan)要處理(li)(li)球與(yu)地(di)面(mian)之(zhi)間滾動摩擦的不確定性。而我們開發的分(fen)層(ceng)強化(hua)學習框架或許可(ke)以(yi)幫助(zhu)四足(zu)機(ji)器人處理(li)(li)腿(tui)與(yu)軟物體（球、繩子、皮帶、衣服等）之(zhi)間的互動任(ren)務。”
▲機(ji)器(qi)狗正在進行射(she)門(men)測試
機器(qi)(qi)人(ren)界(jie)(jie)有一(yi)個著(zhu)(zhu)名的足(zu)球賽，叫做“機器(qi)(qi)人(ren)世界(jie)(jie)杯”（Robot World Cup），幾十年來，比賽主(zhu)辦方一(yi)直邀請研究(jiu)人(ren)員(yuan)帶著(zhu)(zhu)機器(qi)(qi)人(ren)參與足(zu)球比賽。
李忠宇說(shuo)：“未(wei)來，我們(men)將(jiang)繼續設計其(qi)他分層(ceng)框架及機(ji)器學習模型。我們(men)的終極目(mu)標是希(xi)望開發(fa)出一種可(ke)以與(yu)人(ren)類進行足(zu)球比賽(sai)的四足(zu)機(ji)器人(ren)。”
結語：傳球基礎上再射門，機器狗足球技術逐步提升
其實，機器(qi)狗能踢足球，已經(jing)不是一件新鮮事。2019年，麻省理(li)工學院(yuan)的(de)仿生機器(qi)人(ren)實驗(yan)室就(jiu)研發出了(le)名為迷你獵(lie)豹（Mini Cheetah）的(de)機器(qi)狗，迷你獵(lie)豹就(jiu)已經(jing)實現了(le)傳球功能。
但是，機器(qi)狗(gou)Unitree A1部署的(de)分層強(qiang)化學(xue)習框架能讓(rang)機器(qi)狗(gou)在傳球的(de)基(ji)礎上，提升足球射(she)門的(de)精度。這意(yi)味著(zhu)，機器(qi)狗(gou)在足球方向的(de)技術又有了新的(de)提升。
或許(xu)，在不久的(de)未(wei)來(lai)，我們(men)真的(de)能(neng)夠看到四(si)足(zu)機(ji)器人與人類同臺競(jing)技(ji)的(de)場面，讓我們(men)拭目以(yi)待吧。
來源：Tech Xplore
