智東西10月20日消息，近日，美國論文預(yù)印本發(fā)布平臺arXiv收錄了一篇關(guān)于四足機(jī)器人攔截足球的論文，美國加州大學(xué)伯克利分校等學(xué)校的研究人員為名叫迷你獵豹的四足機(jī)器人部署了一個強(qiáng)化學(xué)習(xí)（Reinforcement Learning）框架，能夠讓它完成足球守門任務(wù)。該四足機(jī)器人對隨機(jī)射門的成功攔截率高達(dá)87.5%，而人類足球運(yùn)動員的平均成功率為69%。

(資料圖片)

▲四足機(jī)器人攔截足球?qū)嶒?yàn)

這項(xiàng)研究通過使用分層次強(qiáng)化學(xué)習(xí)框架，在四足機(jī)器人上結(jié)合了高動態(tài)運(yùn)動和精確的物體感知方法。四足機(jī)器人在進(jìn)行運(yùn)動時，能用其末端執(zhí)行器跟蹤自身運(yùn)動軌跡，并完成一系列的截球動作。

研究人員在麻省理工學(xué)院實(shí)驗(yàn)室進(jìn)行了攔截足球的相關(guān)實(shí)驗(yàn)，并發(fā)表了名為《Creating a Dynamic Quadrupedal Robotic Goalkeeper with Reinforcement Learning（使用強(qiáng)化學(xué)習(xí)創(chuàng)建動態(tài)四足機(jī)器人守門員）》的論文，研究實(shí)驗(yàn)展示了四足機(jī)器人能夠有效地攔截快速移動的球。

▲論文鏈接：https://arxiv.org/pdf/2210.04435.pdf

01.四足機(jī)器人成為足球守門員，要分“三步走”

如何讓四足機(jī)器人成為足球守門員，這個問題要分三個步驟解決：操縱四足機(jī)器人攔截快速移動物體、控制四足機(jī)器人進(jìn)行高動態(tài)運(yùn)動，以及擊中高速運(yùn)動的足球。

▲四足機(jī)器人攔截足球過程

1、四足機(jī)器人對快速移動物體的捕捉、打擊

在機(jī)器人操縱領(lǐng)域，人們已經(jīng)廣泛地研究了如何讓機(jī)器人捕捉或擊打快速移動的物體這一課題。球是比較常見的用于研究的快速移動物體。

處理機(jī)器人接球任務(wù)有兩種常見方法，一是估計球的位置和速度，利用球的動力學(xué)模型預(yù)測球的軌跡，并根據(jù)機(jī)器人的動力學(xué)模型或無模型強(qiáng)化學(xué)習(xí)框架生成機(jī)器人末端執(zhí)行器的軌跡，讓機(jī)器人在預(yù)測的攔截點(diǎn)接球。另一種方法是在模擬中學(xué)習(xí)端到端的策略，研究人員直接輸入球的預(yù)測軌跡圖像，然后在模擬中進(jìn)行微調(diào)。

然而，由于四足機(jī)器人動力學(xué)模型非常復(fù)雜，以往基于模型的方法需要對球和機(jī)器人進(jìn)行精確建模，這種方法難以在四足機(jī)器人上應(yīng)用，而無模型強(qiáng)化學(xué)習(xí)框架方法，還沒有被應(yīng)用于控制四足機(jī)器人運(yùn)動的先例。

2、四足機(jī)器人通過高動態(tài)動作攔截足球

近幾年來，因?yàn)樗淖銠C(jī)器人的硬件和控制算法有了長足的進(jìn)步，四足機(jī)器人能夠在現(xiàn)實(shí)世界中完成高動態(tài)的運(yùn)動，如跳躍或跑步。實(shí)現(xiàn)這一目標(biāo)共有兩種方法：

一種方法是利用四足機(jī)器人動力學(xué)模型的優(yōu)化控制框架，這些模型可以在四足機(jī)器人的全部模型上進(jìn)行離線優(yōu)化，也可以在其簡化模型上進(jìn)行在線部署。

另一種方法是利用無模型強(qiáng)化學(xué)習(xí)框架，先在模擬中通過跟蹤和錯誤訓(xùn)練四足機(jī)器人，然后把其學(xué)習(xí)經(jīng)驗(yàn)轉(zhuǎn)移到真實(shí)的四足機(jī)器人上。

然而，以前的研究大多只關(guān)注特定的動態(tài)運(yùn)動技能，比如跑步、跳躍等，而沒有讓四足機(jī)器人在學(xué)習(xí)技能的基礎(chǔ)上，完成更豐富的動作，如在跟蹤不同的擺腿軌跡時完成跳躍，并攔截一個球。

▲四足機(jī)器人守門員防守人類進(jìn)攻

3、四足機(jī)器人能在三維和高速運(yùn)動下完成攔截

開發(fā)未來能與人類在足球比賽中競爭的機(jī)器人一直是機(jī)器人研究學(xué)界的一個長久目標(biāo)，在設(shè)計機(jī)器人足球守門員方面，有一些研究是在工程學(xué)的輪式機(jī)器人的基礎(chǔ)之上進(jìn)行開發(fā)。

以前關(guān)于四足機(jī)器人的研究，大多只考慮讓它們在二維平面內(nèi)移動并攔截從地面上低速滾動的球，而沒有考慮讓四足機(jī)器人在三維中和高速運(yùn)動情況下去攔截球。

最近，利用強(qiáng)化學(xué)習(xí)框架，一個四足機(jī)器人展示了在低速行走時將足球運(yùn)往球門的能力，另一個四足機(jī)器人能在站立時用單一的射擊技能，將足球精確地射向一個隨機(jī)的給定目標(biāo)。然而，四足機(jī)器人進(jìn)行多種高動態(tài)運(yùn)動技能，去精確踢快速移動的足球還沒有得到證明。

02.強(qiáng)化學(xué)習(xí)框架，讓四足機(jī)器人攔截成功率高達(dá)87.5%

研究實(shí)驗(yàn)是在麻省理工學(xué)院的迷你獵豹四足機(jī)器人上進(jìn)行的。它重9公斤，高0.4米，有12個驅(qū)動電機(jī)和6個自由度的浮動底座，能夠進(jìn)行平移、滾動和俯仰等動作。

▲迷你獵豹四足機(jī)器人

以往的四足機(jī)器人的強(qiáng)度學(xué)習(xí)框架主要集中在低層次的運(yùn)動控制研究，如計算行走速度或模仿參照物運(yùn)動等，沒有將學(xué)到的運(yùn)動技能擴(kuò)展到更高層次的任務(wù)，比如讓四足機(jī)器人通過敏捷的動作去精確攔截快速移動的足球。

▲四足機(jī)器人攔截足球?qū)嶒?yàn)設(shè)計

研究人員在論文中寫道：“將低層次運(yùn)動控制和高層次精確攔截結(jié)合起來，這很有挑戰(zhàn)性，單獨(dú)研究其中一種就已經(jīng)很困難了。”

為了解決上述問題，研究人員提出了一個無模型的強(qiáng)化學(xué)習(xí)框架，將四足機(jī)器人動態(tài)的腿部運(yùn)動和快速、精確的部分手臂操縱結(jié)合起來，以應(yīng)對飛來的球。

▲強(qiáng)化學(xué)習(xí)框架

該框架共包含兩個部分，第一部分是低層次的運(yùn)動控制，包含了跳躍、俯沖和側(cè)身等不同運(yùn)動技能的多種控制策略，這些策略可以覆蓋球門的不同區(qū)域。每個控制策略都能使四足機(jī)器人在執(zhí)行一種特定的運(yùn)動技能時，跟蹤末端效應(yīng)器，記錄其運(yùn)動軌跡。

第二部分是一個高級規(guī)劃器，它能夠確定末端效應(yīng)器軌跡和決定所需的技能，從而攔截飛向球門不同區(qū)域的球。

在麻省理工學(xué)院的實(shí)驗(yàn)證明，多技能強(qiáng)化學(xué)習(xí)框架明顯優(yōu)于以往基于模型的計劃器，并且能夠充分地利用每種技能的特殊性。

分層次的強(qiáng)化學(xué)習(xí)框架可以直接將四足機(jī)器人在模擬中學(xué)習(xí)到的動態(tài)動作和守門員的技能轉(zhuǎn)移到現(xiàn)實(shí)中的四足機(jī)器人上，實(shí)驗(yàn)中的四足機(jī)器人對隨機(jī)射門的成功攔截率為87.5%，而人類足球運(yùn)動員的平均成功率為69%。

03.多技能組合，促四足機(jī)器人快速動態(tài)反應(yīng)

因?yàn)榍虻膹椀揽倳r間通常在1秒以內(nèi)，所以四足機(jī)器人需要快速反應(yīng)。從球門中間的初始站立姿勢開始，四足機(jī)器人需要執(zhí)行非常動態(tài)的機(jī)動動作來攔截球。受到人類守門員的啟發(fā)，研究人員提出了一套攔截飛向球門不同區(qū)域的球的技能——側(cè)身、俯沖和跳躍。

▲側(cè)身、俯沖和跳躍示意圖

1、快速側(cè)部攔截，無法覆蓋球門下角、上部區(qū)域

當(dāng)球在地上滾動或以低角度飛向球門時，四足機(jī)器人采取快速側(cè)步，在橫向方向上攔截球。在只需要邁開較小步幅時，四足機(jī)器人可能只需要擺動起一條前腿，而其余的腿可以使其保持在站立狀態(tài)。但對于較大的步幅，它需要進(jìn)行一個小的側(cè)跳。然而，側(cè)跳技能可能無法覆蓋離四足機(jī)器人較遠(yuǎn)的區(qū)域，如球門的下角或上部區(qū)域。

▲四足機(jī)器人在使用側(cè)身技能

2、俯沖技能一氣呵成，轉(zhuǎn)移重心、轉(zhuǎn)動身體、跳躍夠球

俯沖技能是基于四足跳躍之上的運(yùn)動，它使得四足機(jī)器人可以攔截更大的球門面積。在使用俯沖技能時，四足機(jī)器人應(yīng)首先將身體重心移至后腿上，然后朝著球的運(yùn)動方向轉(zhuǎn)動身體，在跳躍的同時伸出兩條前腿去夠球，最后落地。在俯沖過程中，它的后腿是否離開地面，取決于它需要走多遠(yuǎn)。俯沖技能使四足機(jī)器人能夠迅速封鎖球門的下角。

▲四足機(jī)器人在使用俯沖技能

3、跳躍攔截高處足球，還能穩(wěn)定降落

跳躍與俯沖技能類似，跳躍技能也要求四足機(jī)器人以最快的速度抬起身體并向上擺動前腿。但在跳躍時，它還需要將其前腿伸得更高，以便攔截在球門上部區(qū)域的球。為了進(jìn)行這種動態(tài)跳躍，四足機(jī)器人需要用它的后腿將身體推離地面，以便讓它的前腿夠到更高區(qū)域。在球被攔截后，四足機(jī)器人需要在空中重新調(diào)整自己，以達(dá)到更穩(wěn)定的降落姿勢。

▲四足機(jī)器人在使用跳躍技能

04.結(jié)語：強(qiáng)化學(xué)習(xí)框架未來，可應(yīng)用于更多場景

近年來，機(jī)器人應(yīng)用研究在不斷擴(kuò)展，本篇論文為機(jī)器人研究學(xué)界提供了一個新的四足機(jī)器人研究方向，將分層次的強(qiáng)化學(xué)習(xí)框架應(yīng)用到驅(qū)動控制方面，或許對未來四足機(jī)器人的高級規(guī)劃控制產(chǎn)生重要意義。

此外，在這項(xiàng)研究中，研究人員只關(guān)注了守門員的工作，但論文所提出的框架可以擴(kuò)展到其他的場景，比如說多技能足球等。如果未來該強(qiáng)化學(xué)習(xí)模型能夠成功應(yīng)用，讓機(jī)器人與人類運(yùn)動員進(jìn)行足球比賽的想法或許真的能夠?qū)崿F(xiàn)。

來源：TechCrunch、arXiv

本文來自微信公眾號 “智東西”（ID：zhidxcom），作者：劉柏涵，36氪經(jīng)授權(quán)發(fā)布。