但可能打不過公園里的老大爺？

巴黎奧運(yùn)會正在如火如荼地進(jìn)行中，乒乓球項(xiàng)目備受關(guān)注。與此同時(shí)，機(jī)器人打乒乓球也取得了新突破。

剛剛，DeepMind 提出了第一個(gè)在競技乒乓球比賽中達(dá)到人類業(yè)余選手水平的學(xué)習(xí)型機(jī)器人智能體。

論文地址：https://arxiv.org/pdf/2408.03906

DeepMind 這個(gè)機(jī)器人打乒乓球什么水平呢？大概和人類業(yè)余選手不相上下：

正手反手都會：

對手采用多種打法，該機(jī)器人也能招架得?。?/p>

接不同旋轉(zhuǎn)的發(fā)球：

不過，比賽激烈程度似乎不如公園老大爺對戰(zhàn)。

對機(jī)器人來說，乒乓球運(yùn)動(dòng)需要掌握復(fù)雜的低水平技能和策略性玩法，需要長期訓(xùn)練。DeepMind 認(rèn)為戰(zhàn)略上次優(yōu)但可以熟練地執(zhí)行低水平技能可能是更好的選擇。這使乒乓球與國際象棋、圍棋等純粹的戰(zhàn)略游戲區(qū)分開來。

因此，乒乓球是提升機(jī)器人能力的一個(gè)有價(jià)值的基準(zhǔn)，包括高速運(yùn)動(dòng)、實(shí)時(shí)精確和戰(zhàn)略決策、系統(tǒng)設(shè)計(jì)以及與人類對手直接競爭。

對于這一點(diǎn)，Google DeepMind 首席科學(xué)家稱贊道：「乒乓球機(jī)器人將有助于我們解決高速控制和感知問題?！?/p>

該研究進(jìn)行了 29 場機(jī)器人與人類的乒乓球比賽，其中機(jī)器人獲勝 45% (13/29)。所有人類選手都是機(jī)器人未見過的玩家，從初學(xué)者到錦標(biāo)賽選手能力不等。

雖然該機(jī)器人輸?shù)袅怂信c最高級別玩家的比賽，但它贏得了 100% 的與初學(xué)者的比賽，在與中級選手的對戰(zhàn)中贏得了 55% 的比賽，展現(xiàn)出人類業(yè)余選手的水平。

總的來說，該研究的貢獻(xiàn)包括：

1. 提出一個(gè)分層和模塊化的策略架構(gòu)，其中包括：

2. 低級控制器及其詳細(xì)的技能描述器，這些描述器對智能體的能力進(jìn)行建模并有助于彌合模擬與真實(shí)的差距；

3. 選擇低級技能的高級控制器。

4. 實(shí)現(xiàn)零樣本模擬到真實(shí)的技術(shù)，包括定義基于現(xiàn)實(shí)世界的任務(wù)分布的迭代方法，并定義自動(dòng)課程（automatic curriculum）。

5. 實(shí)時(shí)適應(yīng)未見過的對手。

方法介紹

該智能體由一個(gè)低級技能庫和一個(gè)高級控制器組成。低級技能庫專注于乒乓球的某個(gè)特定方面，例如正手上旋球、反手瞄準(zhǔn)或正手發(fā)球。除了包含訓(xùn)練策略，該研究還在線下和線上收集和存儲有關(guān)每個(gè)低級技能的優(yōu)勢、劣勢和局限性的信息。而負(fù)責(zé)協(xié)調(diào)低級技能的高級控制器會根據(jù)當(dāng)前游戲統(tǒng)計(jì)數(shù)據(jù)、技能描述選擇最佳技能。

此外，該研究還收集了少量的人類和人類對打的比賽數(shù)據(jù)，作為初始任務(wù)條件的種子，數(shù)據(jù)集包括位置、速度和旋轉(zhuǎn)的信息。然后使用強(qiáng)化學(xué)習(xí)在模擬環(huán)境中訓(xùn)練智能體， 并采用一些現(xiàn)有技術(shù)，將策略無縫部署到真實(shí)硬件中。?

該智能體與人類一起對打以生成更多訓(xùn)練數(shù)據(jù)，隨著機(jī)器人的持續(xù)學(xué)習(xí)，游戲標(biāo)準(zhǔn)變得越來越復(fù)雜，以此讓智能體學(xué)習(xí)越來越復(fù)雜的動(dòng)作。這種混合的「模擬 - 現(xiàn)實(shí)」循環(huán)創(chuàng)建了一個(gè)自動(dòng)教學(xué)，使機(jī)器人的技能隨著時(shí)間的推移不斷提高。?

分層控制

分層控制主要包含以下部分：

• 乒乓球打法：高級控制器（HLC，high-level controller）首先決定使用哪種打法（正手還是反手）；

• 調(diào)整：根據(jù)與對手比賽中的統(tǒng)計(jì)數(shù)據(jù)，在線維護(hù)每個(gè) HLC 的偏好（H 值）；

• 選擇最有效的技能：HLC 根據(jù)調(diào)整后的 H 值對入圍的 LLC 進(jìn)行抽樣；

• 更新：H 值和對手統(tǒng)計(jì)數(shù)據(jù)會持續(xù)更新，直至比賽結(jié)束。

結(jié)果

研究者將該智能體與 29 名不同水平的乒乓選手進(jìn)行了對比，選手包括初學(xué)者、中級、高級和高級 + 技能。人類選手按照標(biāo)準(zhǔn)乒乓球規(guī)則與機(jī)器人進(jìn)行了三場比賽，但由于機(jī)器人無法發(fā)球，因此規(guī)則稍作修改。

面對所有對手，機(jī)器人贏得了 45% 的比賽（match）和 46% 的單局勝利（game）。按照技能水平細(xì)分，機(jī)器人贏得了與初學(xué)者的所有比賽，輸?shù)袅伺c高級和高級 + 選手的所有比賽，贏得了 55% 與中級選手的比賽。這表明該智能體在乒乓球回合中達(dá)到了中級人類選手的水平。?

機(jī)器人打不過高級玩家的原因在于物理和技術(shù)的限制，包括反應(yīng)速度，相機(jī)感應(yīng)能力，旋轉(zhuǎn)處理等，這是很難在模擬環(huán)境中準(zhǔn)確建模的。

與機(jī)器人對打，也很吸引人

研究參與者表示，他們非常享受與機(jī)器人一起對打，并在「有趣」和「吸引人」方面給予了機(jī)器人很高的評價(jià)。他們也一致表示「非常愿意」再次與機(jī)器人對打。在自由時(shí)間里，他們平均在 5 分鐘的時(shí)間里與機(jī)器人玩了 4 分 06 秒。

機(jī)器人不擅長下旋球

技能最好的參與者提到，機(jī)器人不擅長處理下旋。為了測試這一觀察結(jié)果，研究人員根據(jù)球的旋轉(zhuǎn)繪制了機(jī)器人的著陸率，根據(jù)結(jié)果可以看到，機(jī)器人在面對更多的下旋球時(shí)，著陸率大幅下降。這一缺陷部分是由于機(jī)器人在處理低球時(shí)，為了避免與桌子碰撞導(dǎo)致的，其次是實(shí)時(shí)確定球的旋轉(zhuǎn)確實(shí)很難。

^{參考鏈接：}

^{https://sites.google.com/view/competitive-robot-table-tennis/home?utm_source&utm_medium&utm_campaign&utm_content&pli=1}

以上是DeepMind機(jī)器人打乒乓球，正手、反手溜到飛起，全勝人類初學(xué)者的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！