一種基于層次強化學(xué)習的機械手魯棒操作

機械手內操作（in-hand manipulation）是指使用單只機械手，通過(guò)移動(dòng)手指、手掌等部位來(lái)改變物體在手中的相對位置和姿態(tài)。這種能力對于機器人實(shí)現人類(lèi)水平的靈巧操作J為重要，因為在日常生活中有很多類(lèi)似的任務(wù)，例如抓取一件工具并調整它在手中的位置和旋轉角度。我們注意到，在實(shí)現復雜的操作目標時(shí)，人在操作物體時(shí)常常改變抓取物體的手指接觸點(diǎn)位置，從而J大的提G物體在手中的位姿范圍。

傳統上，手內操作有兩類(lèi)解決方案，一類(lèi)是基于模型的方法（model-based method），通過(guò)對抓取的動(dòng)力學(xué)建模，來(lái)控制手指移動(dòng)帶動(dòng)物體姿態(tài)。這種辦法好處在于穩定性強，模型簡(jiǎn)單，但問(wèn)題在于難以實(shí)現較長(cháng)和復雜的手內操作流程，特別是目標位姿和起始位姿相距很遠的情況，因為它們很難規劃手指接觸點(diǎn)的移動(dòng)；另一類(lèi)方法是無(wú)模型方法（model-free method），通常使用深度強化學(xué)習的方法。這類(lèi)方法優(yōu)點(diǎn)在于不需要系統模型，但缺點(diǎn)在于穩定性差，并且需要大量數據進(jìn)行訓練。而我們的方法結合了這兩種方法：在底層使用傳統的動(dòng)力學(xué)建模方式保持穩定的抓取和實(shí)現簡(jiǎn)單基本的操作單元，在中層通過(guò)深度強化學(xué)習來(lái)進(jìn)行規劃，選擇不同的操作單元，終實(shí)現穩定且復雜的操作流程。我們的方法結合了兩種方法的優(yōu)點(diǎn)：在底層通過(guò)使用基于模型的操作單元，保證了手指與物體之間持續穩定的抓取；在中層使用強化學(xué)習進(jìn)行規劃，從而實(shí)現較長(cháng)和復雜的手內操作流程。

2.  研究方法

在底層，我們使用柔性力矩控制器定義了三個(gè)操作單元，分別是reposing，sliding和flipping。Reposing是指在不改變手指與物體接觸點(diǎn)的前提下，通過(guò)控制機械手改變物體的位姿；sliding是指在不改變物體位姿的前提下，沿著(zhù)物體滑動(dòng)指尖改變接觸點(diǎn)；flipping是指將指頭從一側移動(dòng)到另一側，從而改變抓握方式。在中層，我們使用深度強化學(xué)習網(wǎng)絡(luò )學(xué)習在給定目標位姿下選擇底層操作單元，終形成一條由大量不同操作單元組成的序列，實(shí)現復雜的操作目標。