---
# System prepended metadata

title: '[研究日誌0312] Imitation Learning 模仿學習DAY2'
tags: [研究日誌]

---

# [研究日誌] Imitation Learning 模仿學習DAY2

# 前言
2025/03/12 11：01
昨日結束在IL的初步理解及範例程式後，今天來展示階段成果。分析實驗問題以及嘗試修改的方向

----------------------
# Imitation Learning 範例程式結果
 我跟著以下網址來進行模擬學習的訓練準備。
https://isaac-sim.github.io/IsaacLab/main/source/overview/teleop_imitation.html
昨天有提到我先蒐集專家數據（操控手臂來演示給機器看）and標注，接著使用Isaac mimic來讓AI擴增專家數據

目前配置
* 現有的專家數據10條
* 對軌跡進行微調（改變起點、加上隨機誤差、改變時間步長）
* 生成 100 條新的示範數據

接著使用行為克隆 (Behavior Cloning, BC) 算法，它使用監督學習（Supervised Learning）直接訓練 AI，故沒有獎勵函數，讓 AI 直接模仿人類或專家的示範行為。

結果顯示訓練的並不好，展示結果有晃動及無法完成夾取的問題。

目前問題
- [ ] BC訓練結果無法成功（成功率0％）
- [x] 會有梯度爆炸問題（4000-6000）

```
第二次配置則沒有這個問題
```

-----------
# 結果分析/可改進方向
1. 專家數據
建議增加專家數據，但會造成訓練成本上升（要操控手臂30＋）次來增加多樣性，但研究目標希望以最少的展示來達成夾取。

2. Isaac mimic 
增加mimic數據量加入隨機擴增、Domain Randomization等，增加到500條。


3. BC算法
改善以上兩個變因，我會再實驗一次，預期讓BC算出來的成功率先到達50％，在透過RL強化。


4. 使用其他算法（EX:RLfd（Reinforcement Learning from Demonstrations）)Dagger等
----------
# 小結
第二次配置
* 現有專家數據10條
* 生成500＋mimic數據
* 使用BC算法training 1000次epoch
**最終達成20-30％成功率（尚未多次驗證）**

下週工作
- [ ] 想知道多不同次數的專家數據是否影響成功率，以及領域隨機化是否能增加泛用性
- [ ] 先用程式去抓物體位置，軌跡導航抓取位置 等待spaceMouse
- [ ] 想知道hdf5及內部code說明了什麼/紀錄了什麼
- [ ] PPT or Notion影片呈現

先嘗試BC無reward提昇成功率
最後再試試RL

