# 軟體開發紀錄

## 5/20
讀了[四篇](https://isaac-sim.github.io/IsaacLab/main/source/tutorials/00_sim/create_empty.html)IsaacLab文件，了解怎麼開啟模擬器

## 5/21
讀了[兩篇](https://isaac-sim.github.io/IsaacLab/main/source/tutorials/01_assets/run_articulation.html)IsaacLab文件，了解怎麼引入機器人檔案並初始化

## 5/22
讀了[三篇](https://isaac-sim.github.io/IsaacLab/main/source/tutorials/02_scene/create_scene.html)IsaacLab文件，了解如何使用scene.InteractiveScene來建立具有多個資產的場景。也了解如何使用num_envs參數來複製適用於多種環境的場景。
讀[Markov Decision Process (MDP)](https://medium.com/@w696905/%E5%AD%B8%E7%BF%92%E7%AD%86%E8%A8%98-markov-decision-process-mdp-a1c56c206b78)相關的文章

## 5/23
讀了[四篇](https://isaac-sim.github.io/IsaacLab/main/source/tutorials/03_envs/create_manager_rl_env.html)IsaacLab有關RL的文件，了解兩種創建並設定RL環境以及GYM的方法。

## 5/24、5/25
寫DIC作業暫休

## 6/9 回歸
[ROS应用之基于 Stable-Baselines3 训练 ROS2 机器人自主导航](https://zhuanlan.zhihu.com/p/27012089540)

### 視覺辨識物件
資料集: [TACO Trash Annotations in Context](http://tacodataset.org/)

[Autonomous Robot Obstacle Avoidance with ROS2](https://github.com/AI-Geniuses/Autonomous-Robot-Obstacle-Avoidance-with-ROS2)
[狗狗跑酷](https://www.youtube.com/watch?v=ZVxg_SS19i0&ab_channel=NewScientist)

## 6/10
1. 把isaac lab 剩下的[文檔](https://isaac-sim.github.io/IsaacLab/main/source/tutorials/03_envs/modify_direct_rl_env.htm)看完
2. 看了[Isaac Lab: Custom Environment Training. A Step-by-Step Guide](https://www.youtube.com/watch?v=o9Bym5mOl2k)
3. 嘗試將Isaac Lab自帶的[宇樹](https://www.unitree.com/cn/)機器狗[A1](https://www.unitree.com/cn/a1)訓練腳本改為我們的dingo版本。
4. 展開```dingo.urdf```中的```xacro```，因為```Isaac sim```不支援讀取
5. 利用```Isaac sim```將urdf檔轉成訓練需要的usd

遇到問題：
1. dingo 的部件命名方式與```isaac```規定的格式不同
解決方法：從urdf檔重新命名部件
2. 讀取不到foot部件
解決方法：尚未解決

## 6/11
1. 解決昨天未解決的讀不到foot問題，透過把連接foot和calf的關節從fix改成continue
2. 問題：計算獎勵函數，權重的時候，出現```nan```，目前推測試是因為把連接foot和calf的關節設成continue導致action space與observation space維度設定錯誤。

## 6/12
從頭開始寫訓練環境

## 6/17
1. 解決上次報告老師提出的問題，將關節控制設成```IdealPDActuator```以符合我們使用的伺服馬達
2. 遇到問題：模擬的時候機器狗被懸吊在空中。
解決方法：在import usdf 的時候要選擇floating base 而不是 fixed base
3. 可以完成正常的一輪訓練，但還沒調整獎勵函數，只能訓練出不會倒的狗
4. 參考```isaac lab```範例的四足機器狗如何設置獎勵函數以及命令
5. 遇到問題：```Contact sensor```配置錯誤

## 6/18
1. 先暫時把所有```Contact sensor```相關的設定移除，移除後可以正常訓練，但是普遍不動，推測是因為少了```feet_air_time```的獎勵，

## 7/10
1. 成功將檔案轉移到win11 RTX5070

## 7/11
1. 增加獎勵函數`base_height()`:

keep_height = RewTerm(
        func=mdp.base_height_l2,
        weight=-0.5,                                       # L2 → 懲罰 => 負權重
        params={
            "asset_cfg": SceneEntityCfg("robot"),
            "target_height": 0.25,
        },
    )

沒有明顯效果，推測是參數錯誤

## 7/15
1. 研究怎麼加入關節限制

## 10/26
1. [你媽抄屌 完整教學](https://www.youtube.com/watch?v=tQziqSx-F80&t=373s)
## 11/03
1. 得到fanfan真傳但打開有問題（似乎是地形問題）
2. 正在嘗試重新用一個