# Chatbot-Mario
###### tags: `Chatbot` `rteslab`

---
# Demo
## Epoch=1300
### 特徵
- 訓練時長
- 4小時
- 行為
- 往前不斷跳躍
- 死亡原因
- 兩水管間香菇殺死
- 第一個落穴
### 影片
{%youtube qb8lVm5KaoA %}
[demo_1350 drive backup](https://drive.google.com/file/d/1yk1kuJ51_0753jeFgaNJAP04BYmQx9-Y/view?usp=sharing)

## Epoch=3450
### 特徵
- 訓練時長
- 20小時
- 行為
- 往前與跳躍
- 遇到高障礙物
- 嘗試往後走
- 死亡地點
- 兩水管間香菇
- 三問號方塊處
- 因往後走而超時
### 影片
{%youtube AsJTPO2__0s %}
[demo_3450 drive backup](https://drive.google.com/file/d/1aoB5eLGoEf_y6kQe8PS9NIgUiKGcHj5B/view?usp=sharing)

## Epoch=5200
### 特徵
- 訓練時長
- 39小時
- 行為
- 往前與跳躍（跳躍次數減少）
- 遇到高障礙物
- 向前或向後跳躍
- 走到階梯一半向前卡住
- 開始能通關
- 通關率約三~四成
- 最高分分數表現比Epoch=7200好
- 推測原因為卡住時較容易嘗試跳躍
- 死亡地點
- 直接撞上前面的香菇（因為跳躍行為減少）
- 卡在梯形高牆而超時
- 在階梯一半卡住超時
### 影片
{%youtube dhyXMsgkW0k %}
[demo_5200 drive backup](https://drive.google.com/file/d/1uHFGGIqo1wQONI3iisYkfGBTV4irh3Fy/view?usp=sharing)
>(目前最高分：4054)
>
{%youtube zH2k8h2-kQY %}
[demo_5200_2 drive backup](https://drive.google.com/file/d/13Z1UH1Vf8eGumG6rWsdUbW-lX1JsuIsD/view?usp=sharing)

## Epoch=7250
### 特徵
- 訓練時長
- 65小時
- 行為
- 往前有規律的跳
- 遇到高障礙物
- 向前或向後跳躍
- 走到階梯一半/在最後一個階梯前發呆
- 通關率較高
- 通關率約四~五成
- 平均獲得分數較高
- 死亡地點
- 掉進梯形高牆後的落穴
- 在最後的大階梯前發呆超時
- 在第2關的多根柱子卡住超時
### 影片
{%youtube nn6Zfa8rDKQ %}
[demo_7250 drive backup](https://drive.google.com/file/d/1wP0EXT7xBlYwi7hMHj31DhovLmiOKqyP/view?usp=sharing)

---
# 開發筆記
RL
https://drive.google.com/file/d/1Ro5KWjCT8tpu_PXiFhKgLJBLNuBjs2CI/view?usp=sharing
Mario
https://drive.google.com/file/d/1YWfASGiJeFiJGWjEs0O8w0WnlIJ4mxUO/view?usp=sharing
https://drive.google.com/file/d/1wo8q56CEbK-skVGm9ycvHR3Zto6vybQL/view?usp=sharing
## Super Mario 原始碼
https://github.com/jiseongHAN/Super-Mario-RL

## demo
[train結果與影片原檔(以資料夾分類)](https://drive.google.com/drive/folders/1nYrZypTf1FGmV_EU81EhJJUNLDVWnERi?usp=sharing)
- [epoch=1350](https://drive.google.com/file/d/1L2dZxfUvBn3asM9niHjci8UBZL2Io-18/view?usp=sharing)

- [epoch=1350](https://drive.google.com/file/d/1eopskHqHeUTzzR3SKtD0n-Hw71jIxmcH/view?usp=sharing)
- [epoch=5200 通過第1關](https://drive.google.com/file/d/1Avm12Pbyl5UqQQAWR1O6mDGWjTwrEpYc/view?usp=sharing)
- [epoch=5200 (這組有讀到正在寫入檔報錯，但有通關)](https://drive.google.com/file/d/1Hmhu7n1agwYDpYesxyymdYZ49biXtkEc/view?usp=sharing)
- [epoch=5500 (有錄到三次通關)](https://drive.google.com/file/d/1pinvjHVyd_-IYGXkNDKV4elkTf2SmmaG/view?usp=sharing)

1 代 Epoch 約 15~40 秒。
作者做到 7000 Epoch，估算約30~40小時。

log:
https://drive.google.com/file/d/1l3m7pxTUhGMyn81oaEHkE6b15U0mgNsa/view?usp=sharing

### bug 解決筆記
missing mujoco-py
https://blog.csdn.net/jianghao_ava/article/details/80874254

>edia change: please insert the disc labeled 'Ubuntu 20.04.1 LTS _Focal Fossa_ - Release amd64 (20200731)' in the drive '/cdrom/' and press [Enter]
>sudo sed -i '/cdrom/d' /etc/apt/sources.list
>
>https://askubuntu.com/questions/386265/media-change-please-insert-the-disc-labeled-when-trying-to-install-ruby-on-ra

>少了GL/osmesa.h
>sudo apt install libosmesa6-dev

>少了matplotlib
>pip3 install matplotlib

>少了swig
>sudo apt-get update
>sudo apt-get install swig

>少了box2d
>sudo apt-get update -y
>sudo apt-get install -y python-box2d

>少了atari-py
>NameError: name 'cmd' is not defined
>sudo apt-get install cmake
>pip3 install atari-py

---
## 2070S Driver
安裝教學：
https://hackmd.io/@kcchien/BJzHPQdSN?type=view
### STEP 1. 安裝 RTX 2070S GPU 驅動程式

driver版本
https://www.nvidia.com/Download/driverResults.aspx/164073/en-us

查看是否有更新的版本
https://www.nvidia.com/object/unix.html
>這邊選Latest Long Lived Branch Version

連結下載是一個 runfile, 假設工作目錄在~/Downloads，請依照下列指令進行安裝，應該不會出現太大的問題才是。

# 切換到runfile的下載目錄
cd ~/Downloads

# 為 runfile 加上執行權限
chmod +x NVIDIA-Linux-x86_64-410.93.run

# 執行 runfile，跟著步驟一步步完成並重開機
sudo ./NVIDIA-Linux-x86_64-410.93.run

完成驅動程式安裝，並重開機後接著就可以進行 CUDA Toolkit 10.0 的安裝

>bug: AMD random bug
>WARNING: CPU random generator seem to be failing, disabling hardware random number generation
>https://arstechnica.com/gadgets/2019/10/how-a-months-old-amd-microcode-bug-destroyed-my-weekend/
>更新BIOS後解決

### STEP 2. 安裝 CUDA Toolkit 11.1
CUDA版本
https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=2004&target_type=runfilelocal

# 切換到runfile的下載目錄
cd ~/Downloads

# 為 runfile 加上執行權限
chmod +x cuda_10.0.130_410.48_linux.run

# 執行 runfile，跟著步驟一步步完成並重開機
sudo ./cuda_10.0.130_410.48_linux.run

runfile執行完成後，要設定系統變數，這個小細節很重要，如果沒設定，後續手動編譯TensorFlow時，會無法順利完成。

# 打開 .bashrc
vim ~/.bashrc

將這兩行加入 .bashrc 然後存檔

export PATH=/usr/local/cuda-10.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.0/lib64

重新載入

source ~/.bashrc
sudo ldconfig

檢查 CUDA是否順利安裝

nvcc -V

如果有出現下列字樣，表示CUDA Toolkit已經安裝成功了

nvcc: NVIDIA (R) Cuda compiler driver

>bug
>nvidia-drm appears to already be loaded
>https://clay-atlas.com/blog/2020/03/04/nvidia-chinese-note-how-to-disable-drm/
>解決方法 : 停止使用到 GPU 的所有顯示
>關閉所有裝置、並停止載入 Nvidia 驅動程式：
>```
>sudo systemctl isolate multi-user.target
>sudo modprobe -r nvidia-drm
>```
>注意：輸入第1行後會進tty文字介面

### STEP 3. 安裝 cuDNN 8.0.4

如果CUDA都順利安裝完成，那安裝cuDNN就相對簡單多了，同樣也是到官網把套件下載回來即可

https://developer.nvidia.com/rdp/cudnn-download

cuDNN下載時會需要你註冊以及登入

請確認是 CUDA 11.1 的版本，下載紅框中的那三個deb package檔案（版本改為11.1）


安裝指令也相當簡單

sudo dpkg -i libcudnn7.4.2.24-1+cuda10.0_amd64.deb
sudo dpkg -i libcudnn7-dev_7.4.2.24-1+cuda10.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.4.2.24-1+cuda10.0_amd64.deb

到此，算是完成了整個nVIDIA相關的前置作業

>10/21 踩雷
>windows更新driver會連linux的一起動
>解決方式：在linux端重新安裝driver