# CARM Report (請寫中文)
## 一、簡介：
簡單介紹CARM 含一張概念圖
>這是一個以自架車搭載機械手臂的專案，利用不同控制方式進行行走、取物等功能。在這個專案當中，我們使用到四種控制方式，包含運動想像、SSVEP、電腦視覺以及肌電位此四種訊號進行控制。
>
## 二、材料：
**3D列印組件** --- Roy
1. 機械手臂: 3D圖檔參考 [https://github.com/jess-moss/koch-v1-1](https://)
馬達連結1-2/馬達連結2-3/馬達連結3-4/馬達連結4-5/馬達連結5-6/馬達夾具
2. 車子:
底盤前半/底盤後半/鎖附結構/底盤限位結構/支撐柱/上層底盤/馬達底盤/訊號線夾
#### 3D列印件組裝
1. 利用鎖附結構以及螺絲將前後底盤固定
2. 將六根圓空心柱與底盤上的圓筒結構卡緊
3. 將上層底盤六根內柱插進圓空心柱，以固定上下底盤
4. 將馬達底板與機械手臂一同以螺絲與上層底盤固定
*步驟3、4顛倒亦可
5. 將TT馬達鎖附在下方底盤，將馬達轉軸與輪胎配合
**材料&列印設定**（需有圖）--- Roy
1. 3D列印: ELEGOO-Neptune4
溫度設定: 底板: 220°C/噴頭:
* 需進行底板清潔、高度校正
2. 3D列印材料: ELEGOO-PLA-1.75mm-黑色-1kg
3. 非電子/3D零件: 輪胎 4/18650電池 6、電池盒 2/M3螺絲、螺帽
**電子零件**（需有圖）--- Roy
1. 樹梅派5 1
2. TT DC馬達 4
3. Dynamixel XL430-W250-T 2
4. Dynamixel XL330-M288-T 4
5. U2D2 Power Hub Set 1
6. LM2596 DC-DC直流降壓模組 3
7. L298N馬達驅動板 1
8. 鋰電池保護板 2 [參考連結](https://www.taiwaniot.com.tw/product/3%E4%B8%B2-18650-%E9%8B%B0%E9%9B%BB%E6%B1%A0%E4%BF%9D%E8%AD%B7%E6%9D%BF-%E9%98%B2%E9%81%8E%E5%85%85%E9%81%8E%E6%94%BE%E5%B3%B0%E5%80%BC-10a-%E9%81%8E%E6%B5%81%E4%BF%9D%E8%AD%B7/?srsltid=AfmBOopKOFyXvcJ-PCwT3hfLEZA_6s7TzowlYFQ6R8eXaS0CZDMgRyep)
9. 其他: 杜邦線、電線、保險絲
**code 環境 & 套件**
## 三、硬體組裝步驟： --- Stacy
1. 電路圖總覽:
I.下層
II.上層
* 使用無鉛銲錫時，焊接溫度約落於290-350度間
* 目前電池盒為並聯且各自接保護板，但因有保護板激活的需求，疑似無法有效形成並聯，且存在電壓差會導致互相充電的疑慮，此部分仍可進一步商榷
* 電池盒存在自燃的風險，可以進一步商榷原因
* Raspberry pi 有時候接電池盒無法正常開機，原因不明，但請先確認電池盒電壓
2. 保護板電路焊接
* 使用前須使用電池盒進行激活
3.手臂接線
* 手臂之間馬達的接線易有接觸不良的問題，跳TxRx錯誤，請再次將線彼此壓緊
* 在raspberry pi上輸入 ``/dev/ttyUSB*``，用來查詢接口
4. Raspberry pi接線&遠端連線
* 注意:兩台Raspberry pi 各自有pin腳損壞
* 按GPIO的選擇去插入即可，ENA跟ENB須可使用PWM功能
* 因內部系統是Ubuntu，因此無法使用raspberry pi 自己原有的遠端桌面系統，下方系統無法完全同步兩個螢幕，使用前可以先把raspberry pi端登出，讓PC端可以成功顯示所有東西
1. PC Remote Connection Setting
✅ Step 1：Download XFCE Desktop-->you'll be able to open the Xrog mode(log out and choose "Xrog")
```bash
sudo apt update
sudo apt install xfce4 xfce4-goodies -y
```
✅ Step 2：set .xsession as startxfce4
```bash
echo "startxfce4" > ~/.xsession
rm ~/.Xauthority
```
✅ Step 3：reboot xrdp
```bash
sudo systemctl restart xrdp
```
✅ Step 4：From Windows remote
* connection
- use hostname -I to check IP
- 按 Windows 鍵 → 輸入 mstsc → 按 Enter
- 確保在同一個 WiFi
## 四、軟體操作方式：
### (一)CV 資料收取、前處理、模型架構、軟體操作 --- 小沛
#### **CV使用目的**
利用電腦視覺（CV）手勢辨識，透過不同的手勢來對應並控制機械手臂的六個關節。每個關節在進入「微調模式」後，可以透過手勢往左/右的移動來細部調整，以完成抓取物體的動作。
#### **手勢辨識設計**
* 使用 MediaPipe，自動偵測手掌 21 個節點
* 可透過設定「手指彎曲條件」或「節點角度變化」來定義手勢
* 亦可透過「節點座標」來定義手勢
* 可自訂數字手勢、拳頭、與左右移動判斷規則
#### **操作流程**
1. 進入微調模式（手勢解鎖）
* 使用者透過 數字手勢 → 拳頭 → 數字手勢 的順序，觸發指定關節的微調模式
* 範例：要調整 第六關節 → 手比「6」→ 握拳「0」→ 再比「6」，即進入第六關節的微調模式
2. 微調控制方式
* 進入微調模式後，介面會顯示一條「中線區」
* 手勢在中線右側 → 該關節往「正方向」移動
* 手勢在中線左側 → 該關節往「負方向」移動
(備註：正/負方向需依實際機械手臂進行測試，因不同關節正負定義可能不同)
* 測試工具可參考 Dynamixel Wizard 2 https://emanual.robotis.com/docs/en/software/dynamixel/dynamixel_wizard2/
* 簡單demo操作流程影片：https://youtu.be/OinLYT_F9ZI
#### **動作設計（移動幅度）**
* 關節 1、2、4：每秒持續移動 5°
* 關節 3、5：每秒持續移動 15°
* 關節 6（夾爪）：僅有 開/合兩種狀態，每次切換移動 90°
#### **安全機制**
* 每個關節均設有「極限角度」
* 若馬達達到極限角度，會自動停止，避免：過度旋轉造成機構暴衝、拉扯或纏繞電線導致設備損壞
### (二)CGX 資料收取、前處理、模型架構、軟體操作 --- KC
#### **CGX操作手冊**
**1.充電**
充電孔使用micro USB，充電時最左邊顯示紅燈
**2.接線**
使用中，中間顯示綠燈。若顯示黃燈表示電力不足。各接孔標示如圖。我們使用第一、三、四通道。
**3.貼片位置**
reference貼在上臂，ground貼在骨頭處。通道一對應掌長肌、通道三對應橈側伸腕長肌、通道四對應伸指肌。
#### 資料收取
**1.連接設備**
dongle插USB孔，打開CGX Acqusition，在device選取CGX，依序點選connect、start device
接著點選StartLabStreamingLayer(如果需要留下紀錄)
打開LabRecorder，點Update，選取CGX，設定資料夾與檔名，按下Start即開始錄下訊號資料
**2.資料收取流程**
定義八個動作：往左、往右、往上、往下、張開、握拳、彎無名指、伸直拇指。收資料流程如下，放鬆休息10秒，連續動作30秒，重複四輪，每個動作進行一次。最後單獨收放鬆狀態作為baseline。
#### 資料前處理
**1.原始訊號進行濾波**
* 使用band-pass filter保留20~200Hz的訊號
* 使用notch filter去除60Hz的電源訊號
**2.使用baseline計算threshold**
* 先計算訊號envelope
* threshold = envelope.mean + multiplier * envelope.std
* 根據實際情況調整multiplier(建議2~3)
**3.使用滑動窗格偵測有效動作**
* 窗格大小500ms(根據實際情況調整窗格大小)
* 一資料點有兩個以上的通道超過閾值稱為有效資料點(根據實際情況調整要求的通道數)
* 窗格內有40%以上的有效資料點便判定為有效動作(根據實際情況調整判定比例)
* 一位受試者的所有有效動作做標準化
* 將以上資料整理成`(樣本數,通道數,每比樣本資料點數)`的張量輸出
#### 模型架構
**1.訓練模型**
* 使用卷積神經網路(tensorflow)，各通道用 Conv1D 卷積，再拼接
#### 即時偵測
#### 使用目的&手勢分析結果
### (三)OpenBCI 資料收取、前處理、模型架構、軟體操作 --- 小沛
#### **OpenBCI操作手冊**
**1.確保電池有電**
-> 插進充電版中要呈現藍色燈or用三用電錶量電量有達到4.1以上表示ok
下方為充電板的樣子，一邊接typeC的充電線，一邊接電池
**2.確保有電之後將電池插在cyton板子上 開啟側邊的電源 有亮藍燈代表ok**
(目前OpenBCI只有cyton可以用，ganglion壞掉)
-> 接上電源後，在電腦上插dongle，有亮藍燈的話ok，是COM10
**3.接線位置**
接線接一條在BIAS的下方，一條在SRB的下方，其他channel可以自行決定，都要接兩個（正極＋負極）
**4.貼片位置**
BIAS跟SRB要接在手臂上方兩側，至於其他channel要根據做哪些手勢貼相對應的貼片位
* **舉例：左揮右揮**
N1P的兩條接在內側（小拇指那側）前手臂肌肉幅度較大的地方（可以左揮右揮感受一下）， N3P的兩條接在外側（大拇指那側）前手臂肌肉幅度較大的地方（可以左揮右揮感受一下）
**！！！特別注意！！！**
* 接腳接在上方（也就是正極）的貼片位置要貼在接腳接在下方（也就是負極）的上面，兩邊都要一樣，如果正負極位置接反會導致數值不一致，如下圖所示：
 
**5.執行**
執行OpenBCI之前要先開啟openlsl確認資料成功串流後才可執行相關接收訊號的程式碼，當openlsl開啟時要關閉GUI介面，否則會打架
**＃其他注意事項**
* 如果遇到數值太小的奇怪情況一率重新開啟openlsl、執行的程式碼、重插dongle，所有都重新來過，多試幾次有幾次會回到正常值（RMS大於1000以上為正常值，確認數值可以用github中test/SummerIntern_R-main路徑底下see_raw_data.py查看每一秒的數值）
＃github:https://github.com/AS-CITI/SummerIntern_R.git
~ cyton的板子盡量不要離電器用品太近，之前有遇過放在充電器旁邊結果數值過大的問題 ~
* OpenBCI的電池有點難拔，而且滿容易拔壞的，操作的時候要小心(可以用夾子當輔助)
#### **OpenBCI訊號使用目的**
透過 左揮與右揮 的動作來進行 MI 與 SSVEP 之間的訊號切換。
#### **左揮 / 右揮判定方式**
由於 OpenBCI 的數值在不同情況下可能不穩定，會建議在開始前先執行 see_raw_data.py 以檢查數據是否正常。貼片位置可參考上方OpenBCI操作手冊中的圖片。
在觀察真實數據後發現：
* 左揮 與 右揮 在不同 channel 上的能量值表現剛好相反。
-> 因此採用「差值判斷」的方式進行分類。
為避免過度敏感，需同時滿足以下條件才會觸發：
* 數據超過設定的最小值（避免雜訊誤判）。
* 左右 channel 的差值大於門檻值。(照上述貼片的位置貼的話，左揮的話channel1會比較大、右揮則是channel3比較大)
（由於每個人的數據特性不同，差值與最小值可依 see_raw_data.py 的觀察結果進行微調。）
狀態切換流程
#### **可在 SSVEP / MI / STOP / START 四種狀態之間切換：**
1. 左揮：切換 STOP / START
2. 右揮：切換 SSVEP / MI
* 範例情境
若目前處於 SSVEP 狀態並想切換到 MI：
步驟一、左揮 → 觸發 STOP
步驟二、右揮 → 觸發 MI
步驟三、左揮 → 觸發 START
執行完以上三步驟→ 成功進入 MI 狀態
### (四)SSVEP 資料收取、前處理、模型架構、軟體操作
#### I. 實驗環境
**1) 刺激設計**
* 參考[M. Nakanishi et al. (2017)](https://ieeexplore.ieee.org/document/7904641)以及之前實驗室學長所留下之示範程式，我們使用正弦取樣法(sampled sinusoidal stimulation method)，將經過JFPM法編碼的正方形刺激呈現於筆記型電腦的螢幕上。
* 在傳統的SSVEP實驗架構中，各刺激間僅有頻率上的差異。為了增加各刺激間的差異，[Xiaogang Chen et al. (2015)](https://doi.org/10.1073/pnas.1508080112)的研究進一步在各刺激間加入相位的差異，此即JFPM法。
* 在呈現刺激時，我們使用的筆記型電腦型號為msi katana 15 b13v，其螢幕更新率設定為144赫茲。正方形刺激使用python與psychopy來呈現。
* 刺激程式之視窗大小為$1150\times850$，視窗背景為黑色，正方形刺激則依其頻率與相位決定其顏色(於黑色與白色間變化)。實驗時，共有4個正方形刺激會同時呈現於螢幕上。以下為四個正方形刺激於psychopy的參數：
```python
POS = 0.32
LR_EXTRA_DIS = 0.1
squares = [
{"vertices": [(-0.5, 0.5), (-0.5, -0.5), (0.5, -0.5), (0.5, 0.5)], "hz": 12, "phase":1.75, "pos": (0, POS), "color": [1, 1, 1], "size": 0.2}, # Upper flicker
{"vertices": [(-0.5, 0.5), (-0.5, -0.5), (0.5, -0.5), (0.5, 0.5)], "hz": 13, "phase":1.25, "pos": ((POS+LR_EXTRA_DIS), 0), "color": [1, 1, 1], "size": 0.2}, # Right flicker
{"vertices": [(-0.5, 0.5), (-0.5, -0.5), (0.5, -0.5), (0.5, 0.5)], "hz": 9, "phase":0.75, "pos": (0, -POS), "color": [1, 1, 1], "size": 0.2}, # Bottom flicker
{"vertices": [(-0.5, 0.5), (-0.5, -0.5), (0.5, -0.5), (0.5, 0.5)], "hz": 10, "phase":0.25, "pos": (-(POS+LR_EXTRA_DIS), 0), "color": [1, 1, 1], "size": 0.2}, # Left flicker
]
```
||
|:--:|
|SSVEP的刺激畫面|
* 根據實驗的需求，刺激程式可分為線下分析與線上分析兩種版本，請見III. 實驗設計。
**2) 腦電圖紀錄**
* 室內溫度需控制在 24°C 以下，避免流汗干擾EEG訊號。
* 受測者將坐於椅子上，手放大腿，眼睛距離實驗螢幕約40公分。
* 由於螢幕上同時有多個不同頻率的刺激圖形，若受試者的眼睛離螢幕太遠，其視野將無法專注於特定刺激上，進而影響其產生之SSVEP反應。
* 若受試者的眼睛離螢幕太近，其在注視不同的刺激時，將須有較大幅度的移動，必可能造成不必要的雜訊。
* 經過多次嘗試，我們發現40公分大約是最佳的實驗距離。
* 我們使用的腦電極帽系統為Cygnus 8-Channel EEG，接線方式如下表：
|放大器接腳編號|電極位置(10-20 system)|
|:----------:|:---------------------:|
|1|C3|
|2|C4|
|3|P3|
|4|Pz|
|5|P4|
|6|O1|
|7|Oz|
|8|O2|
* 參考電極（Ref）位置：Ref1、Ref2 外接至 A1、A2，並以電極貼片置於雙側乳突（mastoids，耳後骨突）
* C3與C4為MI使用，SSVEP僅會利用P3、Pz、P4、O1、Oz、O2這六個電極
* 打入導電膠後，電極阻抗需低於 20 kΩ。
* 確認阻抗後，應請受測者閉眼，確認O1、O2區域有明顯 alpha 波(8~12Hz)。
#### II. SSVEP訊號的分析模型
* FFT、CCA、FBCCA及TRCA等皆為能用來分析SSVEP訊號之演算法，其中，TRCA的表現通常是最好的，故在本專案中，我們將採用此模型來分析SSVEP訊號。
* 我們使用的TRCA模型參考自[M. Nakanishi et al. (2017)](https://ieeexpre.ieee.org/document/7904641)所提出的架構以及實驗室Howard學長的程式。
* 簡而言之，TRCA的目標為找到一個空間濾波器（即各通道的線性組合），使得受測者觀看相同刺激所得到的腦電訊號具有最大的相關性。透過此方法，SSVEP訊號的訊噪比將能被提升，進而提高分類準確度。
#### III. 實驗設計
如同第II.部分所介紹的，TRCA在能辨識SSVEP訊號前，需要經過訓練，故在此專案中，SSVEP訊號的收集與分析可以分成兩個階段，一個是收集模型訓練資料並找出最佳模型的線下實驗，另一個則是實際用於操控車子的線上實驗。兩者之詳細流程如下：
**1) 線下實驗**
1. 請受試者坐在椅子上，並配戴好EEG電極帽
2. 確認各電極阻抗大小，並請受試者閉上眼睛，確認alpha波
3. 執行`direction_flicker_offline.py`，輸入受測者編號及實驗組數(trial)，此時會跳出一個視窗(見下圖)，先不按下開始，請先使用lab recorder開始記錄腦電圖與標籤(lsl名稱為SSVEP_Direction)
||
|:--:|
|實驗開始前的視窗|
4. 按下`direction_flicker_offline.py`跳出視窗的開始鍵，並請受測者一螢幕指示注視特定之視覺刺激
* 在本專案中，受測者將進行10組的實驗，每組含有4個方向的刺激，也就是受測者於實驗中總共會注視40次刺激。
* 在呈現刺激前，刺激程式會有2秒的文字提示，告知受測者要看的刺激方向，之後便是2.5秒的刺激，刺激結束後再回到文字提示，後續以此類推。程式將於刺激開始與結束時送出對應之標籤(trigger)至lsl stream中，以供後續資料分析使用。
||
|:--:|
|刺激程式的文字提示|
5. 實驗結束後，停止lab recorder的記錄，檢查`direction_flicker_offline.py`是否有輸出掉幀的資訊
* 若有，可考律重新實驗，或是忽略該刺激的資料(程式之bad_epoch會自動記錄，並於轉換成Epochs時自動去除)
|||
|:---:|:---:|
|沒掉幀的情況|有掉幀的情況|
6. 開啟`train_TRCA_for_online_auto.py`，確認程式開頭的檔案路徑等的設定是正確的
7. 執行`train_TRCA_for_online_auto.py`，程式會根據設定的刺激數量自動嘗試所有可能的刺激組合，並以LOOCV accuracy為指標，評估最好的刺激組合。評估結束後，程式會使用最佳的刺激組合來訓練TRCA模型，並儲存一個.pkl檔案，該檔案即為我們要在線上實驗中要使用的TRCA model。
* 程式取用之腦電圖資料的範圍為第0.25秒至第2.25秒(即將資料頭尾去除各0.25秒)
* 參考[M. Nakanishi et al. (2017)](https://ieeexplore.ieee.org/document/7904641)的分析方法，上述剪切過的腦電圖資料會通過4-90 Hz的帶通濾波器與60Hz的帶阻濾波器，之後才被用於模型的訓練與評估
* 帶通濾波器由mne.filter.filter_data實現，而帶阻濾波器由mne.filter.notch_filter實現，兩者皆使用函式預設的IIR濾波器
||
|:---:|
|LOOCV 結果示意圖|
||
|train_TRCA_for_online_auto.py分析結果示意圖|
**2) 線上實驗**
1. 於樹梅派執行`EEG_host_final.py`，並確認伺服器是開啟
4. 開啟`EEG_client.py`，並進行以下檢查
* 確認LSL裝置名稱於的設定是正確的
* 確認TRCA model的檔名與路徑是正確的
* 確認欲使用的flicker參數設定是正確的
* 確認模型分類結果對應之車子操控指令是正確的 (操控指令見下方IV.)
5. 執行`EEG_client.py`，等待CV_client連接
6. 連接成功後，`EEG_client.py`會開始收集MI模型的baseline
7. 待MI的baseline收集完成，程式即開始操控車子，預設使用SSVEP操控車子
* 在線上實驗中，刺激程式將不會有任何文字提示(也就是刺激會一直呈現)，而程式將於每2.5秒傳送對應之標籤(trigger)至lsl stream中，以供後續資料分析使用
* SSVEP線上分析取用之腦電圖資料一樣為第0.25秒至第2.25秒(即將資料頭尾去除各0.25秒)
* 上述剪切過的腦電圖資料一樣會先通過4-90 Hz的帶通濾波器與60Hz的帶阻濾波器，之後才餵給模型進行預測
* 帶通濾波器由mne.filter.filter_data實現，而帶阻濾波器由mne.filter.notch_filter實現，兩者皆使用函式預設的IIR濾波器
* 關於切換MI與SSVEP模式，請見OpenBCI的部分
**備註：SSVEP於操控車子的設定**
* 經過多次嘗試，為了使TRCA Model在操控車子時有最高的精準度，我們決定只使用兩個刺激，並將其用來操控車子的前進與後退。
* 當`train_TRCA_for_online_auto.py`分析出最佳的刺激組合後，我們會將這兩個刺激挪至視窗的上方與下方(刺激的頻率與相位不變)，上方的刺激控制前進，下方的刺激控制後退。
* 為了避免模型分類結果過於跳動，造成車子移動方面的問題，我們讓車子在收到「連續兩次相同的指令」後，才會依指令移動。
### (五)MI 資料收取、前處理、模型架構、軟體操作
#### 1.資料收取
**I.實驗設計參考來源與依據說明**
- 實驗設計參考文獻 [Wang et al. (2012)](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0037665)以及多篇相關研究，研究普遍採用相似的實驗流程與方法。
- 相關實驗設計特點：在許多文獻中，常見做法是利用動態影像（例如箭頭移動方向）引導受試者改變或調整想像策略，並在每次 trial 結束後立即提供成功與否的回饋。
- 本實驗的設計調整，做了以下改動：
靜態呈現：以示意圖片（如「手握拳，用力捏緊球」）作為提示，而非動態影片。
實體參考物：在受試者眼前放置兩個黑色瓶子，作為手部動作的空間參考，幫助其進入想像狀態。
回饋方式：每個 trial 結束後，系統以聲音提示「rest」，並由研究人員在必要時提供受試者回饋，告知該次運動想像是否成功，以利受試者調整策略。
**II.實驗環境與準備**
- 確保螢幕與椅子固定，受測者眼睛距離螢幕約 70 公分，視角舒適。
- 螢幕中心十字與受測者眼睛等高，避免頭部姿勢影響。
- 室內溫度控制在 24°C 以下，避免流汗干擾 EEG訊號。
- 固定所使用的參考物與其位置。
- 與實驗無關的器材移開，研究人員避免出現在受測者視野中。
**III.儀器與電極設定**
- 實驗的收取我們使用 **Cygnus-DG329001 32通道放大器**，取樣率 1000Hz，以及20通道腦電極帽（雖然放大器通道數與腦電極帽不同，但可以只選擇需要使用的通道，並透過對應線材連接）。
- 電極帽定位（依據國際 10–20 系統）：實驗前測量受試者水平頭圍、前後長度（Nasion鼻根點－Inion枕外隆凸）、與左右寬度（Preauricular point耳前點），前後（Nasion-Inion）與左右（兩preauricular points）交線的交點為 Cz位置以確保位置符合 **10–20系統**。
- 使用通道：F3、F4、FC3、FCz、FC4、C3、Cz、C4、O1、O2 共10個通道。
- 參考電極（Ref）：Ref1、Ref2 外接至 A1、A2，並以電極貼片置於雙側乳突（mastoids，耳後骨突）。
- 開啟軟體進行設備連線:選擇對應的通道數量做連線，亦可透過 Config 選擇需要的通道，點擊 Connect 後可選擇查看電阻或當下的腦波訊號情形等。
- 阻抗檢查：在所選通道注入導電凝膠，使電極阻抗低於 20 kΩ。
- 訊號檢查：受測者閉眼時，於O1、O2區域應觀察到明顯 alpha 波(8~12Hz)，作為檢查基準。
- 以下為分組競賽時使用的8通道放大器語腦電極帽連接情形：
可選擇要使用的通道數量（如圖所示，分組競賽僅使用C3、C4、O1及O2這4個通道）
選擇後點擊Apply
按GUI，即可看到當下的電阻值
- 注意：每次需先檢查GND, Ref1, Ref2是否有注入導電膠或電極貼片，否則阻抗值會一直隨意亂跳。
- 提醒：若Config 時選擇non-EEG再連接所使用放大器，會無法查看電阻值（non-EEG的部分僅提供肌電圖或心電圖使用，故無法查看電阻）。
**IV.流程設計**：
- 每次實驗包含三個Block，每個Block包含10秒睜眼放鬆及閉眼放鬆baseline，以及20個想像任務（左、右手想像隨機出現各十次，但不連續重複超過兩次）。
- 每個 trial 包含： 黑底白十字使受試者專注於畫面、該次想像對應方向的手部提示圖、start提示音、十秒左或右手握緊之示意圖進行運動想像、rest提示音即結束該次運動想像。
**V.標記**：START_LEFT, END_LEFT, START_RIGHT, END_RIGHT（透過 LSL）。
#### 2.前處理
* 濾波(FIR) : bandpass(1-50Hz)、notch(60Hz)
* 分析頻段為 mu band = 8~13 Hz
#### 3.分析
**I. 線上分析**
* 每個階段收的資料為10秒
* 階段分成:open eye放鬆資料、close eye放鬆資料、左邊運動想像資料、右邊運動想像資料
* 每次實驗過程中，分別各做一次open eye放鬆資料與close eye放鬆資料、各做十次左邊運動想像資料與右邊運動想像資料(隨機發生最多連續同一個動作三次)
* 實驗過程中受試者於open eye放鬆狀態呈現眼睛張開盯著螢幕前方，手放在大腿上，大腦呈現放空狀態;close eye放鬆狀態呈現眼睛閉上盯著螢幕前方，手放在大腿上，大腦呈現放空狀態，結束後收取料者會做提醒才睜開;分別作左手或右手想像時畫面呈現左邊/右邊有一張正在捏球的圖
* 如下圖所示受試者除了依靠畫面中的圖進行輔助想向外，另外亦有兩個純黑罐子進行輔助
* 實驗開始前有事前記錄受試者 : 當日實驗日期、姓名、受試找編號、慣用手、頭圍、前後頭圍、左右頭圍、帽子大小、Cz位置、阻抗截圖、Alpha波(Occipital)、環境溫度
* 實驗開始後有另外一份紀錄當前狀態 : 實驗前策略、實驗階段(分為1、2、3)、open數值、open與close數值(小於或大於)、實驗次數(1~10)、動作(左手、右手)、想像紀錄策略(當前想像的策略)、想像紀錄結果(左手想像時c4 psd數值是否低於開眼;右眼則是c3)、c3與c4是否有通過標準(左手想像時c4 psd數值是否低於c3;右眼則是c3 psd數值是否低於c4)、MI成果與否(自動判別，由前兩個條件都達成才成功)、心理狀態(例如:是否疲勞、精神煥散)、例外情況(例如:地震、奇怪聲響)、看的目標(螢幕或前方物體)、認為失敗的原因(此次實驗想像失敗原因)
* 首先在 **powershell** 輸入 `conda activate mind_control_env`
(來源: https://github.com/USER/MindControlRobots.git)
* 接著到 **/MindControlRobots/Examples/MI/Experiment**
執行`python left_right_MI_GUI.py `準備操作每次實驗，進入到以下介面先等待
* 接著執行 `python online_left_right_MI_analysis.py`，用於觀察四種階段的變化(此介面只有收取資料者可見到)
* 當受試者準備好後即可使用 **LabRecorder**收取資料
* 即可回到GUI介面中 **Start MI Application**點擊進入(此介面只有受試者可見到)後呈現以下，如發現沒有與自己螢幕大小符合全螢幕，即可進入電腦設定中調整解析度為(100%或125%)
* 藉由線上分析以及不同受試者參與實驗發現四種狀態有明顯差異(透過10秒內 mu band的平均psd數值)
**II.線下分析**
* 執行 `python offline_left_right_MI_analysis.py` 進行線下分析，此python檔案中 `directory_path`此行可以進行讀取含有xdf檔案的位置
* 分析儲存的檔案位置在 **/MindControlRobots/Examples/MI/Experiment/offline_analyze**底下中以xdf命名的資料夾分為四個資料夾與兩張圖片
* 四個資料夾: open eye rest、close eye rest、left mi、right mi
=>open eye rest、close eye rest裡面各有三個檔案，第一個是mat檔案(psd資料)、兩張圖片(如下所示)
=>left mi、right mi由於各做10次，所以mat檔案(psd資料)、兩張圖片各有10個，根據每次資料個產生三個檔案
* 根據線上與線下分析發現
=> 位於c3通道:右手想像的數值會低於開眼放鬆
=> 位於c4通道:左手想像的數值會低於開眼放鬆
=> 同時不論在左手或右手想像的時候psd數值在不同頻率有明顯差異
=>藉由此觀察進行設定車子上MI控制左右，需要同時完成兩個條件，第一左手想像c4的psd數值要比baseline的c4低、c4的左手想像psd數值要比左手想像的c3數值低，右手想像則相反
* 兩張圖片: eeg_summary、eeg_topomaps
(以下以一位受試者為例)
=> eeg_summary : 顯示在開眼放鬆、左手想像、右手想像所有次數資料的平均值
=> eeg_topomaps : 顯示在開眼放鬆、閉眼放鬆、左手想像、右手想像所有次數原始訊號的平均值，顯示當前秒數大腦呈現狀況
#### 4.軟體操作
* 首先如 **III.儀器與電極設定**中戴好電擊帽以及測試訊號正常
* 受試者將手放在大腿上
* 執行包含MI的host的程式
* 執行包含MI的cilent程式
* 需先收當日baseline(openeye) 10秒資料
* 接著開始MI(每秒進行判斷)
## 五、車子 client 和 host 如何運行 -Stacy
* import socket
* 設定 host IP 與 port
HOST = '192.168.1.100' --> 需為Host 的 IP
PORT = 5000
* 可有多個host或client，同時通訊，也可同時當host和client，只需要用thread去執行兩個socket
1. Host（伺服器端）
角色：接收命令，手臂與車的控制
運作流程：
-啟動 TCP 伺服器，client 連線
-成功連線後，不斷接收 client 傳過來的資料
-按收到資訊進行手臂或車子的動作控制
2. Client（用戶端）
角色：收集資料、處理資料並傳命令給 host
運作流程：
-啟動 TCP 用戶端，連線到 host
-重複偵測與發送，收集資料(CV、MI、SSVEP、EMG訊號判斷，用多個thread同時執行）
-把資料打包成字串(或JSON)
-發送給 host
## 六、附錄：
### 1.Demo照片
### 2.製作中遇到的常見問題及解決辦法
#### (1)硬體方面
- 電池盒中電池電量要平均差不多電量;若接保護板每顆電池電壓要維持3.8~4.1V(切記不能超過4.2V)
- 初次使用或電池斷電重接後，即使電池供電正常，保護板也可能不會有電壓輸出，此時會需要啟動保護板。保護板的啟動方式為拿9-12V的電源(如三顆串連的鋰電池電池盒)觸碰保護版的P+與P-(正接正，負接負)
* 當保護板被啟動後(即其開始有輸出電壓後)，請盡快將外接電源移除
- 手臂馬達需要調整針腳情況，需先切斷馬達電源避免發生短路現象;不使用手臂時，亦建議先切斷電源
- 要運行整體車子手臂運作時，需先測量電池盒總電壓是否高於11.1V，避免發生保護板保護亦是引起短時間短路
- 腦電實驗設備使用與保養注意事項
##### i.腦電極帽
使用完畢後，必須徹底清洗殘留的玉米澱粉導電膠，避免下次使用時通道殘留影響數據品質。
清洗完成後，置於通風處晾乾，不可放置於潮濕密閉環境。
##### ii.放大器連接線材
在清洗腦電極帽之前，須以塑膠袋包覆線材接頭，避免水分滲入。
清潔過程中避免任何液體接觸線材及接頭。
##### iii.放大器本體
使用過程中，放大器應置於安全且穩固的位置，避免因滑落或拉扯造成損壞。
請勿將放大器放置在地面或潮濕處，亦避免過度彎折電纜。
#### (2)實驗方面(收數據)
##### i.EMG
##### ii.MI
##### iii.SSVEP
## 七、3D列印機: ELEGOO-Neptune 4 操作方法
3D列印機所需材料: 口紅膠、銼刀、線材
### 操作手冊:
#### 正常列印
操作步驟
1. 按下機器左側電源開關，此時會看到3D列印機上方燈亮起，表示開機。
2. 此時在右下方的螢幕會顯示主要功能區域，點選 Prepare。
3. 點選 Temp: 加熱噴嘴溫度，點選使用材料(PLA)，噴嘴、底板加熱到所需溫度。
4. 在底板處均勻塗上口紅膠，範圍至少超過列印物的底面積。
5. 回到主選單，點選 Print，找到欲列印檔案，點下 confirm即可列印。
* Troubleshooting: 若是在列印時聽到不正常聲音，如列印物擠壓、刮到噴嘴聲，或是列印物從底板翹起、有不正常列印之情況。請立即終止列印，按下 Stop，即可終止列印並降溫。此時請檢查: 1. 口紅膠是否有涵蓋所有底面積部分 2. 重新進行校正，請參考**校正**篇。
#### 校正
操作步驟
1. 回到主選單，選擇 Level，進到下方畫面，請先確認底下紅框內數字{最大-最小} 小於0.25。
2. 若不符，點選 Auxiliary 進行手動調整，建議在進行手動調整前先將上方畫面拍攝下來，方便手動校正。
*以上方畫面為例，紅框處可以對應到底板相對位置，例如左上0.13處為正視底板時的左上方。
3. 以上方畫面為例，左上以及右上相對於下方數值較小，代表底板上方較低，以此為基礎去進行手動校正。
4. 進入手動校正後，會出現下方畫面，優先點選偏離較遠的地方(此情況為上方兩側)。
5. 點選後，噴嘴與底板會自動調整到對應位置。此時需準備一張沒有皺褶的紙，並嘗試來回將紙穿越底板與噴嘴之間 (保持紙張與底板貼合)。
6. 若是無法穿過，或是感受到明顯拉扯感，請將該處底板向下調整，即轉輪向右旋轉，直到感受紙張與噴嘴輕微接觸。
7. 若是穿越且沒有拉扯感，請將該處底板向上調整，即轉輪向左旋轉，直到感受紙張與噴嘴輕微接觸。
8. 確認五個區域都進行校正過，按返回，會自動進行所有點對齊，之後產出最原本的畫面 (含各區域數字)，請再次確認是否: 數字{最大-最小} 小於0.25。若否，請再次進行手動校正。
*特殊狀況: 若是持續將底盤向上旋轉(非正常微調)，有機會使轉輪掉落，此時應先將噴頭向上移動，並將轉輪轉回軸上。接著在下圖黃框處移動 Z 軸高度，並調整至轉輪穩定固定於軸上，且噴嘴與底盤距離在底盤高度可單獨調整範圍之中，最後再重新進行手動校正。
#### 換線材
操作步驟
1. 先到主選單，點進 Prepare，點選 Extruder。
2. 點選 Unload，此時會加熱噴嘴，並且自動將線材從噴嘴向外擠出，需用手輔助將線材拉出。
3. 若一次 Unload 沒有辦法將所有線材退出，請再按一次，直至線材完全退出 (最多2~3次就可以將所有線材退出)。
4. 將線材完全取出，並連同線材轉輪移出。
5. 更換新線材後，將新材料最前端線頭剪去，並將轉輪放在支架上，將線頭穿過檢測器，並插在噴嘴上。
6. 按下 Load，此時噴嘴會自動將線材捲入噴嘴中，並擠出上份線材的剩料，以及一部分的新線材。此時代表更換線材完畢。
##### 其他小提醒
* 需在列印機開機前將 USB 灌入欲列印之 g.code 檔案，否則須重新開機以後列印機才會讀到最新檔案。
* 列印完以後，應將底盤拆下，以魔術海綿及清水清洗至表面無殘留口紅膠並擦乾，下次列印前需確保底盤上沒有異物。
* 線材也有受潮影響的問題，若要求完美的精確度，可以自製線材轉軸，將其放置於乾燥區域，如除濕盒中。
* 列印時，應考慮列印方向應與受應力方向垂直，提升列印件強度，或是利用提高列印的 Infill (一般使用15%)，也能增加列印件強度。
## 八、參考資料
## 九、分工表
統一格式
## R隊套件
Package Version Editable project location
---------------------------- ----------- -------------------------------------------------
absl-py 2.3.1
aiohappyeyeballs 2.6.1
aiohttp 3.12.15
aiosignal 1.4.0
annotated-types 0.7.0
antlr4-python3-runtime 4.9.3
arabic-reshaper 3.0.0
asciitree 0.3.3
asttokens 3.0.0
astunparse 1.6.3
async-timeout 5.0.1
attrs 25.3.0
av 15.0.0
beautifulsoup4 4.13.4
blinker 1.9.0
blosc2 3.6.1
bottle 0.13.4
brainflow 5.18.0
certifi 2025.7.14
cffi 1.17.1
charset-normalizer 3.4.2
click 8.2.1
cloudpickle 3.1.1
cmake 4.1.0
colorama 0.4.6
comm 0.2.3
contourpy 1.3.2
cryptography 45.0.5
cycler 0.12.1
datasets 4.0.0
debugpy 1.8.16
decorator 5.2.1
deepdiff 8.6.0
diffusers 0.34.0
dill 0.3.8
draccus 0.11.5
dukpy 0.2.3
dynamixel-sdk 3.7.31
edfio 0.4.9
einops 0.8.1
elementpath 5.0.3
esprima 4.0.1
et_xmlfile 2.0.0
exceptiongroup 1.3.0
executing 2.2.0
Farama-Notifications 0.0.4
fasteners 0.20
ffpyplayer 4.5.3
filelock 3.18.0
Flask 3.1.1
flatbuffers 25.2.10
fonttools 4.59.0
freetype-py 2.5.1
frozenlist 1.7.0
fsspec 2025.3.0
future 1.0.0
gast 0.6.0
gdown 5.2.0
gevent 25.5.1
gitdb 4.0.12
GitPython 3.1.45
google-pasta 0.2.0
greenlet 3.2.3
grpcio 1.74.0
gymnasium 0.29.1
h5py 3.14.0
hf_transfer 0.1.9
huggingface-hub 0.34.4
idna 3.10
ikpy 3.0.1
imageio 2.37.0
imageio-ffmpeg 0.6.0
importlib_metadata 8.7.0
inquirerpy 0.3.4
ipykernel 6.30.1
ipython 8.37.0
itsdangerous 2.2.0
javascripthon 0.13
jax 0.6.2
jaxlib 0.6.2
jedi 0.19.2
Jinja2 3.1.6
joblib 1.5.1
json-tricks 3.17.3
jsonlines 4.0.0
jupyter_client 8.6.3
jupyter_core 5.8.1
keras 3.11.2
keyboard 0.13.5
kiwisolver 1.4.8
lazy_loader 0.4
lerobot 0.1.0 C:\Users\LAB\MindControlRobots\submodules\lerobot
libclang 18.1.1
llvmlite 0.44.0
Markdown 3.8.2
markdown-it-py 3.0.0
MarkupSafe 3.0.2
matplotlib 3.9.2
matplotlib-inline 0.1.7
mdurl 0.1.2
mediapipe 0.10.21
mergedeep 1.3.4
meshpy 2025.1.1
mindcontrolrobots 0.1.0 C:\Users\LAB\Desktop\R_team\SummerIntern_R
ml_dtypes 0.5.3
mne 1.8.0
mne_lsl 1.10.1
mnelab 1.0.5
moviepy 2.2.1
mpmath 1.3.0
msgpack 1.1.1
msgpack-numpy 0.4.8
multidict 6.6.4
multiprocess 0.70.16
myo-python 1.0.5
mypy_extensions 1.1.0
namex 0.1.0
ndindex 1.10.0
nest_asyncio 1.6.0
networkx 3.4.2
numba 0.61.2
numcodecs 0.13.1
numexpr 2.11.0
numpy 2.2.6
omegaconf 2.3.0
opencv-python 4.10.0
opencv-python-headless 4.10.0
openpyxl 3.1.5
opt_einsum 3.4.0
optree 0.17.0
orderly-set 5.5.0
packaging 25.0
pandas 2.3.1
parso 0.8.4
pfzy 0.3.4
pickleshare 0.7.5
pillow 11.3.0
pip 25.1
platformdirs 4.3.8
pooch 1.8.2
proglog 0.1.12
prompt_toolkit 3.0.51
propcache 0.3.2
protobuf 4.25.8
psutil 7.0.0
psychopy 2025.1.1
psychtoolbox 3.0.19.14
pure_eval 0.2.3
py-cpuinfo 9.0.0
pyarrow 21.0.0
pybv 0.7.6
pycparser 2.22
pydantic 2.11.7
pydantic_core 2.33.2
pygame 2.6.1
pyglet 1.4.11
Pygments 2.19.2
pylsl 1.16.2
pymunk 7.1.0
pynput 1.8.1
pyOpenBCI 0.13
pyparallel 0.2.2
pyparsing 3.2.3
pypiwin32 223
pypot 5.0.2
PyQt6 6.9.1
PyQt6-Qt6 6.9.1
PyQt6_sip 13.10.2
pyqtgraph 0.13.7
pyserial 3.5
PySide6 6.9.0
PySide6_Addons 6.9.0
PySide6_Essentials 6.9.0
PySocks 1.7.1
python-bidi 0.6.6
python-dateutil 2.9.0.post0
python-dotenv 1.1.1
python-gitlab 6.2.0
python-vlc 3.0.11115
pytz 2025.2
pywin32 311
pyWinhook 1.6.2
pyxdf 1.17.0
PyYAML 6.0.2
pyyaml-include 1.4.1
pyzmq 27.0.0
QtPy 2.4.3
questplus 2023.1
regex 2025.7.34
requests 2.32.4
requests-toolbelt 1.0.0
rerun-sdk 0.24.0
rich 14.1.0
safetensors 0.6.2
scikit-learn 1.5.2
scipy 1.15.3
seaborn 0.13.2
sentencepiece 0.2.0
sentry-sdk 2.34.1
setuptools 70.3.0
shiboken6 6.9.0
six 1.17.0
smmap 5.0.2
sounddevice 0.5.2
soundfile 0.13.1
soupsieve 2.7
stack_data 0.6.3
swig 4.3.1
sympy 1.14.0
tables 3.10.1
tensorboard 2.19.0
tensorboard-data-server 0.7.2
tensorflow 2.19.0
tensorflow-io-gcs-filesystem 0.31.0
termcolor 3.1.0
threadpoolctl 3.6.0
toml 0.10.2
torch 2.8.0
torchvision 0.23.0
tornado 6.5.2
tqdm 4.67.1
traitlets 5.14.3
typing_extensions 4.14.1
typing-inspect 0.9.0
typing-inspection 0.4.1
tzdata 2025.2
ujson 5.10.0
urllib3 2.5.0
wandb 0.21.1
wcwidth 0.2.13
websockets 15.0.1
Werkzeug 3.1.3
wget 3.2
wheel 0.45.1
wrapt 1.17.3
wxPython 4.2.3
xarray 2025.6.1
xmlschema 4.1.0
xmltodict 0.14.2
xxhash 3.5.0
yarl 1.20.1
zarr 2.18.3
zipp 3.23.0
zope.event 5.1
zope.interface 7.2
Google Drive
Gist
Clipboard
Sign in with Wallet
