# 0701-01-無線人體感知技術與大型語言模型的結合應用-謝宏昀教授
# 重點摘要

## 一、無線人體感知技術概述

- 透過無線訊號（如Wi-Fi、毫米波）分析人體對環境的影響，實現感知與辨識。
- 相較攝影機具備：
- **隱私性高**：無須錄影、不辨識臉部。
- **全天候適用**：不受光源與遮蔽物限制。
- **穿牆能力**：能偵測牆後活動。
- 可應用於：跌倒偵測、手勢控制、姿態辨識、呼吸/心跳監測、人員定位等。

---

## 二、無線感知的基本流程

1. **資料收集**：透過Wi-Fi等無線設備（AP、筆電、感測器）蒐集訊號（如CSI）。
2. **前處理與切段**：
- 濾除雜訊、雜訊頻段。
- 切出有效動作時間區段。
3. **特徵擷取**：
- 擷取如多普勒頻移、AOA、距離、角度等關鍵特徵。
4. **模型建構與訓練**：
- 使用傳統機器學習或深度學習模型（如CNN、RNN）。
5. **辨識與應用推論**：
- 輸出動作結果或進行即時推論。

---

## 三、感知應用範疇分類

- **動作辨識**：如跌倒、走路、仰臥起坐等。
- **手勢追蹤**：例如揮手、推拉等單手或雙手動作。
- **使用者辨識**：利用步態頻率、體態特徵進行身份區分。
- **唇形辨識**：偵測說話時嘴型變化；可達80%以上辨識率。
- **呼吸偵測**：精準感知胸腔起伏頻率。
- **姿態估測**：產生全身姿勢（如舉手、走路等）重建影像。

---

## 四、整合大型語言模型（LLM）應用

### Wi-Chat 應用（zero-shot CSI分析）

- 直接輸入原始CSI資料至GPT模型（如GPT-4），進行動作辨識。
- 運用文字提示（prompt）來描述目標動作（如跌倒是「突然的高幅度變化」）。
- **優點**：
- 無須重新訓練模型即可進行推論（zero-shot）。
- 能處理未見過的新場景與個體。
- **效能**：正確率最高達90%。

### mmCLIP 應用（mmWave + LLM）

- 透過合成資料＋極少量實測資料，進行zero-shot分類。
- 讓模型理解動作語意（如：走路 vs 跑步有重疊但速度不同）。

### LAHAR 系統（環境感測 + LLM）

- 將簡單感測器（溫濕度、壓力、門磁等）資料結合LLM進行活動推論。
- LLM結合提示詞與環境結構說明，可判斷出如「煮飯中」、「躺床上」等狀態。
- 精度可達93% F1-score。

---

## 五、技術發展與趨勢

- **6G願景（IMT-2030）**：
- 將感知（sensing）與通訊（communication）整合（ISAC）。
- 基地台成為「感知中樞」：感測環境、追蹤人員、優化資源調度。
- **標準化發展**：
- IEEE 802.11bf：Wi-Fi感知正式納入規範。
- 未來Wi-Fi與感知將深度融合，推動智慧家庭、智慧城市。