Health monitoring bracelet with real-time Cloud warning system ## 成員 * 組員1:陳懷璞 https://www.youtube.com/watch?v=_OJpKnFqUes * https://www.youtube.com/watch?v=lUI6VMj43PE * 組員2:江承恩 feature engineering(finding algorithm) feature conversion/construction/extraction * 組員3:陳少翔 報名企劃書 ![](https://i.imgur.com/QsqiFay.png) ![](https://i.imgur.com/imqbQBF.png) 5/8(六) * 本日應完成事項 * 測試sensortile.box * ![](https://i.imgur.com/cj6XrDS.jpg) * 400頁左右的使用說明書 https://www.st.com/content/dam/AME/2019/technology-tour-2019/minneapolis/presentations/T3S1_Minneapolis_SensorTileBox_HandsOn_A.Vitali.pdf * ![](https://i.imgur.com/bQP6swF.jpg) * 我們這顆的預設名字為TILEBOX(C0:50:0F:33:20:)。 藍芽為ST BLE Sensor 4.9.0 * 能在STBLESensor上完成我們要的功能app,最有可能會用到的三種sensor為IMU(三軸加速器), 溫度感測器, AUDIO麥克風。 * 利用IMU(三軸加速器)能判斷 跌倒fall或睡眠品質或活動量...; 利用溫度感測器能判斷fever; 利用AUDIO麥克風能判斷cough或cry或附近環境發生的事(盤子摔破...) * microphone ODR = 16000HZ (希望是sample rate 22050) * IMU 50HZ (X,Y,Z) NORM * TEM * sensortile.box可以透過三種方式傳輸資料(SD card, Bluetooth, Cloud logger) * SD card * 只能事後處理資料 * 在app設定好將紀錄資料储存在SD card後,sensortile.box能任意在任何位置運動,等待其運動結束後,將電腦USB線插入sensortile.box,會跳出excel output1檔案,開啟之後就是運動時間內的所有資料(但不包含時間序列,不知道為什麼) * ![](https://i.imgur.com/sgCwV3u.png) * 在上圖SDcard test1範例中,使用IMU accelerometer sensor,採樣頻率50HZ(每秒紀錄50個資料點),運動20秒左右後(運動模式為前幾秒不動,中間輕微搖晃,然後大甩幾下,最後不動),並自己加上新一列"時間序列"後,結果如上。 藍線為X方向加速度變化;橘線為Y方向加速度變化;灰線為X和Y方向加速度變化的NORM。 * Bluetooth * ![](https://i.imgur.com/LU8L7wg.png) * Cloud logger * 有接USB線或無線皆可以做Cloud logging這件事,可以select the minimun update interval(1.0s, 5.0s ...) * ![](https://i.imgur.com/0c9Uhaq.png) * 最有可能是使用AWS IOT以及MQTT。 使用AWS IOT的cloud logger 需要四個東東(aws endpoint, client ID, certificate file?, private key) * ![](https://i.imgur.com/WfFiMT4.png) * 將即時連結到AWS IOT core * ![](https://i.imgur.com/kyklBMY.png) * 可以放大來看,大架構,AWS IOT core 和 AWS IOT device management負責裝置連線和資料處存; 後端可用 AWS IOT analytics做machine learning 和AWS IOT event做偵測event的發生 * ![](https://i.imgur.com/TC1tYHW.png) * 資料machine learning * 連結網址參考 * https://www.youtube.com/watch?v=nozbEC3mzjc * https://www.youtube.com/watch?v=IbunGCa3-YM * human activity recognition using machine learning * https://www.youtube.com/watch?v=_OJpKnFqUes * https://www.youtube.com/watch?v=lUI6VMj43PE * 分工部分 * 陳懷璞: * 江承恩: * 陳少翔: * 遇到之問題 * 無法即時傳輸,因此可能只能做長時間監測的數據(一整天活動量,睡眠時候的品質,大概在做什麼運動)(咳嗽次數)。想法來自於Stanford Lab * ![](https://i.imgur.com/pjoSQNZ.png) 5/9(日) * 機器學習流程 * 生成資料(以IMU為例,收集跌倒,跑步,走路,和靜止時的資料) * feature engineering, 即透過演算法賦予資料物理意義(振幅,標準差等) * 可由上述 concrete data 給機器進行學習(supervised learning) * 總結:multiclass classification from a batch of supervised data with concrete features 5/10(一) * 測試PLA可行性 5/11(二) * 5/12(三) * normalizing parameter to a specific range 5/13(四) * xgBoost machine learning complete * User Interface設計完成(APP首頁有HEALTH MONITOR BASE標題,有每個使用者ID;點進去所選之使用者ID後,有Data和Warning選項。Data主要以兩大圖表方式提供資訊,一大圖表為24小時之三軸加速度變化值radar diagram,另一個圖則為原始資料經過Machine Learningradial heatmap) * 線上完成 5/14(五) * flutter * sensortile.box * sensortile.box其實可以送出時間(time)和日期(date) * sensortile.box讀出來的IMU 3D raw data會和手機phyphox有差一個位移和放大的關係,需要之後找到位移和放大的參數 * * 5/15(六) 彩排(錄製影片) 5/16(日) 早上demo日,評審日(將採為線上影片視訊)