# **SoC Group 2 Draft Proposal**
## **Advanced Dashcam + Driver-Assistance System**
- 粗略結合大家的主題也許可以從下面幾種題目開始發想
- "先進的行車記錄器 (Advanced Dashcam)"
- 偏向消費性電子 (Consumer electronics) 產品
- 還可以結合某種 "路況提醒系統"，像是行車記錄器拍到路況資料可以及時處理
- 不牽涉駕駛輔助
- "先進駕駛輔助系統 (Advanced Driver-Assistance System, ADAS)"
- 牽涉駕駛輔助
- 跟駕駛有關的話可能會變成 "車規晶片" 的範疇，就得額外考慮 AEC-Q standard，但不知道這跟前端設計有沒有關係XD
- 瑞憫的想法 / 支援的功能
- 提示直接顯示在擋風玻璃上面(? ((覺得很讚XD
- sensor 偵測轉彎 提示使用者方向盤要打多少角度
- 障礙物偵測 提示要往左右多少
- 聽說之前障礙物還是路況，會用增強學習(某種Deep learning技術來著)
- 倒車輔助
- 俯視圖的輔助可以看成 Device based localization using GPS
- 提醒功能
- 提醒專注、號誌提醒功能 ((反正號誌很好辨識XD
- 掉落物提醒
- 隔壁車道會車提醒
- 注意靠太近的機車
- 康寧有出 玻璃顯示器(?
- IMU可能會用到嗎
- acceleration sensor + 陀螺儀 + 磁力計
- 九軸(XDD)
- acceleration sensor: 如果快要撞到前面的車的時候，可以及時提醒
- 陀螺儀 + 磁力計: 一方面是可以及時鎖定你現在的位子，詳細的話我可能還要再查一下datasheet和一些不同的應用
- 車內乘員系統
- 偵測基本 "vital sign" ((智慧雲梯又派上用場了XD
- 酒精偵測 但要怎麼非接觸偵測(? alcohol vapor
- 但夾在手上會變成是接觸式的

## 10/31
- 手上的素材
- 3D Sensing (Radar Sensing)
- 就是某種電腦視覺 (Computer Vision) 只是是雷達 (Radar) 而非影像 (Cam)、超音波 (Ultrasonic) 或光達 (LiDAR)
- BlueTooth
- 有藍芽可以提供把資訊傳到手機的功能
- PlayStation 5
- 可以理解為某種算力 (Processing power) 裝置?
- Thunderbolt 4
- 可以想像說我們預期提供的產品，可以直接連行車電腦 (Electronic Control Unit, ECU)
- Deep Learning
- 提供影像辨識、雷達偵測相關演算法，像是 SSD, MobileNet, YOLO 等等

## 11/04
- 智慧救難雲梯系統
- 聽起來像是 vital sign 感測
- vital sign 常見分 4 種: 體溫(body temperature)、呼吸(breath rate)、心率(heart rate) 跟血氧濃度(blood oxygen level)
- 裡面有比較簡易的感測器(接觸式)?
- PPG sensor, temperature sensor
- ECG(心率)可能有點小麻煩XD 簡化版的可能再查一下比較好
- 非接觸式感測可以用雷達XD
- 紅外線(類似?)
- 電磁波，打一個高頻 mmWave 分析回波，跟車用雷達用的是類似的
- 就很像是 Noise level >> Signal (Received Signal Strength, RSS)
- Crowd Counting and Crowd Control System
- 計算/推算人群密度
- App 通知人流密集區域(藍牙偵測)
- 有狀況幫你叫救護車
- Crowd Counting 還蠻多論文可以參考，2~3年前主流是用電腦視覺演算法醬(像是YOLO XD)，現在不確定
- 垃圾分類提示系統
- 但會需要 prior knowledge 還有不確定能否支援該分類XD
- 智慧水壺
- 提醒使用者一天該喝的水量
- 定時提醒現在喝的水量
- 計算水壺容量的變化(? 重量變化

## Spec
- e.g. TI [AWR 1642](https://www.ti.com/product/AWR1642), 或 [AWR 1843](https://www.ti.com/product/AWR1843) 可以參考XD
- 開發板價格大概 1萬~1萬5 或 3、4萬不等
- Himax
- [WiseEye WE-I Plus HX6537-A](https://www.himax.com.tw/zh/products/intelligent-sensing/always-on-smart-sensing/developing-tools/)
- 可以混合 TI 跟 Himax 現有的 Spec 推出我們預想的需求

## **team members**
- 110064533 陳劭珩(ㄕㄠˋ ㄏㄥˊ XD) 通訊所 3D Sensing (Radar Sensing)
- 111061537 洪子晴 電機所 BlueTooth (IEEE 802.15?)
- 111062574 徐瑞憫 資工所 PlayStation 5
- 111064537 林亭君 通訊所 Thunderbolt 4
- 111065515 鄭皓姿 資應所 Deep Learning

## **Title and Direction**
- A title

## **Tech and Spec**
- A technology

## **Motivation and Application**
- Target User：一般駕駛(ex:駕訓班、租車公司、Uber
- Motivation
- 行車需要注意周遭路況，但駕駛不一定有足夠的專注力去判斷所有即時狀況。根據心理學(要查一下準確名稱)，人的專注力只在視線中間區域，旁邊的緊急事件易被忽略。所以想提供一個使用者專注輔助系統保障行車安全。分成路況提醒與駕駛專注力監測兩個部分。
- 新手駕駛不用因為不熟悉要注意很多路況而太緊張
- 減少酒駕案件
- 保障乘客安全
- 保障租車公司
- Application((功能可以開關，使用者自行決定~
- 路況提醒：智慧擋風玻璃((這個很酷欸，相信一般駕駛也會想要XD
- 提醒專注、號誌提醒功能 ((反正號誌很好辨識XD
- 掉落物提醒
- 隔壁車道會車提醒
- 注意靠太近的機車
- 特殊路況 ex: 山路
- 轉彎的
- 水溝提示
- 駕駛狀況檢測
- 疲勞駕駛
- 酒駕

- 競品分析
- 特斯拉
- 賣點

## **System 11/26**
* Features (functions)
- System diagram (data flow diagram)
- System specification
1. CPU/ARM/..: ARM Cortex
2. Communication interfaces (wireless, LAN, …)
a. bluetooth 4.0
==HID: 連接周邊裝置(酒精感測、...)==
3. memory requirement
* microSD card: 256GB up
[DashCam](https://www.parkers.co.uk/car-advice/product-reviews/dash-cam-memory-card-guide/#:~:text=Dash%20cams%20have%20a%20certain,sizes%2C%20often%20up%20to%20256GB.)
4. Special function unit
a. ~~Electronic leash: 發出提醒~~
b. sensor
* outside radar: 路況(前面車子的速度距離)
* inside radar: vital sign
* 氣體感測器(裝在手機架或方向盤附近): 偵測酒精(?濃度、二氧化碳濃度
==* 壓力感測器:(裝在方向盤兩邊): 偵測手放在方向盤的壓力==
c. dashcam(camera): 提供路況影像作為deep learning的輸入
* rader影像由一條USB連接到dashcam輸出
[reference link](https://tw.transcend-info.com/product/dashcam/drivepro-550)
==d. AI加速器==
6. other interfaces (audio/video..)
==a. radar interface????==
* 洪子晴:壓感、氣體感測器
* 鄭皓姿:藍芽HID
* 徐瑞憫:AI加速器、SCNN
* 林亭君:CPU、Memory
* 陳劭珩:radar(包含CPU 跟 DSP)、YOLOv4(YOLOv7)

## **Technology**
- 把現有是分散在PCB板上的功能，整合進單顆SoC? 因為 TI 或 Himax 有出符合我們預期功能的開發板 (可以混合 TI 跟 Himax 現有的 Spec 推出我們預想的需求)
- ~~感覺老師好像希望能的話盡量放在SoC的樣子~~
- 如果把演算法(model)、該有的Component和訊號發射器&接收器應該不至於到很笨重...?
- 接收器發射器 ex: 紅外線的話你要先打出一個波，然後偵測到物品在做反彈，所以也需要一個接收用的東西
- 這我不太清楚了XDD
- 有點偏向製程那方面的 QQ
- 不過我記得有幾種方法: 一個是你在製程的時候你的晶片面積很大，另一種就是你的晶片有好幾個layer，一個功能放在第n層
- Deep learning如果可以把參數燒到晶片的話就可以提升效率，不過能的話盡量先不用太複雜
- **用現成的XDD**
- Interface definition
- Block diagram ( or software module description )
- Available simulation tool evaluations
- Summaries of the project ( serve as a map to the whole project's
## **Task Partition**

- 硬體方面
- sensor (舉例: 水溝, 酒測, vital sign, camera, 紅外線), memory, 顯示面板
- 子晴 (內部sensor)、劭珩 (顯示面板、memory)、亭君 (外部sensor)
- 軟體方面
- protocol (sensor接收), Deep learning (轉彎檢測、路況相關), DSP (硬體的處理方式)
- 瑞憫、皓姿

## **Timeline**
- 2022/11/4 提案討論
- 2022/11/7 提案 presentation
- 2022/11/18 System主要
- System
- Features (functions)
- System diagram (data flow diagram)
- System specification
1. CPU/ARM/..
3. Communication interfaces (wireless, LAN, …)
5. memory requirement
6. Special function unit
7. other interfaces (audio/video..)
- 2022/12/2 System剩餘+Technology
- System
- Features (functions)
-System diagram (data flow diagram)
-System specification
a. CPU/ARM/..
b. Communication interfaces (wireless, LAN, …)
c. memory requirement
d. Special function unit
e. other interfaces (audio/video..)
- Technology (algorithm, protocol, flow-chart, methods, etc)
- Interface definition
- Block diagram ( or software module description )
- Available simulation tool evaluations
- Summaries of the project ( serve as a map to the whole project's
in-and-out )
- 2022/12/16 Technology主要
- Technology (algorithm, protocol, flow-chart, methods, etc)
- Interface definition
- Block diagram ( or software module description )
- Available simulation tool evaluations
- Summaries of the project ( serve as a map to the whole project's
in-and-out )
- 2022/12/30 Technology剩餘+前言後語
- Technology (algorithm, protocol, flow-chart, methods, etc)
- Interface definition
- Block diagram ( or software module description )
- Available simulation tool evaluations
- Summaries of the project ( serve as a map to the whole project's
in-and-out )
- Introduction
- Motivations –including market analysis
- Target applications
- Application Scenario or examples
- Global market analysis
- SWOT Analysis
- Porter’s 5 Forces analysis
- 2023/1/9 final presentation + final report 完成
- 2023/1/16 final report 修改