### 9/19
#### 實體會議
##### 目前專題
* ==滑板姿勢偵測==
* ~~用人像判定人別，用於人流分析~~
* 瓜類紋路甜度分析
* ~~戰旗model~~
* ==圖片與圖片延伸融合 (應用)==
* ~~盲人打排球~~
* ~~盲人辨識~~
* ==食材食譜==
* ~~魔術方塊~~
* ~~旅遊路線生成~~
* ~~GameGan自動駕駛~~
* ~~基於影像辨識的局部即時天氣預測~~
* 可自動偵測可疑行為之監視系統
* 面部微表情測謊系統

https://codi-gen.github.io/
[cvpr](https://github.com/amusi/CVPR2023-Papers-with-Code#CLIP)
方向 方法 目的 成品 dataSet 功能
或找想做的論文

###### 下周會議
[去看論文](https://scholar.google.com.tw/schhp?hl=zh-TW&as_sdt=0,5)
論文架構
本周進度

### 9/26
#### 小組會議

topic: 待定
require:
1. 影像辨識垃圾
2. 聲音辨識垃圾
3. 其他(容量監測、自動開啟、統計)

method:
1. 影像辨識
2. 聲音辨識

goal:
1. 透過實踐深度學習資源回收分類，讓回收前端作業分類更確實
2. 減低複雜資源回收知識教育普及的成本

vision:
1. 增加回收分類細項，如塑膠類型、玻璃顏色，實現大型回收場後端分類自動化

#### 實體會議
1. 去找2020的論文，有做過相關的(提出不一樣的點)
2. 學3D畫圖，把設計圖畫出來(sketchup)
3. 預計進度(甘特圖)
4. 預算估計
5. 要看雙輸入模型(影像聲音)
6. 報告準備
7. 準備好被問問題

==下周二7點線上會議==
==下周三7點==
### 9/30
討論PPT
預計進度(甘特圖)
預算估計

### 10/3
> 準備ptt與教授談線上
1. 不用報告的太多
2. 早期融合玩起融合分歧點
3. 晚期融合 要找新一點的論文
4. 垃圾桶架構要報告詳細一點
5. 垃圾桶的圖要改(比例)
6. 不用報告傅立葉轉換
7. 如何使用產品，需要的材料
8. 論文重點畫，太詳細，把講解列點
9. multi mode audio

-----------------
### 10/4 (教授)
建議沒有垃圾桶
建立一個interface，透過聲音跟影像回饋結果

問題:
1. 辨識上是否可行
2. 做不做得出來

哪一個piority(貢獻):
1. 辨識(學術)
2. 移動(整合)

建議:
1. 找找看有沒有pre-train image voice 的 model (可以find tune)
2. training data set ??? 哪裡來
3. data set 超大，無法收集
4. data 決定成敗 !!!

要做:
1. 可行度的servey
2. 聲音撞擊的實驗(怎樣的撞擊會讓聲音更有分別度)
3. 想 model 跟 data 怎麼來
-----------------------
### 10/17
確定要用early fussion
網路上有dataset可以用
1. 掉落材質: 木板，墜落高度
2. 影像環境: 在正常光源下收集影像

建議:
1. 想好實體垃圾桶，關係到收集資料
2. dataset清楚(統一環境)與不清楚(環境隨意)，這個可以研究
3. 創建好環境，可以放一下
5. 可以去找找看資料收集的方式
6. 預處理資料的function，資料清洗資料擴增
7. 先做再說: dataset、model
8. 下周說「自己」做了什麼
9. 可以跟教授報paper

目標:
1. 收集1000左右train看看，試試看行不行(一個月)
2. 寫出預處理的funtion(不用太限制資料的自由)
3. 要找到有code的model
-----------------------
### 10/24

本周進度:
1. 拍50張

討論:
1. 聲音與圖片沒有 pair 對 albef loss function 的問題
2. 段考後跟教授分類
3. 資料擴增處理

下周:
1. Urban8K 練習CNN(聲音)
2. 聯絡回收廠，收集資料集
4. 修改 albef
5. 大理石或木板訂做
6. 用實驗室的server訓練
------------

### 11/20
小組會議

討論:
模組-> unsupervise k-means (半監督)
預計本周五去簽約
用少量的標記資料來進行訓練embadding模型(Triplet loss)
將所有data embadding過後的向量進行k-means分類

##### 回應
1. data set的狀況：資料完整嗎，內容有什麼，資料label情況，label的內容。
A: 及少量 label，資料量大約 8w 張 (有一些不能用)
3. 其他資源：黑潮有沒有其他的資料集可以用，或者其他的資源。
A: 無，目前因為資料量過於龐大，大多仍使用人工標註

5. 初步評估，可行性分析：題目可不可行，可以拿來做專題嗎，未來可以看看後續有沒有可延伸的題目
A: 大致可行，可使用半監督式模型，若要增強難度可加入資料庫管理、前端UI介面
A: 延伸題目:花紋傷疤成因分析、鯨豚族群分析

7. 組員自我評估技術能力：前後端的架設以及串接的能力，DL模型建立能力。判斷我們能不能夠完成。
A:可以，王柏霖超聰明

### 11/22(教授意見)
1. 相似度可以考慮用**神經網路**做
2. k-means方法有點舊可能會有問題，但model很簡單可以先實做看看
3. embedding方法可能要在focus->有更新的更好(model實作難度要考慮)
4. 確定我們的整體架構
* 會用到哪些model(要分清楚跟確定來源)
--------------------------------------------------------
1. 寒假大專生專題要投
2. 專題展後整理成論文
3. 參加花蓮縣政府的東東

### 11/28開會

下下周才會有完整資料集

1. 本周確定整體架構(要畫圖)，數好要幾個model，下次跟教授開會要回答
* 寫出一個簡單的 triplet loss 的 efficientNet B0
* 用yolo 資料前處離背鰭框選
* 去背
* 資料前處理

2. 去看encoder的論文，選擇要用的
* openset?
* un supervise / semi

討論
test用雙生網路(或模型)做相似度偵測(可能比較快?好?)

論文查找方向:
1.open-set
2.encoder
3.cite 原本那篇論文的論文
> 論文重點:
1.資料集是否為open-set
2.用甚麼模型
3.使用什麼資料集預訓練(或沒有)
4.資料增強的方式

論文分工:
吳文彰 ->
王柏霖 -> encoder
羅芷欣 -> openset
劉彥霆 -> cite 原本那篇論文的論文

分工:
吳文彰 -> 資料前處理、畫模型架構
王柏霖 -> 寫出一個簡單的 triplet loss 的 efficientNet B0
羅芷欣 -> 用yolo 資料前處離背鰭框選
劉彥霆 -> 去背

### 12/5開會
* yolo 框選工具可以找好一點
* 試試看陰天的背鰭，可不可以CV切
* 架構圖 (已延宕)
* 第一片論文可以看
* triplet loss 可以看看新的

##### 下周進度
* **背鰭偵測自己 train(yolo v8)**
* 架構圖
* 繼續寫 triplet loss 的 efficientNet B0
* 繼續看論文
* 下周可以學怎麼用實驗室的電腦
* 買硬碟
* 下下周可以有一些結果 (很爛沒關係)

### 1/9與教授開會
/*待編輯*/

### 1/22 小組會議
展示自己的成果(見每周進度)

會議內容:
* 要講 SQL 的架構 for 劉
* 做一個網頁模板
* 王柏霖明天 train 好，周四前
* 組合周四前
* YOLO 修好周二前
* 吳(cite)跟羅(introduction)用報告
* 羅收集distractor(已完成)

https://drive.google.com/drive/folders/1UqGaEE7yuhdn4KuivFlGIm_6cKhBGbCt?usp=sharing

https://docs.google.com/document/d/1dNRw2X0kNcQFXjJGlQiwwQdJcg2hrqS5/edit?usp=drive_link&ouid=102821396513255405391&rtpof=true&sd=true
https://drive.google.com/drive/folders/11_waIrbXFeqnusJxxSm3xf78FzCo8IOi?usp=sharing

### 1/23 lab 會議
要去查今年的格式
perposal 版
* 摘要:我們在做甚麼，關鍵字
* 第一段: 存在的問題(issue)
* 第二段: 用的技術(簡介)
* 動機
* 我們為甚麼要解決
* 問題
* 我們在解決怎樣的問題
* 流程圖可以先做
* 資料庫
* 資料在過程的演進
* 系統架構
* 前後端(軟體硬體要分開)
* 技術
* 預期結果:
* 作圖呈現
* ref: over10

預期進度:
把 Triple loss train 好
計劃書初稿2-1,2-2,2-3 ， 1 page

介面放上去要自動框出背鰭(手動調整) 輸入

### 1/30 lab會議

下周一定要完成計畫書(2/7要交)
分下去寫

### 3/5

model
* 模型pytorch呼叫沒有問題
* resnet modify 參數 false
* traing時沒有testing資料
* 資料量平衡'
* 最後看超參數 transfer learning 的設定 原因 結果

* 先不要用 K fold
* 要把實驗過程記下來(loss圖 超參數 資料量 現在的traing testing accurancy方法)
* 或可以試著印出視覺化TSNE
* 先不要調整資料量 要一個raw model
* ResNet input imgsz

3/19

* 建議先做成98類的分類，投射到TSNE
* 會不會ResNet50 pretrain不適合我們的Model，把freeze改成true
* avg loss
* gradient
* lr