![](https://hackmd.io/_uploads/rkr1fSGKh.gif) ## 背景知識 [:book:](/@ChienTsangPan/introduction) :::success **心臟超音波** 是一種無創性的檢查方法,通過利用超音波波束來獲取心臟結構和功能的影像 ::: ## 目標 ### 醫生希望目標 :::info 從術後(動脈瓣膜置換術, AVR(aortic valve replacement))的病人彩色心臟超音波來分類正常或異常(瓣膜閉合不全(AR, aortic regurgitation)、瓣膜狹窄(aortic stenosis, AS)、瓣膜漏洞) ::: ### ## 分析方法 :::success [和其他超音波圖的資料前處理和模型可能差異](/UZdbWO1gS9eYy2C5bYBEdg) ::: ## 初步想法 :::success [Color mapping](/oTu6uLaKSL2EpOM6zgqLpQ) [Encoder-Decoder,分辨出是否具有逆流](/-ilyQ1cGS4mSXwksdiX_1w) ::: ## 進度 :::info #### Week48 (7/10~7/16): - [ ] 跟李醫師確認: - [ ] 異常有沒有醫師診斷 - [ ] 有沒有申請 IRB - 正在申請 - [x] 修正改論文 - [ ] 論文精簡版 #### Week47 (7/2~7/9): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [x] 口試:整理口委意見 - [x] 修正論文 - [x] 7/3跟學弟交接 - [ ] 論文精簡版 #### Week46 (6/24~7/2): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [x] 口試:整理口委意見 - [x] 用PLAX/PSAX model 做分析 - [x] 作分析,如果 PLAX/PSAX model 答案不同,則用 dropout 取9次答案 - [x] 小實驗一:不做分身,將長短軸模型 sigmoid output 除以 2,再過伐值 0.5 取預測結果 - [x] 小實驗二:做分身,將 18 model's output 經 sigmoid 取平均 - [x] 小實驗三:做分身,比較長短軸的分身們中的正異常比例取較可行的 - [ ] 論文精簡版 - [ ] 7/3跟學弟交接 #### Week45 (6/12~6/19): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [ ] 申請車位:確認位子 - [ ] 用PLAX/PSAX model 做分析 - [ ] 作分析,如果 PLAX/PSAX model 答案不同,則用 dropout 取9次答案 - 改用小一點的 dropout_rate - droupout_rate=0.5, acc=0.4348 - droupout_rate=0.4, acc=0.4348 - droupout_rate=0.2, acc=0.4348 - droupout_rate=0.1, acc=0.4348 - droupout_rate=0.01, acc=0.6522, 0.5652, 0.5652 - [ ] grad_cam 視覺化判斷特徵 - [ ] 確認 duplex 是否可行 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week44 (6/12~6/19): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [x] 申請車位 - [x] 論文: - [x] 介紹 - [x] 相關研究 - [x] 研究方法 - [x] 實驗結果 - [x] 結論 - [ ] 原創性比對 - Turnitin ![image](https://hackmd.io/_uploads/rktQ_o0BA.png) - 國家圖書館 - [ ] 用PLAX/PSAX model 做分析 - [ ] 作分析,如果 PLAX/PSAX model 答案不同,則用 dropout 取9次答案 - 改用小一點的 dropout_rate - droupout_rate=0.5, acc=0.4348 - droupout_rate=0.4, acc=0.4348 - droupout_rate=0.2, acc=0.4348 - droupout_rate=0.1, acc=0.4348 - droupout_rate=0.01, acc=0.6522, 0.5652, 0.5652 - [ ] grad_cam 視覺化判斷特徵 - [ ] 確認 duplex 是否可行 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 - [ ] #### Week42 (5/28~6/4): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [ ] 論文: - [x] 介紹 - [x] 相關研究 - [x] 研究方法 - [ ] 實驗結果 - [x] 實驗一 - [x] 實驗二 - [ ] 實驗三 - [ ] 實驗四 - [ ] 結論 - [ ] 用PLAX/PSAX model 做分析 - [x] 把plax R0-R5 的dataset做處理,將同時具有 psax 的病人挑出,做成 new psax R0-R5 - [ ] 如果 PLAX/PSAX model 答案不同,則用 dropout 取9次答案 - [ ] grad_cam 視覺化判斷特徵 - [ ] 確認 duplex 是否可行 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 - [ ] #### Week41 (5/20~5/27): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [ ] 詢問口試委員 - ![image](https://hackmd.io/_uploads/H1rpBy7NR.png) - [ ] 論文: - [x] 介紹 - [x] 相關研究 - [x] 研究方法 - [ ] 結果與討論 - [ ] 結論 - [ ] 引用 - [ ] 用PLAX/PSAX model 做分析 - [ ] 1. 創建有 dropout 的 model 2.依據訓練好的模型載入模型權重 3.是根據 key & value 來匯入的,但是發現新模型的各層命名有一點點不一樣 0 -> 0.0 - model - <img src="https://hackmd.io/_uploads/S1IrFkQVA.png" alt="圖片描述" width="70%" height="80%"> - model_dropout - <img src="https://hackmd.io/_uploads/BkXhdkX40.png" alt="圖片描述" width="90%" height="90%"> - [ ] 如果 PLAX/PSAX model 答案不同,則用 dropout 取9次答案 - [ ] 處理軟體工程學會:法人理、監事(任期屆滿改選)變更登記 - [x] 寄發法人並更登記 - [ ] 財務登記 - [ ] 會址變更 - [ ] grad_cam 視覺化判斷特徵 - [ ] 確認 duplex 是否可行 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week40 (5/7~5/13): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - 正在申請 - [ ] 有沒有任教經歷 - 沒有 - [x] 補實驗次數(6次平均): - [x] 32f PLAX 訓練: - [x] chinese_model - [x] 32f PSAX 訓練(only 有前處理): - [x] mc3_model - [x] 32f PLAX + PSAX訓練(only 有前處理): - [x] mc3_model - [ ] 論文: - [x] 介紹 - [x] 相關研究 - [ ] 研究方法 - [ ] RQ - [ ] 結論 - [ ] 引用 - [x] 將同時有 PLAX/PSAX 的病人整理成新 dataset - [ ] 用PLAX/PSAX model 做分析 - [ ] grad_cam 視覺化判斷特徵 - [ ] 確認 duplex 是否可行 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week39 (4/16~4/23): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - [x] 確認研討會時間 - [x] 研討會前需要找時間去醫院進行簡單報告 - [x] 製作簡報 - ![image](https://hackmd.io/_uploads/HJJyDAa-C.png) - ![image](https://hackmd.io/_uploads/SyzZwATb0.png) - 確認能否再提供訓練資料,數量? - [ ] 中國模型和pytorch model比較 - [ ] 補實驗次數(6次平均): - [x] 32f PLAX 訓練(chinese code) - [x] chinese_model - [x] mc3_model - [x] r2+1_model - [x] r3d_model - [ ] 40f PLAX 訓練: - [ ] chinese_model - [ ] mc3_model - [ ] 32f PSAX 訓練: - [ ] chinese_model - [ ] mc3_model - [ ] 32f PLAX + PSAX訓練: - [ ] chinese_model - [ ] mc3_model - [x] 補實驗: - [x] 結構+血流 vs 血流 - [x] 內插倍數比較 - [ ] 確認 duplex 是否可行 - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week36 (3/26~4/2): - [x] 買顯卡: - 4070 ti super - 已經可以使用,但4070 ti super需要750W的power,目前實驗室沒有適合的power(850) - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - [ ] 確認研討會時間 - [ ] 暫定 5/2 - [ ] 研討會前需要找時間去醫院進行簡單報告 - [ ] 製作簡報 - [ ] 確認能否再提供訓練資料,數量? - [ ] 中國模型和pytorch model比較 - [x] 補實驗: - 修改 code 成將最佳模型存成最後 1 epoch, 資料重新切割成(120:30 = train:test) 做訓練 - 須注意不能印出 test_loss,且我們/中國的資料需一致 - [x] 32f PLAX 訓練(chinese code) - [x] chinese_model - [x] mc3_model - [x] r2+1_model - [x] r3d_model - [x] 40f PLAX 訓練: - [x] chinese_model - [x] mc3_model - [x] 32f PSAX 訓練: - [x] chinese_model - [x] mc3_model - [x] 32f PLAX + PSAX訓練: - [x] chinese_model - [x] mc3_model - [ ] 結構+血流 vs 血流 - [ ] r3d / r(2+1) 50 frames - [ ] 確認 duplex 是否可行 - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week35 (3/12~3/19): - [ ] 買顯卡: - ![image](https://hackmd.io/_uploads/S1GdlL66T.png) - ![image](https://hackmd.io/_uploads/H1uCVu80a.png) - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - [ ] 確認會議時間 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [ ] 中國模型和pytorch model比較 - [x] 補實驗: - 修改 code 成將最佳模型存成最後 1 epoch, 資料重新切割成(120:30 = train:test) 做訓練 - 須注意不能印出 test_loss,且我們/中國的資料需一致 - [ ] 32f PLAX 訓練(chinese code) - [x] chinese_model - [x] mc3_model - [ ] r2+1_model - [ ] r3d_model - [ ] 40f PLAX 訓練: - [ ] chinese_model - [ ] mc3_model - [ ] r2+1_model - [ ] r3d_model - [ ] 32f PSAX 訓練: - [ ] chinese_model - [ ] mc3_model - [ ] r2+1_model - [ ] r3d_model - [ ] 40f PSXA 訓練: - [ ] chinese_model - [ ] mc3_model - [ ] r2+1_model - [ ] r3d_model - [ ] 32f PLAX + PSAX訓練: - [ ] chinese_model - [ ] mc3_model - [ ] r2+1_model - [ ] r3d_model - [ ] 40f PLAX + PSAX訓練: - [ ] chinese_model - [ ] mc3_model - [ ] r2+1_model - [ ] r3d_model - [ ] 結構+血流 vs 血流 - [ ] r3d / r(2+1) 50 frames - [ ] 確認 duplex 是否可行 - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week35 (3/12~3/19): - [ ] 買顯卡: - ![image](https://hackmd.io/_uploads/S1GdlL66T.png) - ![image](https://hackmd.io/_uploads/H1uCVu80a.png) - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - [ ] 確認會議時間 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 補實驗: - [x] 32f PLAX 訓練(chinese code) - [ ] 修改 code 成將最佳模型存成最後 1 epoch, 資料重新切割成(120:30 = train:test) 做訓練 - [ ] 40f PLAX 訓練(chinese code) - [ ] 32f PSAX 訓練(chinese code) - [ ] 40f PSXA 訓練(chinese code) - [ ] 32f PLAX + PSAX訓練(chinese code) - [ ] 40f PLAX + PSAX訓練(chinese code) - [ ] 結構+血流 vs 血流 - [ ] r3d / r(2+1) 50 frames - [ ] 確認 duplex 是否可行 - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week34 (2/20~2/27): - [ ] 跟李醫師確認: - [ ] 有沒有申請 IRB - [ ] 確認會議時間 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 處理好新資料(當作 test data) - [x] PLAX - [x] 手動紀錄 value - [x] 手動繪製 mask - [x] 其餘前處理 - [x] PSAX - [x] 補實驗: - [x] 嘗試其他 learning rate PLAX 訓練(chinese code) - [x] 使用 test data 進行測試 - [ ] 40 frames PLAX 訓練(chinese code) - [ ] 32f PSAX 訓練 - [ ] 40f PSXA 訓練 - [ ] mix(psax+plax) 32f - [ ] mix(psax+plax) 40f - [ ] 結構+血流 vs 血流 - [ ] r3d / r(2+1) 50 frames - [ ] 確認 duplex 是否可行 - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week33 (2/7~2/20): - [ ] 跟李醫師確認: - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [ ] 中國 code : - [ ] 3-fold - [ ] 補實驗: - [ ] mix(psax+plax) 40 frames - [ ] mix(psax+plax) 40 frames / 資料強化 - [ ] r3d / r(2+1) 50 frames - [ ] 處理好新資料 - [ ] 手動紀錄 value - [ ] 手動繪製 mask - [ ] 其餘前處理 - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week32 (1/30~2/6): - [x] 跟李醫師確認: - [x] 2/1 去醫院找他拿資料 - 87 data: Normal(L:27, S:27), Abnormal(L:18, S:13) - 目前共 Normal(L:75, S:73), Abnormal(L:74, S:84) - 確認研究方向為 AVR(aortic valve replacement) failure classification : Abnormal(AR, AS...) - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 資料前處理 - [x] 帶學弟做影像分類(檢查長短軸) - [x] 中國的 code 試試看: - Find bug: - 執行: - self.kf_metric_board = metric_dict[self.config.kf_metric_class]錯誤 - 原因: - ar_plax.yaml 中並沒有 kf_metric_class - <img src="https://hackmd.io/_uploads/rJJ3wLU5p.png" alt="圖片描述" width="60%" height="60%"> - 缺少自定義 func: - 每個 epoch 跑完會呼叫self.dataloader.train_dataset.update_feed_list() - 使用自定義 Rgloss: - <img src="https://hackmd.io/_uploads/HyyJ0Ovq6.png" alt="圖片描述" width="80%" height="80%"> - dataset_loader 沒有載入分類標籤: - 缺 sample['label'] = data['label'] - <img src="https://hackmd.io/_uploads/HyVwBqI96.png" alt="圖片描述" width="40%" height="40%"> - 程式中的範例 data 使用的 長寬和論文中不同 - ![image](https://hackmd.io/_uploads/HyhyAI8qT.png) - 範例是 320*240 - 版本過時: - skimage.transform.rescale 不支持 multichannel:降版本 -> 0.23->0.19 - Train_acc: - ![image](https://hackmd.io/_uploads/HywmjMyja.png) - Train_loss: - ![image](https://hackmd.io/_uploads/SJ0Zjf1jT.png) - Valid_acc: - ![image](https://hackmd.io/_uploads/rJ3p5MyiT.png) - Valid_loss: - ![image](https://hackmd.io/_uploads/rJDysf1oT.png) - [x] 補實驗: - [ ] 加上新資料跑 內插 x8 / 20 frame / psax - [ ] mix(psax+plax) 40 frames - [ ] mix(psax+plax) 40 frames / 資料強化 - [ ] r3d / r(2+1) 50 frames - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week31 (1/24~1/31): - [ ] 跟李醫師確認: - 2/1 去醫院找他 - [ ] 正在處理 100 筆資料 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 補實驗: - [x] psax/ 40 frames / 50 frames - [x] 因應 loss 降太快的修改: - SGD learning rate 調小(no pretrain) - L2 penalty: - 目前的設置有添加 weight_decay,相當於 L2 公式的 Lambda - <img src="https://hackmd.io/_uploads/rJxjjWBq6.png" alt="圖片描述" width="60%" height="60%"> - [x] 使用不同 optimizer(Adam、RMSprop、Adadelta) - [x] 資料強化(70*2=140) - [x] 處理資料( frame 作單位) - [ ] 中國的 code 試試看 - [ ] grad_cam 視覺化判斷特徵 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 研究內插演算法 - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week30 (1/17~1/23): - [ ] 跟李醫師確認: - [ ] 正在處理 100 筆資料 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [ ] 補實驗: - [x] 混合長短軸: - plax(104) = Abnormal(56) + Normal(48) - psax(102) = Abnormal(56) + Normal(46) - mix(206) = Abnormal(112) + Normal(94) - [x] 內插 x2/x4/x8 取 10, 20 frames - [x] 不要 pretrain - mc3: valid acc: 0.6078 - Kinetics400 Dataset: - 65 萬筆 400 個人類動作類別的影片 - [x] Rescale:PSAX - [ ] psax/ 40 frames / 50 frames - [ ] 中國的 code 試試看 - [ ] grad_cam 視覺化判斷特徵 - [ ] 研究內插演算法 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week29 (1/10~1/16): - [ ] 跟李醫師確認: - [ ] 正在處理 100 筆資料 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 資料強化(70*2=140) - [x] 建設環境 - [x] 處理資料(video作單位) - RandomRotation/Resize/HorizontalFlip - type 6: RandomRotation(-10~10) + Resize(0.9~1.1) + HorizontalFlip(0.5) - [x] 訓練 - [ ] 補實驗: - [ ] 混合長短軸 - [ ] 內插 x2/x4/x8 取 10 frames - [ ] 最後一層改成輸出2層 - [ ] 不要 pretrain - [ ] psax/ 40 frames / 50 frames - [ ] 中國的 code 試試看 - [ ] grad_cam 視覺化判斷特徵 - [ ] 研究內插演算法 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week29 (1/10~1/17): - [ ] 跟李醫師確認: - [ ] 正在處理 100 筆資料 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 資料強化(70*2=140) - [x] 建設環境 - [x] 處理資料(video作單位) - RandomRotation/Resize/HorizontalFlip - type 6: RandomRotation(-10~10) + Resize(0.9~1.1) + HorizontalFlip(0.5) - [x] 訓練 - [ ] 補實驗: - [x] 將 3-fold 做五次,每次樣本切割不同 - [x] 直接取 10 frames vs 10 frames/cycle - [x] 將 linear layer 改成 Relu - [ ] psax/ 40 frames / 50 frames - [ ] 中國的 code 試試看 - [ ] grad_cam 視覺化判斷特徵 - [ ] 研究內插演算法 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week28 (1/2~1/9): - [ ] 跟李醫師確認: - [ ] 正在處理 100 筆資料 - [ ] 備註:如果 acc 有到 80% ,可以考慮跟醫生問問看能不能開源 dataset - [x] 補上 sensitiviy, specificity - [x] 驗證一下全部內差的資料是否時間分布有比部分內插均勻 - [ ] 資料強化(70*2=140) - [x] 建設環境 - [x] 處理資料(video作單位) - RandomRotation/Resize/HorizontalFlip - type 6: RandomRotation(-10~10) + Resize(0.9~1.1) + HorizontalFlip(0.5) - [ ] 訓練 - [ ] 補實驗: - [ ] 將 linear layer 改成 Relu - [ ] psax/ 40 frames / 50 frames - [ ] 直接取 10 frames vs 10 frames/cycle - [ ] 中國的 code 試試看 - [ ] grad_cam 視覺化判斷特徵 - [ ] 研究內插演算法 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week27 (12/26~12/31): - [x] 跟李醫師確認: - [ ] 正在處理 100 筆資料 - [x] 用 15, 25 frames 跑結果,再將 mc3 模型加一層(feature = 2, categorical_crossentropy) - [x] 長軸影像的訓練 - 處理到一半 - [x] 驗證一下全部內差的資料是否時間分布有比部分內插均勻 - 沒有 - ![image](https://hackmd.io/_uploads/Bku5VRgOa.png) - [x] 其他論文的方法 : - Automated_Analysis_of_Doppler_Echocardiographic_Videos_as_a_Screening_Tool_for_Valvular_Heart_Diseases(2023) - 訓練資料:(異常(414)+正常(919)) / PLAX / 32 frames / 224*224 - Accuracy(0.94), Sensitivity(0.85), Specificity(0.98) - Deep Learning Methods for Classification of Certain Abnormalities in Echocardiography (2021) - 訓練資料:(540) / PLAX / 224*224 - ![image](https://hackmd.io/_uploads/BkmHzkWdT.png) - SVM(acc=0.76), LSTM(0.72) and VAE-CNN(0.9) - [ ] 資料強化(70*2=140) - [ ] 中國的 code 試試看 - [ ] grad_cam 視覺化判斷特徵 - [ ] 研究內插演算法 - [ ] 使用演算法判斷影像的亂流區塊,來當作分類的 baseline - [ ] 補實驗:訓練 high - quality : 驗證 poor - quality,來驗證是否因為参不好的影像導致訓練模型誤差增加 #### Week26 (12/19~12/25): - [x] 跟李醫師確認: - [x] 跟李醫師約 12/20 12:00 見面 - [x] 跟李醫師傳達這裡的研究進度,看看有什麼建議 - 有跟醫生核對過我的短軸資料,其中混有2筆長軸資料(105-2) - 有確認過重複 id 出現在正常和異常的問題 - sensitivity>0.9, specificity>0.8 - [ ] 更多訓練資料 - 正在處理 100 筆資料 - [x] 將 model 各層的 kernal, node 列出 - [x] 將流速 -30~+30 -> 0~+60 - [ ] 驗證一下全部內差的資料是否時間分布有比部分內插均勻 - [ ] 長軸影像的訓練 - 處理到一半 #### Week24, 25 (12/6~12/18): - [x] 跟李醫師確認: - [x] 跟李醫師約 12/20 12:00 見面 - [ ] 跟李醫師傳達這裡的研究進度,看看有什麼建議 - [ ] 更多訓練資料 - [x] 調整內插倍率,在做訓練。如:cycle 超過10 frames 的影片不做內插 / fps 內插 2 倍 - [x] 紀錄 MC3, R(2+1)D, R3D 細節(activation 架構) - 結論:有 bias 的 R3D model + 全部內插的資料效果最好 #### Week23 (11/29~12/5): - [x] 將資料調整成 10 frames 一個 cycle - [x] Resize to (150*200) - [x] 用模型訓練看看: * 使用 pytorch 現成的 ResNet (2+1)D ,再將特徵向量用二元分類器做分類 * ![image](https://hackmd.io/_uploads/BkYJJ0fSa.png) * ![image](https://hackmd.io/_uploads/H1rUvWhHp.png) * ![image](https://hackmd.io/_uploads/H1VwP-2HT.png) * ![data_distribution_plot](https://hackmd.io/_uploads/HyoNqb3HT.png) * 目前以 MC3 正確率較高 * Swin-Unet - [ ] 影像比例尺統一 #### Week22 (11/22~11/28): - [x] 跟李醫師詢問資料: * 上禮拜出國,之後再連絡 - [x] 將彩色資訊做平滑 - [x] 資料前處理 - 將影像切成固定的 frames(先固定一個心跳週期) - [x] python video_to_slomo_SF.py --ffmpeg_dir ffmpeg-6.1-full_build/bin/ffmpeg.exe --checkpoint inputs/dataset_folder/checkpoint/SuperSloMo39.ckpt --inputDir inputs/dataset_folder/Video_folder --sf 8 --outputDir outputs --width 800 --height 600 - [ ] Resize to (150*200) - [ ] cubic interpolation(Multibeat echocardiographic phase detection using deep neural networks 2021) - [ ] 影像比例尺統一 #### Week21 (11/14~11/21): - [x] 資料前處理 - 將影像去除周邊訊離 * 畫好 Normal mask - [x] 將彩色和黑白影像分離 * 使用 HSV 色彩空間 * Interactive Color Image Segmentation using HSV Color Space(2019) - [x] Color scale 反正規化 - [ ] 資料前處理 - 將影像切成固定的 frames(先固定一個心跳週期) - [ ] 如果一個心跳周期的 frame 不夠,會需要用內插法,線性內插還是非線性內插?還是超音波影像會有專門的內插方式? 極座標縮放 - [ ] Resize to (150*200) - [ ] cubic interpolation(Multibeat echocardiographic phase detection using deep neural networks 2021) #### Week20 (11/8~11/15): - [x] 整理現有影像的相關資訊成 CSV 檔案 * ![name=ChienTsangPan](https://hackmd.io/_uploads/rJ3MbJRGa.png) * 之後再算一個心跳週期需要多少 frame 來表達時需要(bpm, fps) * ![image](https://hackmd.io/_uploads/S1bPZrg4p.png) - [ ] 將彩色和黑白影像分離 - [ ] Color scale 正規化 - [ ] 資料前處理 - 將影像去除周邊訊離 * 畫好 Normal mask - [ ] 資料前處理 - 將影像切成固定的 frames(先固定一個心跳週期) - [ ] 如果一個心跳周期的 frame 不夠,會需要用內插法,線性內插還是非線性內插?還是超音波影像會有專門的內插方式? 極座標縮放 #### Week19 (11/1~11/7): - [x] 詢問關於超音波影像的事情 * 上禮拜在幫影像分類時遇到一些困難,於是跟李醫師連絡後,昨天去振興醫院做諮詢。 * 醫師有請超音波技師跟我說明 * 資料都是超音波技師丟給我的,所以資料較為混雜 - [x] 分析 grayscale 是否一致 - [x] Unsupervised dealiasing and denoising of color-Doppler data(2011) * Correction of Aliasing in Color Doppler Echocardiography Based on Image Processing Technique in Echodynamography (2018)有在使用到2011年所提到的方法,之後的 dealiaing & denoising 幾乎都使用 deep learning 的方法 - [ ] 整理現有影像的相關資訊成 CSV 檔案 * ![name=ChienTsangPan](https://hackmd.io/_uploads/rJ3MbJRGa.png) * 之後再算一個心跳週期需要多少 frame 來表達時需要(bpm, fps) - [ ] Color scale 正規化 - [ ] 資料前處理 - 將影像去除雜訊 * 處理好 Normal 資料 - [ ] 資料前處理 - 將影像切成固定的 frames(先固定一個心跳週期) - [ ] 如果一個心跳周期的 frame 不夠,會需要用內插法,線性內插還是非線性內插?還是超音波影像會有專門的內插方式? 極座標縮放 #### Week18 (10/24~10/31): - [x] 詢問關於超音波影像的事情 * 目前有跟李醫生和陳主任問這兩個問題,但皆未回應 - [x] 1. 在術後評估瓣膜功能時,在彩色超音波中能只根據白色框(ROI)中的資訊來觀測是否正常? * 目前詢問結果,身邊的親友說通常會將彩色的血流資訊和黑白的結構資訊一起看,但沒有說能否只根據ROI來判斷 - [x] 2. 在術後評估瓣膜功能時,能只根據血流色彩來分辨瓣膜是否正常嗎? 還是會需要結合心臟結構的資訊來分辨 * 除非瓣膜沒裝好造成明顯血液逆現象,否則只憑血液流速資訊難以判斷 - [x] 確認 color scale pixel(RGB) 是否有差異 - [x] 確認好超音波影像的資訊(*2, PR value, M3M4 value, 圓圈) - [ ] 還有一些資訊待釐清 * ![](https://hackmd.io/_uploads/Hy_LsRpf6.png) - [ ] 資料前處理 - 將影像去除雜訊 * 處理好 Normal 資料 - [ ] 資料前處理 - 將影像切成固定的 frames(先固定一個心跳週期) #### Week17 (10/17~10/23): - [x] 追蹤李醫師關於訓練資料事情 * <img src="https://hackmd.io/_uploads/HkJ6UoNMp.png" alt="圖片描述" width="60%" height="60%"> * AR(Aortic valve regurgitation): * <img src="https://hackmd.io/_uploads/SJaMPoEf6.pn" alt="圖片描述" width="80%" height="80%"> * ![](https://hackmd.io/_uploads/rJntqjVfa.png) - [x] 資料前處理 - 將影像去除雜訊 * 目前只處理好 Abnormal 資料 - [x] 資料前處理 - 將影像分類黑白和彩色 - [x] 資料前處理 - 將影像 resize #### Week16 (10/11~10/16): - [x] 追蹤李醫師關於訓練資料事情 - [x] 10/16 給與資料: * ![](https://hackmd.io/_uploads/BJLGJ8sWa.png) * 問題: - [ ] normal, abnormal 的患者是同一人嗎? - [ ] 這些編號(1~6)是甚麼意思,是代表不同的 view 嗎? 像是目前所能觀察到的是 2 是 PLAX, 4 是 A4C * 目前李醫師先叫我看一下資料,看我有沒有什麼想法,但目前我對於這些資料的背景還不清楚,正在跟李醫師做詢問 - [x] 閱讀完 RVENet: * Dataset: * ![](https://hackmd.io/_uploads/rJ9rmIiZp.png) * ![](https://hackmd.io/_uploads/SyRnQUoWT.png) * Objective: * The classification of RVEF as normal or reduced(RVEF<45%) * The prediction of the exact RVEF values * Model: * Input: 1 Cardiac cycle, 20 frames(來自 stanford 2020 對於 EF研究) * <img src="https://hackmd.io/_uploads/H1hBwLsZa.png" alt="圖片描述" width="30%" height="30%"> * <img src="https://hackmd.io/_uploads/rJNwPLibT.png" alt="圖片描述" width="20%" height="20%"> * L(Cardiac cycle), HR(Heart rate), SF(Sampling frequency) * Architecture * R(2+1)D spatiotemporal convolutional(Pytorch) * ![](https://hackmd.io/_uploads/rkboKIj-p.png) * EFNet * feature extractor backbone(ShuffleNet V2): Binary classification * feature extractor backbone(ResNext50): Regression - [x] 備案: * ![](https://hackmd.io/_uploads/HkHGZDiba.png) * ![](https://hackmd.io/_uploads/SyL4ZDsZa.png) #### Week14 (9/26~10/3): - [x] 追蹤李醫師關於訓練資料事情 - [x] 確認影片是否有做過處理 - [x] 確認各機器的 frame 取樣頻率 * 型號 * [Philips iE33(Max Frame Rate:500)](https://www.probomedical.com/shop/ultrasound-systems/philips/philips-ie33/) * [Philips CX50(Max Frame Rate:755)](https://www.probomedical.co.uk/shop-systems/ultrasound-machine/philips/philips-cx50/) * [Philips Epiq 7(Max Frame Rate:2800)](https://www.probomedical.co.uk/shop-systems/ultrasound-machine/philips/philips-epiq-7/) * [Sonosite 180 Plus(Max Frame Rate:100)](https://stsurg.com/product/sonosite-180-plus-ultrasound-machine/) * frame rate 為可以手動設置,所以要看醫生是怎麼設定超音波機器的 * frame rate 的限制: * frame rate 受到**患者心率**、**探頭的選擇**和**使用的成像模式**等因素的限制。 * 一些[論文](https://www.frontiersin.org/articles/10.3389/fmed.2022.850555/full)中提到 * ![](https://hackmd.io/_uploads/S1CMKc_ga.png) - [x] 整理相關論文的取樣頻率 - [x] 再跑跑看 Echonet-dynamic 使用 A2000 * 論文中 Setting (batch_size = 20, frames = 32) * 上禮拜因為只用一塊 RTX 4000,Setting(batch_size = 1, frames = 16),因為 batch_size 過小無法而導致和論文中的數值有落差(Validation loss = 136.7) * <img src="https://hackmd.io/_uploads/SJ1j831ea.png" alt="圖片描述" width="60%" height="60%"> * 這禮拜多加一塊 A2000 執行 (batch_size = 20, frames = 16) * ![](https://hackmd.io/_uploads/B1Rqli_l6.png) * test roc * <img src="https://hackmd.io/_uploads/ryFn4sdxT.png" alt="圖片描述" width="50%" height="50%"> * val roc * <img src="https://hackmd.io/_uploads/ryFn4sdxT.png" alt="圖片描述" width="50%" height="50%"> - [ ] 閱讀 Echonet-LVH 論文 (PLAX) * 目的1: * Frame-level semantic segmentation of the left ventricular wall thickness from PLAX videos * Input: * Fixed framed video(8, 16...) * FPS: 14-136 * 部分 frame labeled with intraventricular septum (IVS), left ventricular internal dimension (LVID), left ventricular posterior wall (LVPW) * Model: DeepLabV3 * ResNet架構 * Atrous Convolution * Spatial Pyramid Pooling * Decoder * ![](https://hackmd.io/_uploads/ry2AJhuea.png) * 目的2: * Video-based disease classification(amyloidosis, cardiomyopathy, other) * labeled A4c video labeled * Model: 18-layer ResNet3D #### Week13 (9/19~9/25): - [x] 追蹤李醫師關於訓練資料事情 * 目前無回應,預定給資料日期(10/3) - [x] 閱讀 EchoNet-Dynamic 論文 * ![](https://hackmd.io/_uploads/rJoicnyxT.png) * ![](https://hackmd.io/_uploads/B17Oq2ke6.png) * ![](https://hackmd.io/_uploads/HkKMs2klT.png) - [x] 執行 EchoNet-Dynamic Code * 使用的模型架構來自 pytorch * ![](https://hackmd.io/_uploads/SJUMEy31p.png) * ![](https://hackmd.io/_uploads/BJWpmJ2ya.png) * 執行 Segmentation of the Left Ventricle result * ![](https://hackmd.io/_uploads/B1jZ7nJe6.png) * Size file * ![](https://hackmd.io/_uploads/Syr_jn1gT.png) * Loss * ![](https://hackmd.io/_uploads/r1X2G6Jga.png) * ![](https://hackmd.io/_uploads/H1E4H21ep.png) * 執行 Prediction of Ejection Fraction result * 論文中 Setting (batch_size = 20, frames = 32) * ![](https://hackmd.io/_uploads/H1QNdw6kp.png) * ![](https://hackmd.io/_uploads/BJjfcQlgp.png) * 後來執行 Setting (batch_size = 1, frames = 16) * ![](https://hackmd.io/_uploads/BJ6gDh1ep.png) * ![](https://hackmd.io/_uploads/SJ1j831ea.png) * 目前狀況 * ![](https://hackmd.io/_uploads/rJXUPhygp.png) * ![](https://hackmd.io/_uploads/HJZOPhklT.png) * 解法:目前使用的是 RTX 4000(8G RAM)->改用 A2000 (12G RAM) 試試 #### Week12 (9/12~9/18): - [x] 追蹤李醫師關於訓練資料事情 * ![](https://hackmd.io/_uploads/B1WzQoH1a.png) - [x] 整理目前所看過的論文(input/output、模型) - [x] 閱讀並執行 source code ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEUaCXVzLWVhc3QtMSJGMEQCIG0LOStPSOhIFgzTLDV%2FoD8aCcCkT%2F9q6n9xMTOs4XWNAiBNEnxZ99u4UlZKSrprBQWFU9yh3PcCeq10372icGKxWSq8BQje%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMgXz64YKZbRNs5D%2FuKpAF6LGwDoLTXrx%2FFQR%2Bw1C2sOv8IKUSmpBNQI8S8GCNQ1PDq9hwXEpaaHqQRTINNg5b8uBqq%2FhHFtcnDvDgZVHWxvDAb9R9ZW6KAyVwuz0LEeJ78nMk0yF8Qnnnlf3i6Y23PgrgwHmT1CQfIxBysvde9eBA%2FFL%2FCxNG6d2bGPAwe7nEa6XImd7WkjS551RI7zualSOlICZJy2G6%2BFK0yE9lgKVLqd2HoDcMxk2DJhOFzFSLlqhp5GNw955IPSPOAw7ckhjsdSFYt7eqpuKNuPKaDhDwhfFXIH4sTdchKyC6ZUWGY8QYoEWPOKfenBTTfxsJN3iTHm9ugEXXpUBd12fGInfFpVsWOifbyTWnUnje9o2ReI7loUVo0Oo6an8GbqCHb1uec9z505XPTMgaCkccRflrejM0XvdvYOews1PhmuOXIM3ziYtAjLq0%2BSo1Qp0SgqTZiGWuvGGkgzXd1KeivWS7ns%2BXCSU2ZHF14D2JqFNbZyIcXlEaM469%2BfvFouWiSyU3emc90pL4pfgPSRfBrhDt1V7aLuG%2BqlcaAJWyOePG%2FCjMzLo3sTuNVmehDcQBpIv%2BznKi43qcr9sIAJWipeNX5eYBIk8NyZDi2a2R5vForJ%2BomixNg3n%2Fue0iV7ny2f4bRw8Eow9KWdMNpxq%2BQLgo3T7H3UOvg3DGxPJsqOUfnnB1SAp478nHqlY3fObP4ay3ufjOp0dLZ%2Bh4WyWiwyGs5aTCN6SDsPQ7L1wpx7WvyCP9bMrn9g3wMXFfAGqtqbp6qzhkpfoWczik8QW5WwAJfS7F%2FwYa2pQOhX6daoN1B28cvKGIu%2BOD48OEVZK31CWy2HL5z%2FNus%2BBTliqAZ4kNNWGagxWRIbOXcgZqSxAwm9ulpgY6sgElqtxtwWfvJL%2BGq6STcVnCpRAIE81ACJ%2BLHNzfp9krFz6J7d8mhkUe5Y4X6CFGwj6fufsizjD%2FLxn%2ByrCWtQ7EkKXx3weoOxglvjkOYtvDcESMfUz43DV47zglb%2BDsLI0rG7QQZJa%2BpuxNI5tz%2FZilX%2BIFEhRXR2iVDOApEaQNTJ9jhHlwkgkPTWYRQs7QR1wbLN%2Fef11OXr0OKLihWPrFW080%2FsQictImxxJ2%2FRq9CEKg&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230801T213638Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYVKNCJCU7%2F20230801%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=3164fea492caf9fb3d604c3658fe91bb44250ccb9c4a4ca5149587424806d03c&hash=0526902d791e9001b8bdeefc7512e6ccc3c6c8b4cba8a2dccd9ba3997d7be12a&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-23713494-a1f9-4b2e-93c3-451396e3a5b1&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045254525005570e&rr=7f0137c1a9374a55&cc=tw) * Open Source : *[Github](https://github.com/haitao-02/VHD-detection)* * 內含程式: - [x] Regurgitation Detection * 只有2筆訓練資料 * 用來執行 AR, MR 偵測 * 使用 RgDataset 載入訓練資料資訊時並沒有載入['label']標籤,且訓練資料也沒有['label']標籤 * 但論文中是有提到會分為 Mild、Moderate、Severe * ![](https://hackmd.io/_uploads/Sk7ZlBly6.png) - [x] MS Detection * 無資料集 * 可以建構模型,但不知道訓練起來如何 - [x] AS Detection * 無資料集 * 可以建構模型,但不知道訓練起來如何 - [ ] 閱讀 EchoNet-Dynamic 論文 - [ ] 執行 EchoNet-Dynamic Code #### Week11 (9/7~9/11) #### Week10 (8/31~9/6): 處理家務 - [ ] 追蹤李醫師關於訓練資料事情 - [ ] 整理目前所看過的論文(input/output、模型) - [ ] 閱讀並執行 source code ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEUaCXVzLWVhc3QtMSJGMEQCIG0LOStPSOhIFgzTLDV%2FoD8aCcCkT%2F9q6n9xMTOs4XWNAiBNEnxZ99u4UlZKSrprBQWFU9yh3PcCeq10372icGKxWSq8BQje%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMgXz64YKZbRNs5D%2FuKpAF6LGwDoLTXrx%2FFQR%2Bw1C2sOv8IKUSmpBNQI8S8GCNQ1PDq9hwXEpaaHqQRTINNg5b8uBqq%2FhHFtcnDvDgZVHWxvDAb9R9ZW6KAyVwuz0LEeJ78nMk0yF8Qnnnlf3i6Y23PgrgwHmT1CQfIxBysvde9eBA%2FFL%2FCxNG6d2bGPAwe7nEa6XImd7WkjS551RI7zualSOlICZJy2G6%2BFK0yE9lgKVLqd2HoDcMxk2DJhOFzFSLlqhp5GNw955IPSPOAw7ckhjsdSFYt7eqpuKNuPKaDhDwhfFXIH4sTdchKyC6ZUWGY8QYoEWPOKfenBTTfxsJN3iTHm9ugEXXpUBd12fGInfFpVsWOifbyTWnUnje9o2ReI7loUVo0Oo6an8GbqCHb1uec9z505XPTMgaCkccRflrejM0XvdvYOews1PhmuOXIM3ziYtAjLq0%2BSo1Qp0SgqTZiGWuvGGkgzXd1KeivWS7ns%2BXCSU2ZHF14D2JqFNbZyIcXlEaM469%2BfvFouWiSyU3emc90pL4pfgPSRfBrhDt1V7aLuG%2BqlcaAJWyOePG%2FCjMzLo3sTuNVmehDcQBpIv%2BznKi43qcr9sIAJWipeNX5eYBIk8NyZDi2a2R5vForJ%2BomixNg3n%2Fue0iV7ny2f4bRw8Eow9KWdMNpxq%2BQLgo3T7H3UOvg3DGxPJsqOUfnnB1SAp478nHqlY3fObP4ay3ufjOp0dLZ%2Bh4WyWiwyGs5aTCN6SDsPQ7L1wpx7WvyCP9bMrn9g3wMXFfAGqtqbp6qzhkpfoWczik8QW5WwAJfS7F%2FwYa2pQOhX6daoN1B28cvKGIu%2BOD48OEVZK31CWy2HL5z%2FNus%2BBTliqAZ4kNNWGagxWRIbOXcgZqSxAwm9ulpgY6sgElqtxtwWfvJL%2BGq6STcVnCpRAIE81ACJ%2BLHNzfp9krFz6J7d8mhkUe5Y4X6CFGwj6fufsizjD%2FLxn%2ByrCWtQ7EkKXx3weoOxglvjkOYtvDcESMfUz43DV47zglb%2BDsLI0rG7QQZJa%2BpuxNI5tz%2FZilX%2BIFEhRXR2iVDOApEaQNTJ9jhHlwkgkPTWYRQs7QR1wbLN%2Fef11OXr0OKLihWPrFW080%2FsQictImxxJ2%2FRq9CEKg&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230801T213638Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYVKNCJCU7%2F20230801%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=3164fea492caf9fb3d604c3658fe91bb44250ccb9c4a4ca5149587424806d03c&hash=0526902d791e9001b8bdeefc7512e6ccc3c6c8b4cba8a2dccd9ba3997d7be12a&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-23713494-a1f9-4b2e-93c3-451396e3a5b1&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045254525005570e&rr=7f0137c1a9374a55&cc=tw) * Open Source : *[Github](https://github.com/haitao-02/VHD-detection)* * 內含程式: - [x] AR Detection - [ ] MR Detection - [x] AS Detection * 無資料集,只有一筆示範資料 * 可以建構模型,但不知道訓練起來如何 - [x] MS Detection * 無資料集,只有一筆示範資料 * 可以建構模型,但不知道訓練起來如何 - [ ] 閱讀 EchoNet-Dynamic 論文 - [ ] 執行 EchoNet-Dynamic Code #### Week9 (8/24~8/30) - [x] 追蹤李醫師關於訓練資料事情 * ![](https://hackmd.io/_uploads/SJKcltian.png) - [x] 整理目前所看過的論文(input/output、模型) * 目前已經看了6篇,整理了4篇 - [x] 找到新的 黑白超音波 dataset - RVENet * 寫信並得到回覆: * ![](https://hackmd.io/_uploads/BJNPzFsT3.png) * ![](https://hackmd.io/_uploads/ByrjMtsT3.png) - [x] 閱讀並執行 source code ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEUaCXVzLWVhc3QtMSJGMEQCIG0LOStPSOhIFgzTLDV%2FoD8aCcCkT%2F9q6n9xMTOs4XWNAiBNEnxZ99u4UlZKSrprBQWFU9yh3PcCeq10372icGKxWSq8BQje%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMgXz64YKZbRNs5D%2FuKpAF6LGwDoLTXrx%2FFQR%2Bw1C2sOv8IKUSmpBNQI8S8GCNQ1PDq9hwXEpaaHqQRTINNg5b8uBqq%2FhHFtcnDvDgZVHWxvDAb9R9ZW6KAyVwuz0LEeJ78nMk0yF8Qnnnlf3i6Y23PgrgwHmT1CQfIxBysvde9eBA%2FFL%2FCxNG6d2bGPAwe7nEa6XImd7WkjS551RI7zualSOlICZJy2G6%2BFK0yE9lgKVLqd2HoDcMxk2DJhOFzFSLlqhp5GNw955IPSPOAw7ckhjsdSFYt7eqpuKNuPKaDhDwhfFXIH4sTdchKyC6ZUWGY8QYoEWPOKfenBTTfxsJN3iTHm9ugEXXpUBd12fGInfFpVsWOifbyTWnUnje9o2ReI7loUVo0Oo6an8GbqCHb1uec9z505XPTMgaCkccRflrejM0XvdvYOews1PhmuOXIM3ziYtAjLq0%2BSo1Qp0SgqTZiGWuvGGkgzXd1KeivWS7ns%2BXCSU2ZHF14D2JqFNbZyIcXlEaM469%2BfvFouWiSyU3emc90pL4pfgPSRfBrhDt1V7aLuG%2BqlcaAJWyOePG%2FCjMzLo3sTuNVmehDcQBpIv%2BznKi43qcr9sIAJWipeNX5eYBIk8NyZDi2a2R5vForJ%2BomixNg3n%2Fue0iV7ny2f4bRw8Eow9KWdMNpxq%2BQLgo3T7H3UOvg3DGxPJsqOUfnnB1SAp478nHqlY3fObP4ay3ufjOp0dLZ%2Bh4WyWiwyGs5aTCN6SDsPQ7L1wpx7WvyCP9bMrn9g3wMXFfAGqtqbp6qzhkpfoWczik8QW5WwAJfS7F%2FwYa2pQOhX6daoN1B28cvKGIu%2BOD48OEVZK31CWy2HL5z%2FNus%2BBTliqAZ4kNNWGagxWRIbOXcgZqSxAwm9ulpgY6sgElqtxtwWfvJL%2BGq6STcVnCpRAIE81ACJ%2BLHNzfp9krFz6J7d8mhkUe5Y4X6CFGwj6fufsizjD%2FLxn%2ByrCWtQ7EkKXx3weoOxglvjkOYtvDcESMfUz43DV47zglb%2BDsLI0rG7QQZJa%2BpuxNI5tz%2FZilX%2BIFEhRXR2iVDOApEaQNTJ9jhHlwkgkPTWYRQs7QR1wbLN%2Fef11OXr0OKLihWPrFW080%2FsQictImxxJ2%2FRq9CEKg&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230801T213638Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYVKNCJCU7%2F20230801%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=3164fea492caf9fb3d604c3658fe91bb44250ccb9c4a4ca5149587424806d03c&hash=0526902d791e9001b8bdeefc7512e6ccc3c6c8b4cba8a2dccd9ba3997d7be12a&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-23713494-a1f9-4b2e-93c3-451396e3a5b1&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045254525005570e&rr=7f0137c1a9374a55&cc=tw) * Open Source : *[Github](https://github.com/haitao-02/VHD-detection)* * 內含程式: - [x] AR Detection - [ ] MR Detection - [x] AS Detection * 無資料集,只有一筆示範資料 * 可以建構模型,但不知道訓練起來如何 - [x] MS Detection * 無資料集,只有一筆示範資料 * 可以建構模型,但不知道訓練起來如何 - [ ] 閱讀 EchoNet-Dynamic 論文 - [ ] 執行 EchoNet-Dynamic Code #### Week8 (8/16~8/23) - [x] 追蹤李醫師關於訓練資料事情 * 還未回應 - [ ] 整理目前所看過的論文(input/output、模型) - [x] 查找其他論文&source code * [EchoNet-Dynamic(2019)](https://echonet.github.io/dynamic/index.html#access) * 10,030 labeled apical-4-chamber echocardiogram * 7.04G * ![](https://hackmd.io/_uploads/HJ1N_FGah.png) * [EchoNet-LVH(2022)](https://echonet.github.io/lvh/) * 12,000 labeled parasternal-long-axis echocardiogram * 73.79G * ![](https://hackmd.io/_uploads/SJ8C_tza3.png) - [ ] 閱讀並執行 source code ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEUaCXVzLWVhc3QtMSJGMEQCIG0LOStPSOhIFgzTLDV%2FoD8aCcCkT%2F9q6n9xMTOs4XWNAiBNEnxZ99u4UlZKSrprBQWFU9yh3PcCeq10372icGKxWSq8BQje%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMgXz64YKZbRNs5D%2FuKpAF6LGwDoLTXrx%2FFQR%2Bw1C2sOv8IKUSmpBNQI8S8GCNQ1PDq9hwXEpaaHqQRTINNg5b8uBqq%2FhHFtcnDvDgZVHWxvDAb9R9ZW6KAyVwuz0LEeJ78nMk0yF8Qnnnlf3i6Y23PgrgwHmT1CQfIxBysvde9eBA%2FFL%2FCxNG6d2bGPAwe7nEa6XImd7WkjS551RI7zualSOlICZJy2G6%2BFK0yE9lgKVLqd2HoDcMxk2DJhOFzFSLlqhp5GNw955IPSPOAw7ckhjsdSFYt7eqpuKNuPKaDhDwhfFXIH4sTdchKyC6ZUWGY8QYoEWPOKfenBTTfxsJN3iTHm9ugEXXpUBd12fGInfFpVsWOifbyTWnUnje9o2ReI7loUVo0Oo6an8GbqCHb1uec9z505XPTMgaCkccRflrejM0XvdvYOews1PhmuOXIM3ziYtAjLq0%2BSo1Qp0SgqTZiGWuvGGkgzXd1KeivWS7ns%2BXCSU2ZHF14D2JqFNbZyIcXlEaM469%2BfvFouWiSyU3emc90pL4pfgPSRfBrhDt1V7aLuG%2BqlcaAJWyOePG%2FCjMzLo3sTuNVmehDcQBpIv%2BznKi43qcr9sIAJWipeNX5eYBIk8NyZDi2a2R5vForJ%2BomixNg3n%2Fue0iV7ny2f4bRw8Eow9KWdMNpxq%2BQLgo3T7H3UOvg3DGxPJsqOUfnnB1SAp478nHqlY3fObP4ay3ufjOp0dLZ%2Bh4WyWiwyGs5aTCN6SDsPQ7L1wpx7WvyCP9bMrn9g3wMXFfAGqtqbp6qzhkpfoWczik8QW5WwAJfS7F%2FwYa2pQOhX6daoN1B28cvKGIu%2BOD48OEVZK31CWy2HL5z%2FNus%2BBTliqAZ4kNNWGagxWRIbOXcgZqSxAwm9ulpgY6sgElqtxtwWfvJL%2BGq6STcVnCpRAIE81ACJ%2BLHNzfp9krFz6J7d8mhkUe5Y4X6CFGwj6fufsizjD%2FLxn%2ByrCWtQ7EkKXx3weoOxglvjkOYtvDcESMfUz43DV47zglb%2BDsLI0rG7QQZJa%2BpuxNI5tz%2FZilX%2BIFEhRXR2iVDOApEaQNTJ9jhHlwkgkPTWYRQs7QR1wbLN%2Fef11OXr0OKLihWPrFW080%2FsQictImxxJ2%2FRq9CEKg&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230801T213638Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYVKNCJCU7%2F20230801%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=3164fea492caf9fb3d604c3658fe91bb44250ccb9c4a4ca5149587424806d03c&hash=0526902d791e9001b8bdeefc7512e6ccc3c6c8b4cba8a2dccd9ba3997d7be12a&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-23713494-a1f9-4b2e-93c3-451396e3a5b1&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045254525005570e&rr=7f0137c1a9374a55&cc=tw) * Open Source : *[Github](https://github.com/haitao-02/VHD-detection)* * 內含程式: - [x] AR Detection - [ ] MR Detection - [ ] AS Detection - [ ] MS Detection * Bug 1: * Before: ![](https://hackmd.io/_uploads/rkFMX1Gan.png) ![](https://hackmd.io/_uploads/ryUDmyGTh.png) * After: ![](https://hackmd.io/_uploads/B15MV1Ga3.png) * Bug 2: * Before: ![](https://hackmd.io/_uploads/HkLsxxzp2.png) ![](https://hackmd.io/_uploads/rJwRexM63.png) * After: ![](https://hackmd.io/_uploads/H1wq8gGan.png) * Result: * ![](https://hackmd.io/_uploads/BJtTuUM6h.png) #### Week7 (8/9~8/15) - [x] 跟李醫師詢問訓練資料 * 尚未回覆 - [ ] 閱讀並執行 source code ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEUaCXVzLWVhc3QtMSJGMEQCIG0LOStPSOhIFgzTLDV%2FoD8aCcCkT%2F9q6n9xMTOs4XWNAiBNEnxZ99u4UlZKSrprBQWFU9yh3PcCeq10372icGKxWSq8BQje%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMgXz64YKZbRNs5D%2FuKpAF6LGwDoLTXrx%2FFQR%2Bw1C2sOv8IKUSmpBNQI8S8GCNQ1PDq9hwXEpaaHqQRTINNg5b8uBqq%2FhHFtcnDvDgZVHWxvDAb9R9ZW6KAyVwuz0LEeJ78nMk0yF8Qnnnlf3i6Y23PgrgwHmT1CQfIxBysvde9eBA%2FFL%2FCxNG6d2bGPAwe7nEa6XImd7WkjS551RI7zualSOlICZJy2G6%2BFK0yE9lgKVLqd2HoDcMxk2DJhOFzFSLlqhp5GNw955IPSPOAw7ckhjsdSFYt7eqpuKNuPKaDhDwhfFXIH4sTdchKyC6ZUWGY8QYoEWPOKfenBTTfxsJN3iTHm9ugEXXpUBd12fGInfFpVsWOifbyTWnUnje9o2ReI7loUVo0Oo6an8GbqCHb1uec9z505XPTMgaCkccRflrejM0XvdvYOews1PhmuOXIM3ziYtAjLq0%2BSo1Qp0SgqTZiGWuvGGkgzXd1KeivWS7ns%2BXCSU2ZHF14D2JqFNbZyIcXlEaM469%2BfvFouWiSyU3emc90pL4pfgPSRfBrhDt1V7aLuG%2BqlcaAJWyOePG%2FCjMzLo3sTuNVmehDcQBpIv%2BznKi43qcr9sIAJWipeNX5eYBIk8NyZDi2a2R5vForJ%2BomixNg3n%2Fue0iV7ny2f4bRw8Eow9KWdMNpxq%2BQLgo3T7H3UOvg3DGxPJsqOUfnnB1SAp478nHqlY3fObP4ay3ufjOp0dLZ%2Bh4WyWiwyGs5aTCN6SDsPQ7L1wpx7WvyCP9bMrn9g3wMXFfAGqtqbp6qzhkpfoWczik8QW5WwAJfS7F%2FwYa2pQOhX6daoN1B28cvKGIu%2BOD48OEVZK31CWy2HL5z%2FNus%2BBTliqAZ4kNNWGagxWRIbOXcgZqSxAwm9ulpgY6sgElqtxtwWfvJL%2BGq6STcVnCpRAIE81ACJ%2BLHNzfp9krFz6J7d8mhkUe5Y4X6CFGwj6fufsizjD%2FLxn%2ByrCWtQ7EkKXx3weoOxglvjkOYtvDcESMfUz43DV47zglb%2BDsLI0rG7QQZJa%2BpuxNI5tz%2FZilX%2BIFEhRXR2iVDOApEaQNTJ9jhHlwkgkPTWYRQs7QR1wbLN%2Fef11OXr0OKLihWPrFW080%2FsQictImxxJ2%2FRq9CEKg&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230801T213638Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYVKNCJCU7%2F20230801%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=3164fea492caf9fb3d604c3658fe91bb44250ccb9c4a4ca5149587424806d03c&hash=0526902d791e9001b8bdeefc7512e6ccc3c6c8b4cba8a2dccd9ba3997d7be12a&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-23713494-a1f9-4b2e-93c3-451396e3a5b1&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045254525005570e&rr=7f0137c1a9374a55&cc=tw) * Open Source : *[Github](https://github.com/haitao-02/VHD-detection)* * ![](https://hackmd.io/_uploads/B1NppBKh2.png) - [ ] 查找其他論文&source code(黑白 2d echo 關於存活相關研究?) * [Predicting Survival from Large Echocardiography and Electronic Health Record Datasets: Optimization with Machine Learning](https://pubmed.ncbi.nlm.nih.gov/29909114/) * 研究機構:美國肯塔基大學 * 訓練資料:171,510 unselected patients 在臨床上的特徵(如:age, sex, height, weight...)和超音波影像提取的特徵(如:LVEF,TR max...),並有標註照完超音波後多久死亡 * 模型使用:CART,Logistic Regression, SVM, Random Forest...共6種ML模型 * 結論: * 有加入超音波影像特徵訓練的模型準確度較高 * Random Forest 的準確度最高 * 影響死亡率最多的特徵: * ![](https://hackmd.io/_uploads/rybgDLFn2.png) #### Week6 (8/2~8/8) - [x] 跟李醫師取訓練資料 * ![](https://hackmd.io/_uploads/rkYyPfx33.png) - [x] 確認量化 ASD 模型 input 長度是否固定 * ![](https://hackmd.io/_uploads/Sk_gSMxhn.png) * ![](https://hackmd.io/_uploads/Sy60nZe32.png) - [x] 確認其他的模型的 input/output * 偵測ASD模型 * ![](https://hackmd.io/_uploads/SJPsu-l23.png) * 輸入的影片 frame 可能有所不同 * ![](https://hackmd.io/_uploads/ryeGdWlnn.png) * 輸出為該 video 每一 frame 可能有 ASD 的機率 - [x] 程式執行並閱讀 2023-3-Echocardiography-based AI... Open Source Code | [Github](https://github.com/YixinChen-AI/ASD-AtrialSeptalDefect) | [PDF](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10160850/pdf/fcvm-10-985657.pdf) | * 內部不含資料集,只有相關程式碼 - [ ] 閱讀 ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEUaCXVzLWVhc3QtMSJGMEQCIG0LOStPSOhIFgzTLDV%2FoD8aCcCkT%2F9q6n9xMTOs4XWNAiBNEnxZ99u4UlZKSrprBQWFU9yh3PcCeq10372icGKxWSq8BQje%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMgXz64YKZbRNs5D%2FuKpAF6LGwDoLTXrx%2FFQR%2Bw1C2sOv8IKUSmpBNQI8S8GCNQ1PDq9hwXEpaaHqQRTINNg5b8uBqq%2FhHFtcnDvDgZVHWxvDAb9R9ZW6KAyVwuz0LEeJ78nMk0yF8Qnnnlf3i6Y23PgrgwHmT1CQfIxBysvde9eBA%2FFL%2FCxNG6d2bGPAwe7nEa6XImd7WkjS551RI7zualSOlICZJy2G6%2BFK0yE9lgKVLqd2HoDcMxk2DJhOFzFSLlqhp5GNw955IPSPOAw7ckhjsdSFYt7eqpuKNuPKaDhDwhfFXIH4sTdchKyC6ZUWGY8QYoEWPOKfenBTTfxsJN3iTHm9ugEXXpUBd12fGInfFpVsWOifbyTWnUnje9o2ReI7loUVo0Oo6an8GbqCHb1uec9z505XPTMgaCkccRflrejM0XvdvYOews1PhmuOXIM3ziYtAjLq0%2BSo1Qp0SgqTZiGWuvGGkgzXd1KeivWS7ns%2BXCSU2ZHF14D2JqFNbZyIcXlEaM469%2BfvFouWiSyU3emc90pL4pfgPSRfBrhDt1V7aLuG%2BqlcaAJWyOePG%2FCjMzLo3sTuNVmehDcQBpIv%2BznKi43qcr9sIAJWipeNX5eYBIk8NyZDi2a2R5vForJ%2BomixNg3n%2Fue0iV7ny2f4bRw8Eow9KWdMNpxq%2BQLgo3T7H3UOvg3DGxPJsqOUfnnB1SAp478nHqlY3fObP4ay3ufjOp0dLZ%2Bh4WyWiwyGs5aTCN6SDsPQ7L1wpx7WvyCP9bMrn9g3wMXFfAGqtqbp6qzhkpfoWczik8QW5WwAJfS7F%2FwYa2pQOhX6daoN1B28cvKGIu%2BOD48OEVZK31CWy2HL5z%2FNus%2BBTliqAZ4kNNWGagxWRIbOXcgZqSxAwm9ulpgY6sgElqtxtwWfvJL%2BGq6STcVnCpRAIE81ACJ%2BLHNzfp9krFz6J7d8mhkUe5Y4X6CFGwj6fufsizjD%2FLxn%2ByrCWtQ7EkKXx3weoOxglvjkOYtvDcESMfUz43DV47zglb%2BDsLI0rG7QQZJa%2BpuxNI5tz%2FZilX%2BIFEhRXR2iVDOApEaQNTJ9jhHlwkgkPTWYRQs7QR1wbLN%2Fef11OXr0OKLihWPrFW080%2FsQictImxxJ2%2FRq9CEKg&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230801T213638Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYVKNCJCU7%2F20230801%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=3164fea492caf9fb3d604c3658fe91bb44250ccb9c4a4ca5149587424806d03c&hash=0526902d791e9001b8bdeefc7512e6ccc3c6c8b4cba8a2dccd9ba3997d7be12a&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-23713494-a1f9-4b2e-93c3-451396e3a5b1&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045254525005570e&rr=7f0137c1a9374a55&cc=tw) * Open Source : *[Github](https://github.com/haitao-02/VHD-detection)* * 內部含有資料集(一點點),但目前卡在建置環境 * ![](https://hackmd.io/_uploads/rJ6WUMlhh.png) #### Week5 (7/27~8/1) - [x] 詢問TMED資料集,用學校信箱 : 目前尚未收到回信 - [x] 詢問陳主任李醫師最近是否較忙 : 陳主任說李醫師下禮拜會跟我聯絡 - [x] 閱讀 ["2023-3-Echocardiography-based AI for detection and quantification of atrial septal defect"](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10160850/pdf/fcvm-10-985657.pdf) * **Data Sharing Statement** : ![](https://hackmd.io/_uploads/HJvzvDIih.png) * **Open Source** : [*Github*](https://github.com/YixinChen-AI/ASD-AtrialSeptalDefect/tree/main) * **論文目的** : 開發並測試一種基於 color doppler echocardiography 的深度學習框架,用於自動檢測和量化ASD(房間隔缺損) * **資料集** : * **資料格式** : 所有圖片以DICOM格式儲存 * **資料標註** : 對821例患者的超音波圖片進行了標註,包括正常人和房間隔缺損患者。 * **標註內容** : 標註出4個標準 view(A4C,PSAX,SC2A,SC4C),並在792段視頻中標註出房間隔和缺損邊界 * **資料分割** : 396例作為訓練集,425例作為外部測試集 * **流程**: * ![](https://hackmd.io/_uploads/HycF8gvjh.png) * ![](https://hackmd.io/_uploads/S1N6aVwo3.png) * **相關研究** ["2022-4-Automated Analysis of Doppler Echocardiographic Videos as a Screening Tool for Valvular Heart Diseases"](https://pdf.sciencedirectassets.com/276913/1-s2.0-S1936878X21X00058/1-s2.0-S1936878X21006434/main.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEEkaCXVzLWVhc3QtMSJGMEQCIBT0j4oGqUdoTdoAyZ5O06iC2s9qAnA5JVztOzotq8%2BtAiAtWh6z7S0ILDGL6I0nM2cM%2BEdTcWVqBGccrljs9qytUCq7BQji%2F%2F%2F%2F%2F%2F%2F%2F%2F%2F8BEAUaDDA1OTAwMzU0Njg2NSIMjFD9g3dA2usGlgK8Ko8FnZCgauGUg5%2B%2F%2Bt%2FjeDNYGu99174B%2F1ECmKaZJ7dUYILD6vWRoYRSTGQDB4Jz%2BNl%2F7GMK3fnnBIX%2FLpF5gUZzpRkYawfALeZZWLeQP6irr7zmf4eLoQSffhe5fZMFva3twv6NmqJ4x9Vtxv2NdPlzgEs3G6ksTaaGzwDYlXr4iN%2Bm%2B7JD3z%2FCNBWL56%2FVJIXlTevpq0coZabBPjrGwP4ZIkkA1rzeA%2BRFhE6E2lFrjzHK4tRsg7lfy%2BGfArPSDWh1Dc%2FFiExuFzKjUR6jJa5MAzQ3LmIDdejhhaLKW7gn8yMv8ya3udIBXFqXE5qZfbyClf9Qdug40cwGDLDdpmgzgVlkVgkMq2JohA3VsVpp6Qz%2BSRFDAvvwyAhdvw6bRoi8onjlfRR07zzuuDevW%2FuKsSb33FjJ%2F%2Fuu2rC4qJUjmL%2B0TjuZC9%2B0k11LTK153dZukUC3257sL3qvY3%2Bb2PGqB0ZmOUKlgzUeGjgtT%2BZhhuArh1%2BzECImWuAQAWNfss5I0%2B6ijBuBOPxmvIw6lFZz9VFb71ohp3%2FqmgoQxkwUob1R9urh1HxdVkp8yU3%2FE%2Bjw9fUOExKTLzTFt%2BUal6B8hK%2FZzzrAXfbJ987dddGIPlRNwO%2FtxxQK9n%2Fhiuzc8s%2BjleCtdtUvuBC8sclu%2Bjjhxbo%2FGqhJmmq4dEmhPjV3pKNmcR4lMleME1hBftRClcE%2BQ97qhHMnvU%2BrpF89qKxgmfBrK%2B6UQcOgnZeEphQMUFG3%2Fxe6eSijuZNTyzvg0miioYX8cPMqTo7bEHPoRybhuaHacvJO50jLnwXU%2BPWiCYDkfTppUYesEYrWQXdr%2FCYhtclNbIul4lXViE1PTxeWZd4pXhOf1muo%2BR0e9vLkyzDY0KamBjqyAc4kT6LLVjpI3aG5NImcH%2Fgbc1iTaql9PkKTMqrGCeRDl9FAcFVwzmsiuJTluPe7Wh9Ot6RGDHBR86BehtSeRxRsI1DLULCtGeyDOf%2BIDS0wS4e6hE87JFvZ%2BvzSTveNbAmHXwnHRYk3YL0VAUQTNariB8EZtoLh%2FDegH23jL8G7JkoF2xBmw2fE2AYs0syUKUNjIQrasdupaLei8AIDodrHdEkvt9uw9sjwq%2BtAhqMQaqE%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20230802T021003Z&X-Amz-SignedHeaders=host&X-Amz-Expires=300&X-Amz-Credential=ASIAQ3PHCVTYWBHPTTOV%2F20230802%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=81c6e133445afb336a399d8787e04661632c5cce62bd2fbdf7a8274a91240c59&hash=b9c503420d4384f97acf3c831317a835cc67c475794d061d1e8963bc65621d47&host=68042c943591013ac2b2430a89b270f6af2c76d8dfd086a07176afe7c76c2c61&pii=S1936878X21006434&tid=spdf-9861d0d0-86a5-41e6-ad00-971405a18028&sid=ab8ce13d37256248df89e472c5f8066e74a0gxrqa&type=client&tsoh=d3d3LnNjaWVuY2VkaXJlY3QuY29t&ua=0e1159045257025f525556&rr=7f02c8439d64a9bf&cc=tw) - [x] 閱讀 ["Heart disease diagnosis using deep learning and cardiac color doppler ultrasound"](https://dl.acm.org/doi/abs/10.1007/s00500-022-06780-y) * **論文目的** : 提出一種基於長短期記憶神經網絡(LSTM)和深度學習技術的心臟病診斷方法 **訓練資料** : 使用 *[UCI Kaggle](https://www.kaggle.com/datasets/redwankarimsony/heart-disease-data)* 儲存庫中的心臟病資料集(csv),包含13個屬性,140個樣本用於訓練,60個用於測試 * **模型架構** : 提出一種結合LSTM和深度學習技術的診斷模型。與傳統神經網絡(BPNN)和深度信念網絡(DBN)做比較 * **結果** : LSTM模型的準確率最高,可達到81.22%,優於BPNN的76.56%和DBN的79.87%。證明了基於LSTM和深度學習的方法優於傳統方法 ::: :::info #### [Week4 (7/20~7/26)](/@ChienTsangPan/week4) - [x] 詢問李醫師影像相關問題 * 確認影像是否為 Parasternal long axis view * 還未回復 * 詢問能否提供150位病人的影像(上禮拜) * 還未回復 - [ ] 閱讀 ["A New Semi-supervised Learning Benchmark for Classifying View and Diagnosing Aortic Stenosis from Echocardiograms"](https://arxiv.org/pdf/2108.00080.pdf) * 模型: * 使用半監督學習 [MixMatch](https://arxiv.org/pdf/1905.02249.pdf)通過對有標籤和無標籤數據的混合和匹配,來提高模型的泛化能力。 * 將 Doppler image 移到 future work > For this study we focus on still images extracted from all available video clips. While pulsed-wave Doppler (PW), continuous-wave Doppler (CW), and m-mode recordings are also available, we leave these for future work. > We verified in our labeled set that all Doppler images have one of the following landscape aspect ratio (831, 323), (901, 384), (901, 390), (704, 305), (831, 421), (901, 469) or (563, 294). Only the Dopplers have these aspect ratios. We thus filtered out Doppler completely via these aspect ratios. - [x] 閱讀 ["Self-supervised learning assisted diagnosis for mitral regurgitation severity classification based on color Doppler echocardiography"](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8825545/pdf/atm-10-01-3.pdf) * 論文目的: * 提取 2D color Doppler echocardiography 特徵和 MR jet 分割 * MR(Mitral regurgitation) 的嚴重程度分類 * 模型: * Self-Supervised Learning 透過挖掘大量無標記資料中本身的資訊,製造標籤(pretext),如此一來就可以使用監督式學習的方式進行訓練 * 使用到 ResNet-34, LSTM * 預訓練資料集: * 512 位 Non-MR video clips. * 訓練資料集: * 2618 位MR的病人 unlabeled A4C-CDI video clips. * 148 位MR的病人 labeled( Mild, Moderate, Severe ) multi-views video clips. * (parasternal long-axis-2d, A4C-mitral valve-2d, A4C-mitral valve-pulse wave, A4C-mitral valve-continuous wave, A5C-aortic valve-pulse wave) * 資料前處理: * Random color distortion * Gaussian blur * 評估指標: Dice - [x] 整理需要寄信詢問的機構列表 * [Tufts University/Tufts medica center:TMED1](https://tmed.cs.tufts.edu/data_access.html) ::: :::info #### [Week3 (7/13~7/19)](/@ChienTsangPan/week3) - [x] 查找資料 - [x] 寫信詢問是否能使用 dataset [TMED1, 2](https://tmed.cs.tufts.edu/index.html) - [x] 詢問振興醫院醫師能否提供150位病人的影像 ::: | | Date | TODO | | ------------------------------ | --------- | ---------------------------- | | [Week1](/@ChienTsangPan/week1) | 6/28~7/4 | 和主任會面、撰寫專案文件 | | [Week2](/@ChienTsangPan/week2) | 7/5~7/12 | 將 MP4 檔切成一系列 BMP 檔、查閱相關資料 | | [Week3](/@ChienTsangPan/week3) | 7/13~7/19 | 查閱相關資料、寫信詢問是否能使用 dataset(TMED1, 2, Hope clinic, Shillong) 、 詢問振興醫院醫師能否提供150位病人的影像