前言 動機：自己有很多想記錄整理的事情，像是追蹤自己的健康狀況，而有些事情像是喝水或上廁所，智慧手錶是不會幫忙記錄的（何況我也不戴手錶）。所以才想到用line chatbot幫忙我隨時記錄，畢竟手機隨時在身上～另外還有家裡時不時會有過期的零食，也想藉由這次機會做一個可以幫忙統整家裡物品的chatbot。最後，最大的動機其實是想要嘗試看看Google Cloud的功能，本次實作使用到了Cloud Functions和Firebase的Realtime database進行API串接。因為兩年前也有嘗試做一個Line chatbot，現在的感想是GCP提供了非常便利的平台開發，讚讚！ 目前功能：記錄生活 紀錄與整理零食櫃(過期日期) 紀錄與整理櫥櫃(日用品) 待開發功能： [ ] 切換為教學模式

若使用conda安裝，可將CUDA一併下載。 安裝前要先確認安裝版本，python目前版本與PyTorch、CUDA的版本相容、自身電腦可安裝最高版本的CUDA，都要先確認，否則會無法安裝。另外，不建議安裝最高版本，務必安裝已釋出一段時間且穩定的版本。 手動下載安裝檔(建議) 到Link下載需要的版本 我使用的版本為 PyTorch==1.12.0、torchvision==0.13.0、cuda==11.3(cu113)、python==3.10(cp310) 或PyTorch==1.11.0、torchvision==0.12.0、cuda==11.3(cu113)、python==3.9(cp39)

設定shh公鑰 此區塊皆於powershell進行，若沒有openssh先依照此流程下載 產生公鑰​​​​ssh-keygen ​​​​Your identification has been saved in C:\Users\cow27/.ssh/id_rsa. ​​​​Your public key has been saved in C:\Users\cow27/.ssh/id_rsa.pub. ​​​​The key fingerprint is: ​​​​SHA256:KkY0tqKhA28tKnumFXGyIhA/A43W9BfuyPZ8+G+keMw cow27@DESKTOP-TFNC22L ​​​​The key's randomart image is: (as image above)

https://github.com/WongKinYiu/yolov7 1. 建置環境 Step 1. 建立虛擬環境conda create --name yolov7 python=3.8 conda activate yolov7 Step 2. 請先確保已安裝正確版本的pyTorch與cuda再來pip install，避免版本衝突！torch>=1.7.0, !=1.12.0 torchvision>=0.8.1, !=0.13.0conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch 或查詢自己適用的CUDA版本，並依照此文件安裝。 查詢版本

SlowFast Networks for Video Recognition Journal reference: 2019 IEEE/CVF International Conference on Computer Vision (ICCV) Author: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, Kaiming He (Facebook AI Research, FAIR) Github: https://github.com/facebookresearch/SlowFast 論文連結：SlowFast Networks for Video Recognition Introduction 作者設計了雙通道的架構，分別於低幀率下提取空間資訊，以及於高幀率下捕捉時序動態特徵。 其模型設計來自於生物學研究的啟發，模仿人類的視覺系統，即 ~80% 的小細胞(P-cells)和 ~15-20% 的大細胞(M-cells)所構成。以此為基礎，將模型設計為slow和fast之雙通道。大細胞負責處理快速的時序動態資訊，但對於空間上的細節與色彩不敏銳；而小細胞則是負責精細的空間特徵，但對動態資訊的反應較慢。

MMNet: A Model-Based Multimodal Network for Human Action Recognition in RGB-D Videos hackmd-github-sync-badge Journal reference: IEEE Transactions on Pattern Analysis and Machine Intelligence (VOL.45, NO.3, MARCH 2023) Authors: Bruce X.B. Yu, Yan Liu, Xiang Zhang, Sheng-hua Zhong, and Keith C.C. Chan Github: https://github.com/bruceyo/MMNet Introduction 本研究建構一RGB模態資料，其假設為「當有一定時序內提供足夠的空間和外觀特徵時，人類即可輕鬆識別動作。」以此前提，使機器模擬人類識別動作的方式。人類在識別動作時，也會同時關注與人互動的物件。也就是說，我們會關注人體動作的移動，以及物件的外觀特徵，並將其連結以得知該動作類別。因此，作者構建一時空感知區域 (spatiotemporal region of interest, ST-ROI) 之特徵圖，透過關注RGB影像中有變化的外觀特徵，以減少處理影片資料時的高運算量問題。<br> 然而，直接將直接將ST-ROI餵入這些VGG或ResNet等深度學習模型時，容易造成過擬合，而未能達到令人滿意的結果。因此，作者提出了一方法，透過骨架模態的知識轉移（Knowledge transferring），以提升RGB模態的動作辨識能力。具體而言，MMNet透過注意力遮罩的設計，針對可提供互補特徵的ST-ROI區域進行關注。

hackmd-github-sync-badge STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition Journal reference: 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) Author: Dasom Ahn, Sangwon Kim, Hyunsu Hong, Byoung Chul Ko* github: 無 Introduction

hackmd-github-sync-badge 論文名稱: Transformer: Attention Is All You <br> 論文作者: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin <br> 論文連結: Attention Is All You Need Transformer 先前的序列轉換模型是基於複雜的RNN與CNN，其中包含編碼器與解碼器的組合，而作者發現通過注意力機制連接編碼器與解碼器的模型表現較佳。因此，此研究提出一簡單的網路架構Transformer，僅僅基於注意力機制而不使用RNN或CNN架構，使模型單純且訓練時間縮短、泛化能力佳。主要用於翻譯或句法分析等語言相關的任務上，近年來也發展多種應用。其主要優點如下： 架構單純：由於僅使用注意力機制，其架構相對較為簡單且易於理解。

欲使用物件偵測方法於手勢辨識，首先需要有大量已標記之手勢資料，用以訓練辨識模型。然而，手動標記影像資料相當耗時費力，因此參考了手勢自動標記及分類工具作者的方法，實作自動標記工具。 1. 手部偵測模型 首先，基於YOLOv7在手部公開資料集EgoHands進行了手部偵測模型的訓練。該模型僅會偵測一種類別：手(hand)。 手部偵測結果如影片所示: 只訓練了100個epoch，最後的模型訓練結果mAP@.5為0.9808，mAP@.5:.95為0.792。看測試結果影片，發現偶爾還是會偵測到非手之物件。 2. 將手部偵測結果轉為手勢標記 接著，將原程式(detect.py)修改為可即時儲存所接收之影像及其標記檔(類別與物件框)，並且使用label-cls設定類別來更改標記檔中所紀錄的類別。

論文網址 Github paper review PPT 黃色：背景介紹 紅色：欲改善的問題 綠色：本研究做的事 藍色：本研究的反論 雖然物件偵測任務在過去幾年飛快進步，但對於更強大的物件偵測模型而言，在訓練上需要大量標記資料，並且要有準確的bounding box，該任務的成本相當高。因此有學者提出弱監督和半監督式物件偵測，其資料少部分為完整標記資料，並且大部分資料分別為弱標記和未標記：