MBKM: Wearable AI

**Penelitian Wearable Device Berbasis AI** # MBKM: Wearable AI ## Muhammad Salman Al Farisyi (13218061) ## Log Book Harian --- ## Minggu ke-1 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 30/08/2021 | Diskusi dengan rekan satu tim mengenai pemilihan jadwal WFO, beberapa paper rujukan, dan pembahasan mengenai kegiatan MBKM dan TA secara umum | - | - | Membaca referensi bacaan yang sudah ada | | Selasa, 31/08/2021 | Membaca Srikpsi ET 2016 - Publikasi Tahun 2020. "Pengembangan Wearable Device Untuk Memantau Detak Jantung" | Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/Pengembangan-Wearable-Device-Untuk-Memantau-Detak-Jantung-2235bfc2b84c41f88433e751e493bbb2) | - | Membaca Paper "Remote Heart Rate Measurement Using Low-Cost RGB Face Video: A Technical Literature Review"| | Rabu, 1/09/2021 | Membaca Paper "Remote Heart Rate Measurement Using Low-Cost RGB Face Video: A Technical Literature Review" | Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/Remote-Heart-Rate-Measurement-Using-Low-Cost-RGB-Face-Video-A-Technical-Literature-Review-b9a982a7d7fe4e92ba37a4e5fb6822dd) | Perlu lebih memahami beberapa algoritma dan metode pengolahan sinyal | Membaca Paper "A Review of Deep Learning-Based Contactless Heart Rate Measurement Methods"| | Kamis, 2/09/2021 | (1) Membaca Paper "Heart Rate Estimation From Wrist-Worn Photoplethysmography: A Review" (2) Membaca Paper "A Review of Deep Learning-Based Contactless Heart Rate Measurement Methods" | (1) Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/HeartRate-Estimation-From-Wrist-Worn-Photoplethysmography-A-Review-8954efc9ba764bfea075a1a24bd693fd) (2) Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/A-Review-of-Deep-Learning-Based-Contactless-Heart-Rate-Measurement-Methods-4bc3c226632a41129a9bbf48b49ef5f7) | - Ada beberapa metode statistik dalam pengolahan data yang belum pernah diketahui - Banyak istilah berkaitan dengan metode deep learning yang sulit dipahami | - Instalasi Tensorflow - Menonton Tutorial dari Youtube | | Jumat, 3/09/2021 | (1) Instalasi Tensorflow (2) Menyelesaikan Tutorial Week 1 Machine Learning by Andrew Ng di Coursera (3) Menyelesaikan Laporan Tugas Minggu ke-1 | (1) Instalasi dilakukan dengan mengikuti guideline pada [link berikut](https://www.h2kinfosys.com/blog/how-to-download-and-setup-tensorflow-with-anaconda/). Selain itu, perlu adanya instalasi tambahan terhadap CUDA dan cuDNN. Instalasi telah berhasil dilakukan dan tidak ada warning apapun ketika melakukan import tensorflow pada Spyder (2) Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/Week-1-98e4ef1b226746d7b60422f386bf9d5d) (3) Laporan tugas minggu ke-1 dapat dilihat pada [link](https://1drv.ms/b/s!Am4WX1cAINo8-gr40HS9D3fd6ueQ?e=ucNbQP) onedrive MBKM Wearable AI | - Proses download tensorflow dengan pip sangat lama karena terkendala koneksi sehingga beberapa kali error dan perlu mengulang instalasi dari awal - Terdapat kesalahan pada instalasi tensorflow-CPU, seharusnya tensorflow-GPU - Tidak sesuainya versi CUDA dan cuDNN yang didownload dan diinstal sehingga perlu adanya proses download dan instalasi ulang | Mempersiapkan presentasi dengan membuat PPT dan mereview paper yang telah dibaca | --- ## Minggu ke-2 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 6/09/2021 | (1) Melakukan presentasi laporan kemajuan minggu ke-1 (2) Mencari source code deep learning yang tersedia secara public (3) Mencari beberapa contoh pengaplikasian contactless heart monitoring | (1) File powerpoint dapat dilihat pada [link berikut](https://docs.google.com/presentation/d/1QeybiEI8sanVxx4Z-myIg0_BKngD-Jgs/edit?usp=sharing&ouid=111438002600050014054&rtpof=true&sd=true) (2) Beberapa link untuk metode deep learning yang tersedia: [Meta-rPPG](https://github.com/eugenelet/Meta-rPPG), [STVEN-rPPGNet](https://github.com/ZitongYu/STVEN_rPPGNet), dan [PhysNet](https://github.com/ZitongYu/PhysNet) (3) Beberapa contoh dapat dilihat pada [link 1](https://prouast.github.io/heartbeat-js/) dan [link 2](https://github.com/thearn/webcam-pulse-detector) | Belum tau cara mengimplimentasikan metode deep learning tersebut | Menambah referensi bacaan | | Selasa, 7/09/2021 | Menginstall software yang berkaitan dengan Intel Neural Compute Stick 2 | Proses instalasi mengikuti langkah pada [link berikut](https://software.intel.com/content/www/us/en/develop/articles/get-started-with-neural-compute-stick.html) | Software yang berkaitan dengan Intel Neural Compute Stick 2 masih belum terinstall dengan benar | - Mengatasi masalah instalasi software yang masih bermasalah - Menambah referensi bacaan | | Rabu, 8/09/2021 | Membaca Paper "Measuring Heart Rate and Heart Rate Variability with Smartphone Camera" | Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/Measuring-Heart-Rate-and-Heart-Rate-Variability-with-Smartphone-Camera-544f00e3a9064f41bf9a404cc3c159b7) | - | - Mencari public dataset - Menambah referensi bacaan | | Kamis, 9/09/2021 | (1) Membaca Paper "A Reproducible Study on Remote Heart Rate Measurement" (2) Public dataset yang tidak memerlukan request dapat diakses di [link berikut](https://osf.io/xjf7u/) | (1) Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/A-Reproducible-Study-on-Remote-Heart-Rate-Measurement-5bf98c06c62546dd92ed26b90532e735) (2) Mencari public dataset dan membaca paper terkait | Beberapa dataset perlu meminta akses dari researcher bersangkutan dan ukuran dataset terlalu besar (sulit didownload di kantor karena internet tidak stabil) | - Mendownload dataset (tanpa request) | | Jumat, 10/09/2021 | Mempelajari public dataset yang didapat | - Ada 3 subjek dalam public dataset ini dengan warna kulit yang berbeda-beda (bright, intermediate, dark) - Untuk setiap subjek, diberi perlakukan yang berbeda-beda dalam hal pencahayaan ruangan dan aktivitas atau behavior dari subjek tersebut | - | Belajar video processing | --- ## Minggu ke-3 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 13/09/2021 | Mempelajari tentang video processing menggunakan OpenCV di Python | Ringkasan dapat diakses pada [link berikut](https://tiny-editor-f3d.notion.site/Video-Processing-with-OpenCV-34e6bee8f60d43ac9d10cd9205a8d412) | Belum dapat mengolah sinyal BGR dengan lebih akurat | Mencoba visualisasi data pada public dataset | | Selasa, 14/09/2021 | (1) Presentasi progress report (2) Diskusi tentang pembagian jenis algoritma pemrosesan data (3) Melist-ing hardware yang mungkin digunakan | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-2 di G-Drive MBKM Wearable AI (2) Algoritma tersebut diantaranya adalah konvensional, hybrid, dan end-to-end deep learning (3) File ini dapat diakses pada folder hardware di G-Drive TA16 | - | Mencoba menggunakan algoritma Meta-rPPGNet dengan public dataset | | Rabu, 15/09/2021 | Mencoba algoritma Meta-rPPGNet | Source code dapat dilihat pada [link berikut](https://github.com/eugenelet/Meta-rPPG) | Ada error pada kode dan belum menemukan solusi yang tepat | Solving solusi dari Meta-rPPGNet atau mencoba algoritma lain | | Kamis, 16/09/2021 | Mempelajari source code Meta-rPPG | Terdapat error yang terjadi pada saat proses training data yang kemungkinan berasal pada versi cuDNN dan pytorch yang tidak kompatibel | - | Mencoba algoritma end-to-end deep learning lain | | Jumat, 17/09/2021 | Mencoba source code STVEN-rPPGNet dan Physnet | Secara umum source code terdiri dari bagian dataloader, preprocessing, dan postprocessing yang diimplementasikan dalam bentuk fungsi berbahasa python| - Tidak disediakannya sampel dataset - Tidak diberi tahu format data secara jelas - Tidak ada jawaban pada forum | Kembali mencari solusi terkait algoritma Meta-rPPG | --- ## Minggu ke-4 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 20/09/2021 | Solving masalah pada percobaan algoritma Meta-rPPGNet | (1) Reinstall Anaconda (2) Downgrade/upgrade packages yang dibutuhkan (3) Mencari solusi terkait di forum github dan stackoverflow | Belum dapat menemukan solusi karena author algoritma tersebut tidak menjawab hampir semua pertanyaan pada forum github terkait | Mencoba algoritma kombinasi konvensional-deep learning | | Selasa, 21/09/2021 | (1) Progress Report di Xirka (2) Membaca tentang algoritma CHROM | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-3 di G-Drive MBKM Wearable AI (2) Ide dasar algoritma ini adalah mengeliminasi komponen pantulan spekular akibat dari pantulan langsung cahaya pada kulit subjek | - | Menerapkan CHROM pada data RGB yang sudah didapatkan | | Rabu, 22/09/2021 | Mencoba implementasi algoritma CHROM | Ditemukan source code yang mengimplementasikan algoritma serupa pada [link berikut](https://github.com/MartinChristiaan/PythonVideoPulserateV2) | - | Mempelajari secara detail setiap proses yang dilakukan | | Kamis, 23/09/2021 | Mempelajari algoritma CHROM | Memahami cara kerja source code tersebut dengan mempraktikan secara langsung baris kode yang tidak dipahami (test case sederhana) | - | Melanjutkan mempelajari algoritma CHROM | | Jumat, 24/09/2021 | Mempelajari algoritma CHROM | Mempelajari setiap pemrosesan sinyal yang dilakukan pada source code terkait (melanjutkan yang kemarin) | Masih ada beberapa pemrosesan sinyal yang belum dipahami | Membandingkan CHROM dan BSS (ICA/PCA) dengan diskusi bersama tim | --- ## Minggu ke-5 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 27/09/2021 | Membandingkan CHROM dan BSS (ICA/PCA) dengan diskusi bersama tim | Metode CHROM yang dicoba memiliki mekanisme estimasi detak jantung seperti look-up table (nilainya kelipatan 4). Hal ini berbeda dengan ICA yang dikerjakan Heronan (nilainya desimal) | - | Mengkombinasikan CHROM dengan source code yang dikerjakan rekan lainnya | | Selasa, 28/09/2021 | (1) Progress Report di Xirka (2) Mengkombinasikan haar cascade, CHROM, dan FFT | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-4 di G-Drive MBKM Wearable AI (2) Berhasil mendapatkan estimasi detak jantung, namun belum membandingkan dengan *golden standard* | - | Membandingkan dengan kombinasi algoritma lain dan mengetest keakuratannya dengan *gold standard* | | Rabu, 29/09/2021 | Membandingkan algoritma yang telah ada dengan wearable device | - Dibandingkan detak jantung saat kondisi resting dan setelah exercise - Hasil pengukuran camera tidak sesuai dengan wearable device - Sinyal RGB dari wajah belum bisa merepresentasikan detak jantung dengan baik - Perlu aktivitas fisik yang cukup berat untuk melihat perubahan yang signifikan pada hasil pengukuran | Kadang data pembacaan MAXIM tidak benar (secara logika) | Mencari cara memperkuat video agar sinyal RGB yang tertangkap lebih baik | | Kamis, 30/09/2021 | Mempelajari EVM | Ide utama dari algoritma ini adalah meng-emphasize perubahan yang kecil dari gerakan atau warna dari suatu video | - | Mencari implementasi EVM | | Jumat, 31/09/2021 | Mencari cara magnify video | - Didapatkan program yang sudah jadi tentang metode eulerian video magnfication - Program yang didapatkan merupakan aplikasi dari MIT | Program yang didapat belum bisa digunakan | Mencari cara bagaimana memanfaatkan program eulerian video magnification | ## Minggu ke-6 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 4/10/2021 | Mendownload dan mencoba eulerian video magnification | - Program yang dipakai ini dibuat dengan MATLAB - Konsep yang digunakan adalah mengamplify video yang ada dengan metode gaussian - Dengan menggunakan metode ini maka perubahan kecil (subtle) pada warna kulit wajah akan terlihat | Program ini cukup berat untuk dijalakan tergantung *size* video yang di-magnify dan terkadang terjadi *error* | Mencari cara lain untuk mendapatkan hasil estimasi detak jantung yang lebih baik lagi | | Selasa, 5/10/2021 | (1) Progress Report di Xirka (2) Membaca paper Rouast, Philipp & Adam, Marc & Dorner, Verena & Lux, Ewa. (2016). Remote Photoplethysmography: Evaluation of Contactless Heart Rate Measurement in an Information Systems Setting. | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-5 di G-Drive MBKM Wearable AI (2) Pada paper ini disarankan untuk mengubah ROI yang digunakan (intinya berada pada dahi) | - | Mengimplementasikan algoritma dari paper tersebut | | Rabu, 6/10/2021 | Implementasi algoritma dari paper sebelumnya | Pengambilan dari RGB masih sama seperti CHROM, pada setiap sinyal RGB dilakukan proses denoise dan detrending. Dari ketiga sinyal tersebut kemudian akan dilakukan proses PCA dan dipilih komponen ke-3 | - | Modifikasi algoritma CHROM dan membandingkannya dengan PCA | | Kamis, 7/10/2021 | Mengotak-atik algoritma yang telah dibuat sebelumnya (CHROM) | Proses yang dilakukan adalah mengubah proses estimasi RGB seperti menggunakan median, nilai maximum, dan modus serta perubahan urutan pada proses | - | Melanjutkan modifikasi algoritma CHROM | | Jumat, 8/10/2021 | Menambahkan proses *smoothing* pada pengolahan sinyal, membandingkan dengan dataset yang ada, dan me-lock ROI sehingga pemrosesan data lebih ringan | Proses ini tidak menghasilkan hasil yang signifikan, pembacaan detak jantung sekitar tidak berubah (sekitar 80 bpm) padahal dataset bilang bahwa harusnya menurun secara perlahan, dan me-lock ROI membuat target harus diam sehingga agak sulit ketika dicoba dengan webcam (kalau video dataset lebih mudah karena kepala target ditahan oleh alat) | - | Merevisi program atau mengganti dengan algoritma lainnya serta medownload dataset yang lebih baik (sudah ada linknya) | ## Minggu ke-7 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 11/10/2021 | Membandingkan hasil algoritma CHROM dan PCA | - Untuk jumlah window yang sama, PCA memiliki waktu pemrosesan yang berbeda pada dataset yang berbeda - Baik PCA dan CHROM memberikan hasil yang baik pada dataset dari Public Benchmark, tetapi buruk pada dataset dari VIPL-HR | Belum dapat menemukan penyebab berbedanya waktu pemrosesan PCA pada dataset yang berbeda | Memodifikasi algoritma yang sudah ada | | Selasa, 12/10/2021 | (1) Progress Report di Xirka (2) Modifikasi algoritma PCA dan CHROM | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-6 di G-Drive MBKM Wearable AI (2) Pada algoritma CHROM, waktu pemrosesan sangat cepat karena melakukan proses interpolasi dan resampling. Oleh karena itu, dicoba cara biasa agar waktu pemrosesannya tidak terlalu cepat. Proses interpolasi dan resampling pada algoritma CHROM diimplementasikan pada algoritma PCA | Modifikasi belum dapat memberikan hasil yang baik | Melanjutkan dalam memodifikasi algoritma | | Rabu, 13/10/2021 | Modifikasi algoritma PCA dan CHROM | Pada bagian ini dicoba untuk mengganti-ganti bagian pemilihan data dari array BPM yang telah didapatkan | - | Membandingkan algoritma yang ada pada berbagai dataset yang tersedia | | Kamis, 14/10/2021 | Membandingkan hasil algoritma CHROM dan PCA Modifikasi | - Pengambilan data diatur selama 30 detik - Hasil pengambilan data akan dibandingkan dengan rata-rata bpm dari dataset dan dihitung errornya (single point measuremnet) - Hasil pengukuran memberikan hasil yang baik dengan akurasi sekitar 15 bpm pada video dengan kondisi ideal (gambar cerah, target diam, dan dahi terlihat jelas) | Algoritma belum dapat memberikan hasil yang konsisten/stabil | Memodifikasi algoritma yang sudah ada | | Jumat, 15/10/2021 | Mencoba mengikuti pipeline dari paper "Heart Rate Variability Extraction from Videos Signals: ICA vs. EVM Comparison" | - Mengambil sinyal mentah dari ROI - Ekstraksi sinyal mentah dan menghitung rata-rata setiap kanal - Detrend sinyal tersebut dan menormalisasikannya - Aplikasi ICA dengan JADE - FFT ketiga komponenen dan pilih peaknya - Aplikasi moving average filter untuk smoothing - Aplikasi bandpass filter | - Masih terkendala pada proses ICA - Proses detrending dan ICA tidak bisa persis karena tidak terlalu memahami proses yang dijelaskan paper rujukan | Melanjutkan implementasi algoritma berdasarkan pipeline paper ini | ## Minggu ke-8 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 18/10/2021 | Melanjutkan implementasi dari pipeline paper sebelumnya | - Implementasi dari paper tidak sepenuhnya dijalankan - Hasil yang didapatkan masih tidak memuaskan - ICA menggunakan FastICA dan detrending dengan savgol filter | - Implementasi JADE ICA mayoritas menggunakan bahasa pemrograman C dan R - Cukup sulit mengerti untuk melakukan advanced detrending | Mencoba algoritma yang sudah ada pada dataset VIPL-HR | | Selasa, 19/10/2021 | (1) Progress Report di Xirka (2) Melakukan pengujian pada dataset | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-7 di G-Drive MBKM Wearable AI (2) Dataset yang digunakan adalah VIPL-HR dengan algoritma CHROM dan PCA. Ada 14 video yang diuji dan diambil data terkait error dan running time-nya | Data yang dihasilkan tidak konsisten (masih tidak baik) | Memperbaiki kedua algoritma tersebut | | Rabu, 20/10/2021 | Libur Maulid Nabi Muhammad SAW | - | - | - | | Kamis, 21/10/2021 | Implementasi pengolahan data seperti pada EVM | Data video akan diambil terlebih dahulu dan disimpan untuk diolah | Pengolahan data cukup berat karena komputasi dilakukan pada semua data dalam array (tidak menggunakan window) | Meneruskan perbaikan algoritma | | Jumat, 22/10/2021 | Mencari cara untuk mempercepat proses pengolahan frame | - Membaca artikel pada [link ini](https://towardsdatascience.com/lightning-fast-video-reading-in-python-c1438771c4e6) - Mencoba menggunakan library decord untuk mendapatkan FPS yang tepat pada video | - | Meneruskan perbaikan algoritma | ## Minggu ke-9 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 25/10/2021 | Menerapkan penrhitungan SNR pada algoritma PCA | Perhitungan ini dilakukan untuk menentukan komponen terbaik dari PCA yang memiliki nilai SNR paling tinggi, kemudian memilihnya untuk menentukan hasil yang terbaik | Tidak memberikan hasil yang signifikan karena nilai SNR pada semua komponen tidak cukup baik | Implementasi algoritma CHROM dengan pendekatan lain | | Selasa, 26/10/2021 | Sakit | - | - | - | | Rabu, 27/10/2021 | Implementasi algoritma CHROM dengan perubahan pada pro-processing | - Kode dibuat modular - Menggunakan PIL library untuk mengubah nilai tiap frame menjadi Image dan mengambil mean RGB | - | Melanjutkan implementasi algoritma | | Kamis, 28/10/2021 | Modifikasi moving window pada pengolahan data | Moving window dilakukan dengan mengatur jumlah data array yang diolah dalam 1 waktu dan menentukan juga pergeseran window pada setiap pengolahan | - | Menguji implementasi algoritma pada dataset VIPL-HR | | Jumat, 29/10/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan algoritma CHROM dengan pre-processing yang sudah dimodifikasi | - | Melanjutkan pengujian pada dataset | ## Minggu ke-10 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 1/11/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan algoritma CHROM dengan pre-processing yang sudah dimodifikasi | - | Improving algoritma CHROM | | Selasa, 2/11/2021 | (1) Progress Report di Xirka (2) Penambahan proses normalizing | (1) Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-9 di G-Drive MBKM Wearable AI (2) Normalisasi dilakukan dengan mengurangkan masing-masing sinyal RGB dengan rerata sinyal tersebut, kemudian hasilnya akan dibagi dengan standar deviasi masing-masing sinyal | - | Melanjutkan untuk improving algoritma CHROM | | Rabu, 3/11/2021 | Modifikasi proses smoothing | Proses smoothing dilakukan dengan menggunakan K-point moving average filter dengan menggunakan N = 2 sebagai nilai neighbors-nya | - | Melanjutkan untuk improving algoritma CHROM | | Kamis, 4/11/2021 | Modifikasi proses detrending | Detrending dilakukan dengan menggunakan advanced detrending berdasarkan persamaan pada paper "An Advanced Detrending Method With Application to HRV Analysis. Mika P. Tarvainen, Perttu O. Ranta-aho, and Pasi A. Karjalainen" | - | Melanjutkan pengujian pada dataset | | Jumat, 5/11/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan algoritma CHROM yang sudah dimodifikasi sebelumnya | - | Mencoba perubahan pre-processing tanpa menggunakan library PIL (tidak mengumpulkan frame terlebih dahulu) | ## Minggu ke-11 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 8/11/2021 | Perubahan pre-processing tanpa menggunakan library PIL | Perubahan ini dilakukan dengan langsung melakukan ekstraksi sinyal RGB (tidak mengumpulkan frame terlebih dahulu). Efek yang terasa adalah komputasi menjadi lebih cepat | - | Improving algoritma CHROM | | Selasa, 9/11/2021 | Progress Report di Xirka | Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-10 di G-Drive MBKM Wearable AI | - | Pengujian pada dataset | | Rabu, 10/11/2021 | Melakukan tuning nilai window dan step yang tepat | Proses tuning ini dilakukan dengan mengganti nilai window dan step pada pengolahan data (setelah ekstraksi sinyal RGB). Kemudian, dicoba 1-3 kali pada dataset yang ada | - | Pengujian pada dataset | | Kamis, 11/11/2021 | Melakukan pengujian pada dataset | Dataset yang diuji adalah VIPL-HR dengan algorimta CHROM yang sudah dimodifikasi sebelumnya | Hasil yang didapatkan memberikan improvement yang tidak signifikan dan tidak konsisten | Membandingkan data pengukuran dengan data yang diambil dengan polar beat | | Jumat, 12/11/2021 | Melakukan pengambilan data dengan polar beat | Data detak jantung yang diambil dengan polar beat akan dibandingkan dengan data detak jantung yang dihasilkan dari algoritma CHROM | - | Menambah pengujian terhadap subjek pada dataset yang tersedia | ## Minggu ke-12 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 15/11/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan melakukan pengujian sebanyak 5 kali untuk setiap subjek | - | Melanjutkan pengujian pada dataset | | Selasa, 16/11/2021 | Progress Report di Xirka | Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-11 di G-Drive MBKM Wearable AI | - | Melanjutkan pengujian pada dataset | | Rabu, 17/11/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan melakukan pengujian sebanyak 5 kali untuk setiap subjek | - | Melanjutkan pengujian pada dataset | | Kamis, 18/11/2021 | Vaksin dan istirahat | | - | | | Jumat, 19/11/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan melakukan pengujian sebanyak 5 kali untuk setiap subjek | - | Melanjutkan pengujian pada dataset | ## Minggu ke-13 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 22/11/2021 | Mencari sumber referensi MAE metode CHROM pada dataset VIPL-HR | Berdasarkan paper "Real-Time Webcam Heart-Rate and Variability Estimation with Clean Ground Truth for Evaluation" oleh Amogh Gudi, Marian Bittner, and Jan van Gemert, nilai MAE dengan metode CHROM pada dataset VIPL-HR adalah <= 16,9. Pada paper tersebut terdapat tabel lengkap MAE untuk beberapa metode dan dataset yang berbeda | - | Persiapan pembuatan dataset | | Selasa, 23/11/2021 | Progress Report di Xirka | Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-12 di G-Drive MBKM Wearable AI | - | Persiapan pembuatan dataset | | Rabu, 24/11/2021 | Membuat protokol pengujian | Protokol pengujian ini terdiri dari bagian prosedur pengukuran, skenarion pengukuran, alat yang digunakan, dan variasi intensitas cahaya yang akan digunakan | - | Membuat dataset | | Kamis, 25/11/2021 | Membuat dataset | Dataset ini sementara dibuat menggunakan 4 subjek, 1 skenario (resting), 2 sumber pengambilan data (Logitech C920 HD Pro Webcam dan NYK Nemesis Webcam), dan 3 variasi intensitas cahaya (110 lux, 200 lux, dan 300 lux) | - | Pengujian terhadap dataset yang telah dibuat | | Jumat, 26/11/2021 | Melakukan pengujian pada dataset | Hasil yang didapatkan tidak memuaskan. Hasi pengujian menunjukkan bahwa data dari polar beat dan algoritma CHROM tidak memberikan hasil yang sama (error cukup besar) | Hasil pembacaan detak jantung pada 3 subjek itu sekitar 90 - 100 bpm yang tentunya agak mencurigakan karena ketiga subjek pada kondisi resting (seharusnya tidak terlalu tinggi) | Melakukan improvement pada algoritma CHROM | ## Minggu ke-14 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 29/11/2021 | Implementasi holistic mean pada proprocessing sinyal RGB | Metode ini akan membuang nilai RGB yang terlalu rendah atau terlalu tinggi dan merata-ratakan hasil yang didapat setelah membuang nilai yang tidak diperlukan | Karena ukuran setiap frame adalah 500x500 untuk setiap channel, komputasinya menjadi lama karena harus melakukan looping sebanyak 250.000 kali | Mencari metode lain yang dapat diimplementasikan | | Selasa, 30/11/2021 | Progress Report di Xirka | Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-13 di G-Drive MBKM Wearable AI | - | Mencari metode lain yang dapat diimplementasikan | | Rabu, 1/12/2021 | Implementasi skin detection pada preprocessing sinyal RGB | Skin detection ini akan meniadakan bagian yang tidak termasuk kulit, seperti mata, baju, mulut, dan kacamata | - | Menggabungkan holistic mean dan skin detection pada algoritma CHROM | | Kamis, 2/12/2021 | Generating data VIPL-HR dengan CNN (processing dengan CHROM) | Generating data ini dilakukan untuk membantu Heronan yang sedang menguji algoritma deep learning CNN untuk heart rate estimation. Training ini dilakukan untuk sekitar 1800 video. Setiap orang melakukan training terhadap 600 video (ada 3 orang) | - | Mencari metode lain yang dapat diimplementasikan | | Jumat, 3/12/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan melakukan pengujian sebanyak 1 kali untuk setiap subjek dengan algoritma CHROM yang sudah dimodifikasi dengan metode skin detection dan holistic mean | - | Menambahkan tracker pada kode program | ## Minggu ke-15 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 6/12/2021 | Riset tentang tracker yang mungkin digunakan | Ditemukan bahwa tracker MOSSE (robust) dan CSRT (performa bagus di low fps) dapat digunakan pada kode program | - | Implementasi tracker pada kode program | | Selasa, 7/12/2021 | Progress Report di Xirka | Presentasi dilakukan secara offline di Xirka dan file presentasi dapat diakses di folder laporan kemajuan pekan ke-14 di G-Drive MBKM Wearable AI | - | Mencari metode lain yang dapat diimplementasikan | | Rabu, 8/12/2021 | Implementasi tracker pada kode program | Berdasarkan uji coba pada program dan menyesuaikan dengan dataset maka tracker yang digunakan adalah MOSSE tracker | - | Melakukan pengujian pada dataset | | Kamis, 9/12/2021 | Melakukan pengujian pada dataset | Dataset yang digunakan adalah VIPL-HR dengan melakukan pengujian sebanyak 1 kali untuk setiap subjek dengan algoritma CHROM yang sudah dimodifikasi dengan MOSSE Tracker | - | Berdiskusi dengan rekan tentang paper yang akan dibuat | | Jumat, 10/12/2021 | Mempelajari Bland-Altman Plot | Plot ini secara umum menunjukkan apakah error dari data kita terhadap rujukan itu masih dalam batas persetujuan yang diperbolehkan (limit of agreement) | - | Mempersiapkan draft paper (melanjutkan) | ## Minggu ke-16 | Hari, Tanggal | Aktivitas | Deskripsi | Kendala | Rencana | | ------------- | --------- | --------- | ------- | ------- | | Senin, 13/12/2021 | Melanjutkan draft paper | Memastikan kembali dengan membandingkan dengan referensi lain apakah topik paper sudah fix dan apakah ada alternatif topik yang mungkin dibahas | - | Mempersiapkan draft paper (melanjutkan) | | Selasa, 14/12/2021 | Progress Report Online | Presentasi dilakukan secara online mengenai darft awal paper yang telah dibuat | - | Presentasi ini membahas kemungkinan topik paper yang dibuat, berdasarkan dikusi pada presentasi ini. Topik yang diajukan sudah disetujui bersama dan dapat lanjut melengkapinya hingga | | Rabu, 15/12/2021 | Menguji algoritma CHROM, ICA, dan PCA pada dataset VIPL-HR dan RPPG-ITB untuk keperluan data paper | Data yang akan diambil adalah v1 dan v7 dengan alasan agar range bmp lebar serta v4 dan v5 dengan alasan agar ada perbedaa kondisi pencahayaan | - | Melanjutkan pengambilan data | | Kamis, 16/12/2021 | Menguji algoritma CHROM, ICA, dan PCA pada dataset VIPL-HR dan RPPG-ITB untuk keperluan data paper | Data yang akan diambil adalah v1 dan v7 dengan alasan agar range bmp lebar serta v4 dan v5 dengan alasan agar ada perbedaa kondisi pencahayaan | - | Melanjutkan pengerjaan paper | | Jumat, 17/12/2021 | Menyelesaikan draft paper | Penyecekan ini meliputi seluruh bagian dalam paper termasuk pemilihan kata untuk dalam translasi bahasa ke bahasa inggris | - | |