# Summary Rouast, Philipp V., et al. “Remote heart rate measurement using low-cost RGB face video: a technical literature review.” Frontiers of Computer Science 12.5 (2018): 858-872.

> Selama dekade terakhir, banyak penelitian telah dipublikasikan tentang HRM yang tidak memerlukan kontak kulit. Teknik yang dikembangkan menggunakan model warna berdasarkan pencitraan merah, hijau, dan biru (RGB) untuk memperoleh sinyal dari jarak hingga beberapa meter. Teknik ini sering disebut sebagai remote photoplethysmography (rPPG) karena kemiripannya dengan PPG tradisional. Penelitian telah menunjukkan bahwa HRM yang andal dapat dicapai dengan menggunakan kamera digital kelas konsumen yang murah dan sumber cahaya sekitar. Metode yang diusulkan menangkap kepala subjek di video (misalnya, menggunakan webcam), dari mana sinyal plethysmographic dipulihkan menggunakan beberapa teknik pemrosesan gambar dan transformasi.

> Dua pendekatan utama telah muncul dari studi yang ada pada rPPG: 1) HRM berdasarkan variasi periodik warna kulit subjek, dan 2) HRM berdasarkan gerakan kepala periodik. Kedua fenomena yang dapat diamati tersebut disebabkan oleh siklus jantung manusia dan dengan demikian memungkinkan peneliti untuk menyimpulkan HRM dari perkiraan sinyal plethysmographic.
> Kajian tinjauan yang ada di bidang ini, seperti oleh :
> McDuff D J, Estepp J R, Piasecki A M, Blackford E B.
> Liu H, Wang Y D, Wang L.
> Kranjec J, Beguš S, Geršak G,Drnovšek J.
> memberikan latar belakang teoritis dan gambaran umum bidang tersebut. Namun, tidak satupun dari mereka berfokus sepenuhnya pada kamera murah atau memberikan klasifikasi terstruktur dari pendekatan yang ada.

> Fenomena yang dieksploitasi dalam rPPG terkait erat dengan siklus jantung. Selama setiap siklus, darah dipindahkan dari jantung ke kepala melalui arteri karotis. Kita akan melihat bahwa aliran darah yang masuk secara berkala ini memengaruhi sifat optik kulit wajah dan gerakan mekanis kepala, memungkinkan para peneliti mengukur HR dari jarak jauh. Interaksi cahaya dan jaringan hidup adalah kompleks, karena banyak proses seperti hamburan, penyerapan, dan refleksi yang berperan. Penelitian telah menunjukkan bahwa pantulan cahaya bergantung pada, antara lain, perubahan volume darah dan pergerakan dinding pembuluh darah. Dengan penerangan yang sesuai, perubahan cahaya yang dipantulkan dari kulit wajah dapat diamati, karena aliran darah dan variasi volume darah mengikuti siklus jantung. Secara tradisional, sumber cahaya khusus dengan panjang gelombang merah atau inframerah dekat telah digunakan untuk mendapatkan fotopletismogram (kontak). Namun, penelitian terbaru menunjukkan bahwa cahaya sekitar cukup untuk mendapatkan sinyal plethysmographic. Baru-baru ini, beberapa penelitian berfokus pada menangkap dampak mekanis dari darah yang mengalir melalui arteri karotis di kedua sisi kepala dari jarak jauh. Pendekatan ini menganggap sistem kepala-leher dan batang tubuh sebagai urutan pendulum terbalik yang ditumpuk dan menduga bahwa reaksi yang berlawanan dengan aliran darah menyebabkan perpindahan kepala sekitar 5 mmendekatan ini menganggap sistem kepala-leher dan batang tubuh sebagai urutan pendulum terbalik yang ditumpuk dan menduga bahwa reaksi yang berlawanan dengan aliran darah menyebabkan perpindahan kepala sekitar 5 mm.

>**Sejarah perkembangan rPPG**

>1937 | Hertzman dan Spealman mencatat bahwa variasi transmisi cahaya jari dapat dideteksi oleh sel fotolistrik.

>2008 | Verkruysse dan rekannya pertama kali menunjukkan bahwa rekaman video wajah subjek di bawah cahaya sekitar mengandung sinyal yang cukup kaya untuk mengukur HR. Mereka meminta sukarelawan untuk duduk diam sementara wajah mereka direkam menggunakan kamera konsumen murah dari jarak 1-2 m. Verkruysse di al. menggunakan rekaman warna dengan kualitas berbeda. Misalnya, resolusi 640x480, yang merupakan mode grafis standar dari video graphics array (VGA), dan kecepatan bingkai 30 frame per detik (fps) digunakan. Dalam rekaman ini, region of interest (ROI) dipilih secara manual. Dari piksel yang terkandung dalam ROI, sinyal mentah dihitung per frame sebagai nilai rata-rata dari masing-masing saluran warna RGB. Untuk menentukan kerapatan spektral daya sinyal, Verkruysse et al. menggunakan algoritma transformasi Fourier cepat (FFT). Mereka menunjukkan bahwa sinyal untuk saluran hijau mengandung sinyal plethysmographic terkuat, dengan jelas menunjukkan frekuensi HR dasar, hingga harmonik keempatnya. Hal ini sesuai dengan fakta bahwa hemoglobin menyerap cahaya hijau lebih baik daripada merah dan biru.

> Poh dkk. menggunakan detektor wajah untuk melacak wajah subjek bingkai demi bingkai, dengan kotak yang berisi wajah subjek sebagai ROI dan jendela bergerak 30 detik untuk mencapai pengukuran berkelanjutan. Memperbaiki pendekatan ini, ketiga saluran informasi RGB digunakan. Blind Source Separation (BSS) memperkirakan sinyal plethysmographic sebagai kombinasi linier dari ketiga sinyal mentah. Parameter untuk kombinasi ini diperkirakan menggunakan analisis komponen independen (ICA). Namun, Poh et al. selalu memilih komponen kedua yang diproduksi oleh ICA sebagai sinyal plethysmographic, sebuah kekurangan yang kemudian mereka atasi dalam versi algoritma yang lebih baik. HR diperkirakan sebagai frekuensi dengan respon tertinggi setelah FFT.

> Balakrishnan et al. Alih-alih mengandalkan perubahan warna, penelitian ini menunjukkan kemungkinan mengekstraksi sinyal plethysmographic dari gerakan periodik kepala subjek, yang terjadi karena masuknya darah ke kepala. Balakrishnan dkk. melacak serangkaian titik fitur di wajah subjek bingkai demi bingkai, merekam lintasan memanjang. Setelah melakukan penyaringan temporal untuk menghilangkan frekuensi yang tidak diinginkan, mereka menggunakan BSS untuk mendapatkan sinyal plethysmographic yang cukup kuat untuk memperkirakan HR. Salah satu kelemahan dari pendekatan ini adalah fakta hilangnya sinyal selama gerakan yang lebih besar. Dua studi tambahan mengeksplorasi pendekatan ini. Satu menunjukkan bahwa satu titik pelacakan dapat memberikan informasi yang cukup untuk HRM. Yang lain mencapai peningkatan kinerja dengan mengganti FFT dengan transformasi kosinus diskrit (DCT) pada langkah estimasi.

> Sebuah kelompok di Philips Research membahas masalah subjek yang bergerak sehubungan dengan sumber cahaya. Mereka berpendapat bahwa kombinasi tetap yang optimal dari sinyal saluran RGB yang dilewati pita dapat ditemukan berdasarkan rasio sinyal warna yang dinormalisasi ketika mengasumsikan kulit "standar", sehingga menghilangkan kebisingan yang berasal dari refleksi specular. Kekurangan dari pendekatan ini adalah tidak memasukkan BSS dari desain algoritma. Para peneliti selanjutnya memformalkan dan meningkatkan pendekatan mereka dengan mengusulkan kombinasi dengan teknik BSS.

> Perkembangan terbaru lebih lanjut termasuk variasi dalam jumlah sinyal mentah yang digunakan, seperti masuknya frekuensi cyan dan oranye. Dalam pendekatan yang berbeda, wilayah wajah dibagi menjadi banyak ROI kecil yang menghasilkan serangkaian sinyal dari saluran hijau, yang masing-masing kemudian digabungkan menggunakan rata-rata tertimbang berdasarkan metrik kebaikan. Demikian pula, Chwyl B, Chung A G, Deglint J, Wong A, Clausi D A. secara stokastik memilih serangkaian titik dan menggabungkannya menggunakan pendekatan Monte Carlo dengan bobot kepentingan. Penggunaan BSS, diikuti dengan pemilihan komponen, baru-baru ini dioptimalkan menggunakan teknik machine learning.

> **Klasifikasi Algoritma rPPG**
> 
> Kerangka kerja ini didasarkan pada rantai pengukuran biologis. Penulis membagi algoritma rPPG tipikal menjadi tiga langkah utama: (i) ekstraksi sinyal mentah dari beberapa bingkai video, (ii) estimasi sinyal plethysmographic, dan (iii) estimasi HR. Masing-masing langkah ini memiliki beberapa komponen yang dapat dikenakan berbagai pendekatan atau dapat dilewati seperti pada penelitian yang ada.

> **Ekstraksi sinyal**
- Deteksi ROI
> Deteksi ROI diperlukan untuk menentukan batas-batas wajah dalam bingkai video. Informasi ini biasanya merupakan langkah perantara dari mana ROI yang lebih akurat kemudian ditentukan.
- Definisi ROI
> ROI adalah area di dalam bingkai video yang berisi piksel yang menyediakan sinyal mentah untuk algoritme.
- Pelacakan ROI
> Tujuan pelacakan ROI adalah untuk memastikan bahwa piksel yang terkandung dalam ROI termasuk dalam wilayah kulit yang tidak berubah terhadap gerakan subjek.
- Ekstraksi sinyal mentah
> Sinyal mentah diekstraksi dari frame demi frame video sesuai dengan posisi ROI. Untuk metode berbasis warna, ini menghasilkan deret Ii(t) untuk saluran warna i {R, G, B}. Nilai dihitung dengan rata-rata saluran warna masing-masing dari semua piksel yang terkandung dalam ROI frame pada waktu t. Ini dikenal sebagai pengumpulan spasial dan bertujuan untuk meratakan noise kamera yang terkandung dalam piksel tunggal. Jumlah ROI dan pemilihan saluran yang langkah ini dilakukan bervariasi di seluruh studi. Dalam kasus ROI yang sangat kecil, gambar dapat di-downsampling untuk menghindari noise.

> **Estimasi sinyal**
- Penyaringan
> Menggunakan informasi tentang frekuensi sumber kebisingan yang diharapkan ini dan kisaran frekuensi HR yang layak, peneliti biasanya menerapkan satu atau lebih filter digital ke sinyal mentah. Tujuannya adalah untuk meningkatkan rasio signal-to-noise dan dengan demikian meningkatkan kualitas sinyal plethysmographic yang diperkirakan. Mengingat sinyal mentah yang terdiri dari beberapa seri, filter biasanya diterapkan ke setiap seri sebelum pengurangan dimensi.
- Pengurangan dimensi
> diasumsikan bahwa raw signal mengandung satu dimensi sinyal PPG yang dapat dipresentasikan sebagai kombinasi linear raw signal. Metode yang biasanya digunakan untuk memisahkan raw signal adalah metode ICA.

> **Estimasi detak jantung**
- Analisis frekuensi
> Mengingat perkiraan p(t) dari sinyal plethysmographic, frekuensi HR dapat diperkirakan menggunakan analisis frekuensi. Untuk tujuan ini, sinyal ini, yang mengandung periodisitas yang berbeda, diubah ke domain frekuensi menggunakan transformasi Fourier diskrit.
- Deteksi puncak
> Menggunakan puncak individu, mengekstraksi lebih banyak informasi seperti variabilitas HR dari interval antar-denyut dimungkinkan. Untuk memperbaiki sinyal untuk deteksi puncak, sinyal biasanya diinterpolasi menggunakan fungsi spline kubik. Puncak kemudian dapat dengan mudah diidentifikasi menggunakan jendela yang bergerak, karena merupakan maksimum dalam sinyal.

> Dua tantangan utama yang saat ini diselidiki dalam rPPG diidentifikasi sebagai: meningkatkan ketahanan algoritma sehubungan dengan kebisingan subjek dan mengatasi kekuatan sinyal yang rendah karena iluminasi dan jenis kulit. Banyak dari tantangan ini telah diatasi secara efektif, tetapi kasus penggunaan yang dieksplorasi sebagian besar jauh dari skenario dunia nyata yang realistis. Secara khusus, algoritma rPPG masa depan harus fokus pada trade-off antara jumlah informasi yang diproses dan kompleksitas algoritma, karena aplikasi real-time akan menempatkan kendala pada waktu komputasi.

> Jelas, melakukan HRM jarak jauh menggunakan peralatan video berbiaya rendah adalah mungkin, dan penelitian sebelumnya menunjukkan peningkatan kecanggihan rPPG. rPPG memiliki berbagai aplikasi dan peningkatan publikasi selama periode survei kami menunjukkan minat yang meningkat pada algoritme rPPG yang andal. Hal ini disebabkan oleh permintaan akan solusi HRM nirsentuh di sektor medis, profesional, dan konsumen.