**LOG Harian MBKM RL SoC**
Week 1
| Date |Rencana| Kegiatan |Hasil|Kendala|
| -------- | -------- | -------- |-|-|
| 30/08/2021| Membaca dan Mempelajari hal mendasar tentang reinforcement learning | Membaca paper **"An Efficient Hardware Implementation of Reinforcement Learning: The Q-Learning Algorithm"** | Paper ini berisi tentang arsitektur hardware yang efisien yang mengimplementasikan Q-Learning algoritma, cocok untuk aplikasi real-time. Fitur utamanya adalah daya rendah, high throughput(repetisi berskala besar) , dan hardware resource yang terbatas. algoritma juga mengusulkan teknik berdasarkan pengganda yang diperkirakan untuk mengurangi kompleksitas hardware dari algoritma. Desain ini diimplementasi pada Xilinx Zynq UltrascaleC MPSoC ZCU106 Evaluation Kit. Hasil implementasi dievaluasi dalam hal hardware resource, throughput dan konsumsi daya. Arsitekturnya dibandingkan dengan state of the art of Q-Learning hardware accelerators yang disajikan dalam literatur mendapatkan hasil yang lebih baik dalam kecepatan, daya, dan hardware resource. Summary paper ada [DISINI](https://drive.google.com/drive/folders/1x3Yb3OaBNp0Yq_wis72tbCvzZpvrVct2?usp=sharing) |Papernya lumayan bingung bacanya karena memang belum terlalu paham ttg RL|
31/08/2021 |Menonton Video ttg RL dan membaca Paper satu lagi yang ada di hackmd serta malam ini ada meet|Membaca paper **Parallel Implementation of Reinforcement Learning Q-Learning Technique for FPGA**,menonton video dr hackmd, melakukan meet kelompok slama kurang lebih 1 jam membahas mengenai latar belakang masalah|paper ini menjelaskan ttg Q-learning adalah teknik RL di luar policy, yang memiliki keunggulan utaman mendapatkan policy optimal yang berinteraksi dengan lingkungan yang tidak diketahui. paper ini mengusulkan parallel fixed-point Q-learning algorithm architecture yg diimplementasikan pada FPGA berfokus pada optimalisasi waktu pemrosesan sistem, membaca paper tentang daampak buruknya dari kemacetan pada persimpangan terhadapt faktor ekonomi serta karakteristik persimpangan di Indonesian , khususnya Bandung. summary video ada [ DI SINI](https://drive.google.com/drive/folders/1ySyJk5h7uwpO9wv634XO6RppjNRuoVHh?usp=sharing)|susahnya mencari paper atau jurnal yang bagus tentang persimpangan di Indonesia|
01/09/2021|mempelajari tentang Intelligent traffic Control|Membaca paper **IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light Control**|Pemodelan ITC dengan RL mempermudah dan mengurangi operasi tangan dari traffic light.|blm ada|
02/09/2021|mengadakan meet dengan dosen pembinmbing, Pak Nana,menyiapkan pertanyaan mengenai penjabaran topik MBKM dan juga TA ini.|dilakukan meet dengan Pak Nana dan Pak Infall memebahas perumusan masaalah dari TA|Pengambilan data bsai jd lewat pengamatan lgsg atau dr camera di intersec. Ada pembatasan masalah terhadap karakteristik intersec. Untuk pemodelan bisa asumsi/random dr peserta TA. Bandingkan keadaan jalan ketika menggunakan fixed TL dengan menggunakan RL algorithm. Untuk model perhatikan peek hour dari tiap arah. Tiap progress dimasukkan semacam file misal PPT berupa gambar dr progress yg sudh dilakukan. MBKM sampai arsitektur/pemodelan, TA sampai implementasi. Spek awal untuk 1 intersection, mungkin di TA bisa multi intersec.|VIVADO|
03/09/2021|progress report|Progress report telah dilakukan |mendapat penjelasan tambahan mengenai q learning dan alur pada MBKM ini|
06/09/2021|Install VIVADO, baca paper |hanya membaca paper, install vivado masih bingung|summary paper intellilight (blm jadi) |VIVADO
|07/09/2021|menonton video kelas VLSI pak trio| |
|08/09/2021|WFO di Xirka, instalasi vivado| mendapat penjelasan ttg topik RL dari pak nana, mendapat gambaran ttg produk hasilnya dari Pak Trio| SoC terdiri dari HW dan SW. pada kasus RL HW berisi q-update, dan SW mengatur controll dari sistemnya. Model kkomputasi -->akurasi dan waktu komputasi. Input dalam topik traffic control diantaaranya adalah panajng antrian dan laju kendaraan. HW nya menggunakan FPGA zynq yang berlaku sebagai cpu.|vivado tidak jadi diinstall karena versinya kurang up to date.
|09/09/2021|menuntaskan **paper Parallel Implementation of Reinforcement Learning Q-Learning Technique for FPGA**|membuat summary tentang paper tersebut| hasil summary ada [ DI SINI](https://drive.google.com/drive/folders/1x3Yb3OaBNp0Yq_wis72tbCvzZpvrVct2?usp=sharing)|masih butuh penjelasan tentang papaer tersebut|
10/09/2021|WFO di Xirka|mencopy installer vivado 2021 dari teman, membaca paper intellilight. melanjutkan video dari pak trio|hasil summary paper ada [ DI SINI](https://drive.google.com/drive/folders/1x3Yb3OaBNp0Yq_wis72tbCvzZpvrVct2?usp=sharing)|vivado belum terinstal karena butuh internet dan internet xirka sempat mati dalam waktu cukup lama.|
13/09/2021| Belajar HLS| Tutorial HLS menggunakan VITIS| menonton video|-|
14/09/2021| Melanjutkan belajar HLS| Mencoba coding HLS|beberapa code sudah ditulis|bahasanya lumayan tidak familiar|
15/09/2021|WFO dan bertanya tetnag tutorial HLS kepada teman2|mengerjakan tutorial HLS| |-|
16/09/2021|melanjutkan tutorial HLS|menyelesaikan tutorial HLS|dokumentasi tutorial terlampir [DI SINI](https://drive.google.com/drive/folders/1x3Yb3OaBNp0Yq_wis72tbCvzZpvrVct2?usp=sharing)|-|
17/09/2021|WFO|WFO di xirka membahas ttg RL|-|-|
20/09/2021|Progress Report|Presentasi Progress report|-|-
21/09/2021|Mempelajari tentang board zybo|Mengerjakan tutorial zybo 1 |-|masih lumayan bingung|
22/09/2021|Mempelajari tentang board zybo|melanjutkan tutorial zybo 2|-|-|
23/09/2021|Mempelajari tentang board zybo|melanjutkan tutorial zybo 3|-|-|
24/09/2021|Mempelajari tentang board zybo|melanjutkan tutorial zybo 4 dan 5|-|-|
27/09/2021|Progress Report|Presentasi Progress report|-|-
28/09/2021|melakukan breakdown environment lalu lintas untuk dijadikan RL| menentukan kondisi lalu lintasnya seperti apa| hasilnya kemungkinan akan dicoba pada pertigaan/perempata/perlimaan|-|
29/09/2021|Mempelajari tentang board zybo|Mengerjakan tutorial BRAM|menonton vidio tutoria|-|-|
30/09/2021|Mempelajari tentang board zybo|Mengerjakan tutorial BRAM|memulai tutorial|-|-|
1/10/2021|Mempelajari tentang board zybo|Mengerjakan tutorial BRAM|melanjutkan tutorial|sudah bisa dilakukan simulasi sintesis|-|
4/10/2021|Mempelajari tentang board zybo|Mengerjakan tutorial BRAM|melanjutkan tutorial dan debugging|masih ada beberapa error|bingung tentang register yang digunakan|
5/10/2021|Mempelajari tentang board zybo|Mengerjakan tutorial BRAM|melanjutkan tutorial dan menghubungkan dengan PS (Vitis)|-|-|
6/10/2021|Progress Report|Presentasi Progress report|-|-
7/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT di sini|-|
8/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT di sini|-|
11/10/2021|Laporan pengerjaan SoC|membuat laporan|file [ DI SINI](https://docs.google.com/document/d/1ZHTS4v02QCUvsvVYRKtKhlnVJkI42Nl5/edit?usp=sharing&ouid=110581092265713397946&rtpof=true&sd=true) hasilnya|-|
12/10/2021|Laporan pengerjaan SoC|melanjutkan dan menyelesaikan laporan|file [ DI SINI](https://docs.google.com/document/d/1ZHTS4v02QCUvsvVYRKtKhlnVJkI42Nl5/edit?usp=sharing&ouid=110581092265713397946&rtpof=true&sd=true) hasilnya|-|
13/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT [ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
14/10/2021
15/10/2021
18/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
19/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
20/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
21/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
22/10/2021|menentukan environement dan policies RL dalam traffic light|menetukan beberapa parameter|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
25/10/2021|menentukan environement dan policies RL dalam traffic light|melakukan modelling|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
26/10/2021|menentukan environement dan policies RL dalam traffic light|melakukan modelling|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
27/10/2021|menentukan environement dan policies RL dalam traffic light|melakukan modelling|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
28/10/2021|menentukan environement dan policies RL dalam traffic light|melakukan modelling|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
29/10/2021|menentukan environement dan policies RL dalam traffic light|melakukan modelling|PPT[ DI SINI](https://itbdsti-my.sharepoint.com/:p:/g/personal/13218054_office_itb_ac_id/EeQ1HRi_4xpKnAatRb2wSIoBOx963g9v44pZrJie4Jp-ZQ?e=HDKt3O)|-|
01/11/2021|Integrasi PL| mengintegrasikan blok-blok pada PL seperti MUX,MAX, dan qupdate|-|-|
02/11/2021|Integrasi PL| mengintegrasikan blok-blok pada PL seperti MUX,MAX, dan qupdate|-|-|
03/11/2021|Integrasi PL| akses action BRAM|-|-|
04/11/2021|Integrasi PL| melanjutkan akses action BRAM|-|-|
08/11/2021|debugging|bersama zulfikar melakukan timing diagram untuk arsitektur kelompok kami|-|-|
09/11/2021|debugging|bersama zulfikar melanjutkan dan mengoreksi timing diagram untuk arsitektur kelompok kami|-|-|
10/11/2021|debugging|implementasi dan koreksi arsitektur kelompok kami berdasarkan timing diagram|-|-|
11/11/2021|debugging|bersama zulfikar melanjutkan dan mengoreksi timing diagram untuk arsitektur kelompok kami|-|-|
12/11/2021|debugging|implementasi dan koreksi arsitektur kelompok kami berdasarkan timing diagram|-|-|
22/11/2021|merealisasikan modelling ke software|membuat program pengaturan lampu lalu lintas berbasis RL sederhana menggunakan python|hasil source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3).|-|
23/11/2021|merealisasikan modelling ke software|membuat program pengaturan lampu lalu lintas berbasis RL sederhana menggunakan python|hasil source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3).|-|
24/11/2021|merealisasikan modelling ke software|membuat program pengaturan lampu lalu lintas berbasis RL sederhana menggunakan python|hasil source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3).|-|
25/11/2021|merealisasikan modelling ke software|membuat program pengaturan lampu lalu lintas berbasis RL sederhana menggunakan python|hasil source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3).|-|
26/11/2021|merealisasikan modelling ke software|membuat program pengaturan lampu lalu lintas berbasis RL sederhana menggunakan python|hasil source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3).|-|
29/11/2021|debugging PL|melakukan wiring yang belum benar atau belum tersambung| |-|
30/11/2021|debugging PL|melakukan pemasangan register pada PL pada bagian yang membutuhkan berdasarkan penyesuaian dengan timing diagram| |-|
01/12/2021|Mengerjakan PS|mengubah wall memory menjadi bentuk hexadecimal sehingga dapat diolah|-|-|
02/12/2021|Mengerjakan PS|melanjutkan pengerjaan mengubah wall memory menjadi bentuk hexadecimal sehingga dapat diolah|-|-|
03/12/2021|Mengerjakan PS|melanjutkan pengerjaan mengubah wall memory menjadi bentuk hexadecimal sehingga dapat diolah|-|-|
06/12/2021|finalisasi program python|mengoptimasi parameter dan beberapa code pada python untuk traffic light dengan RL| source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3)|-|
07/12/2021|finalisasi program python|mengoptimasi parameter dan beberapa code pada python untuk traffic light dengan RL| source code [di drive](https://drive.google.com/drive/folders/1EIqo_m8GQ5enJUDtouKYiQtjIgJRuBF3)|-|
08/12/2021|pembuatan PS|membuat PS dengan algoritma python yang sudah dibuat dan dicocokkan dengan PL nya|hasil ada di file laporan akhir[link](https://itbdsti.sharepoint.com/:w:/s/TugasAkhirCapstoneDesignEL212201-TA212201006/ERzB1K9_dO5DrJisTBFk-GcBcZN6_xGUJEe5HPteSL7Evg?e=gBVzGB)|-|
09/12/2021|pembuatan PS|membuat PS dengan algoritma python yang sudah dibuat dan dicocokkan dengan PL nya|hasil ada di file laporan akhir[link](https://itbdsti.sharepoint.com/:w:/s/TugasAkhirCapstoneDesignEL212201-TA212201006/ERzB1K9_dO5DrJisTBFk-GcBcZN6_xGUJEe5HPteSL7Evg?e=gBVzGB)|-|
10/12/2021|pembuatan PS|membuat PS dengan algoritma python yang sudah dibuat dan dicocokkan dengan PL nya|hasil ada di file laporan akhir [link](https://itbdsti.sharepoint.com/:w:/s/TugasAkhirCapstoneDesignEL212201-TA212201006/ERzB1K9_dO5DrJisTBFk-GcBcZN6_xGUJEe5HPteSL7Evg?e=gBVzGB)|-|
14/12/2021|penyatuan PS dan PL| menyatukan program PS dengan arsitektur PL yang sudah di buat pada board PYNQ| |-|
15/12/2021|penyatuan PS dan PL| menyatukan program PS dengan arsitektur PL yang sudah di buat pada board PYNQ| |-|
Sign in with Wallet
Connect another wallet