# Module 4: Naik Level Cepat & Akurat dengan Transfer Learning

Selamat datang di minggu terakhir bootcamp AI kita! Kalian luar biasa sudah sampai di titik ini.

Di minggu ketiga, kita semua sudah merasakan serunya membangun dan melatih sebuah model CNN dari nol. Kita sudah tahu betapa memuaskannya melihat grafik *loss* menurun dan *accuracy* menanjak. Kalian telah berhasil membuat "otak" buatan yang bisa belajar.

Namun, di dunia nyata, para praktisi AI dan *data scientist* jarang sekali melatih model raksasa dari nol. Kenapa? Karena ada cara yang jauh lebih cerdas, lebih cepat, dan seringkali lebih akurat.

Minggu ini, kita akan mempelajari "Jurus Rahasia" di dunia Computer Vision: **Transfer Learning**.

### Tujuan Pembelajaran Minggu Ini:
1. Memahami keterbatasan melatih model dari nol (*training from scratch*).
2. Mengerti konsep inti di balik **Transfer Learning**.
3. Mengenal anatomi sebuah *pre-trained model* (model yang sudah dilatih).
4. Mempelajari alur kerja untuk mengimplementasikan Transfer Learning.
5. Melihat gambaran besar tentang apa lagi yang ada di dunia Computer Vision.

Tambahan hasil belajar terukur yang diharapkan:

- Mampu memilih backbone yang sesuai (MobileNet/EfficientNet/ResNet) berdasarkan resource dan ukuran data.
- Mampu menyusun pipeline data sederhana (train/val/test split, augmentasi dasar) dan menghindari kebocoran data.
- Mampu melatih tahap head-only dan melakukan fine-tuning dengan benar (recompile, LR kecil, freeze sebagian layer).
- Mampu mengevaluasi model dengan metrik, kurva training, dan analisis kesalahan sederhana (mis. contoh salah klasifikasi terbanyak).

---

### Bagian 1: Masalah dengan Melatih Model dari Nol

Membangun model dari nol itu seperti ingin memasak rendang, tapi kalian memulainya dari memanjat pohon kelapa untuk mendapatkan santannya. Bisa, tapi butuh usaha yang luar biasa besar. Proses melatih model dari nol (*training from scratch*) memiliki beberapa tantangan besar:

1. **Butuh Data Masif:** Model CNN yang dalam memiliki jutaan parameter. Untuk mengajari semua parameter ini dari nol agar bisa mengenali pola dengan baik, kita butuh dataset yang luar biasa besar, seringkali jutaan gambar. Mendapatkan data sebanyak ini bisa jadi sangat sulit dan mahal.

2. **Butuh Komputasi Super Mahal:** Melatih model raksasa pada dataset jutaan gambar membutuhkan *hardware* yang sangat kuat (seperti GPU atau TPU canggih) dan waktu yang sangat lama—bisa berhari-hari, berminggu-minggu, bahkan berbulan-bulan. Ini berarti butuh biaya listrik dan komputasi yang sangat besar.

3. **Tidak Efisien:** Setiap kali ada masalah baru, kita harus mengulang lagi proses yang panjang dan mahal ini. Padahal, banyak masalah Computer Vision memiliki kesamaan fundamental (misalnya, semua butuh kemampuan untuk mengenali tepi, tekstur, sudut, dan bentuk dasar).

Tambahan konteks praktis:

- Dataset sungguhan sering penuh “noise” (label salah/ambigu), sehingga melatih dari nol mudah sekali overfitting.
- Tanpa inisialisasi yang baik, training dalam bisa “macet” di local minima atau butuh trik optimisasi lanjutan.
- Dari sisi biaya: eksperimen iteratif (coba arsitektur, augmentasi, LR) menjadi sangat lambat jika semua dari nol.
- Kapan melatih dari nol masuk akal? Jika domain sangat berbeda jauh dari ImageNet (citra medis tertentu, citra satelit spektrum khusus) DAN kalian punya data besar + resource memadai.

---

### Bagian 2: Solusinya - Berdiri di Atas Bahu Raksasa

Bagaimana jika, alih-alih memasak dari nol, kita menggunakan "bumbu instan rendang" berkualitas premium yang sudah diracik oleh chef kelas dunia? Kita tinggal menambahkan daging dan sedikit penyesuaian, dan hasilnya bisa sama enaknya (atau bahkan lebih enak) dengan waktu yang jauh lebih singkat.

Inilah ide di balik **Transfer Learning**.

**Definisi Sederhana:** Transfer Learning adalah teknik di mana kita mengambil sebuah model canggih yang sudah dilatih sebelumnya oleh para peneliti di perusahaan besar (seperti Google, Facebook, atau OpenAI) pada dataset raksasa, lalu kita mengadaptasi "pengetahuan" yang sudah ia miliki untuk menyelesaikan tugas spesifik kita.

Kita tidak perlu mengajari model cara melihat dari nol. Kita "meminjam" pengetahuannya yang sudah sangat matang.

Kapan Transfer Learning paling cocok:

- Data kalian jumlahnya terbatas (ratusan–puluhan ribu gambar per kelas, bukan jutaan).
- Domain masih “mirip” fotografi natural (warna RGB, objek dunia nyata) atau setidaknya tidak terlalu jauh.
- Kalian butuh iterasi cepat untuk time-to-first-result yang baik.

Risiko/hal yang perlu diwaspadai:

- Domain shift: model pra-latih mungkin bias ke ImageNet; butuh augmentasi dan fine-tuning untuk adaptasi.
- Lisensi & ukuran model: beberapa backbone besar berat untuk perangkat edge; pilih yang ringan bila deployment terbatas.

---

### Bagian 3: Anatomi Sebuah *Pre-trained Model*

Model-model canggih ini (seperti VGG16, ResNet, MobileNet, EfficientNet) biasanya dilatih pada dataset legendaris bernama **ImageNet**, yang berisi lebih dari 14 juta gambar dengan 1000 lebih kategori objek (mulai dari jenis anjing, mobil, hingga jamur).

Setelah dilatih, model ini pada dasarnya memiliki dua bagian utama:

1. **Convolutional Base (Sang Pengekstrak Fitur)**
* Ini adalah bagian utama model, yang terdiri dari tumpukan *layer* `Conv2D` dan `Pooling`.
* **Tugasnya:** Belajar mengenali fitur-fitur visual secara hirarkis, mulai dari yang paling simpel (garis, warna, tekstur) di lapisan awal, hingga pola yang sangat kompleks (mata, roda mobil, daun) di lapisan yang lebih dalam.
* **Analogi:** Anggap ini sebagai "mata universal" yang sangat terlatih. Ia sudah tahu cara melihat dunia dan mengenali berbagai macam pola visual. Pengetahuan ini sangat umum dan bisa diterapkan di banyak masalah.

2. **Classifier Head (Sang Pengambil Keputusan)**
* Ini adalah beberapa *layer* `Dense` di bagian akhir model.
* **Tugasnya:** Menerima semua fitur kompleks yang diekstrak oleh *Convolutional Base* dan membuat keputusan akhir untuk mengklasifikasikan gambar ke dalam salah satu dari 1000 kelas ImageNet.
* **Analogi:** Anggap ini sebagai "otak spesialis" yang dilatih khusus untuk ujian ImageNet.

Ide dari Transfer Learning adalah: kita **membuang "otak spesialis" (Classifier Head)** yang lama, dan **mempertahankan "mata universal" (Convolutional Base)** yang sudah sangat pintar.

Detail praktis yang penting:

- Parameter `include_top=False` meniadakan classifier head bawaan sehingga kita bebas menambahkan head baru sesuai jumlah kelas.
- Setiap backbone punya kebutuhan preprocessing berbeda (`preprocess_input`): gunakan yang sesuai agar skala/normalisasi tepat.
- Ukuran input juga bisa spesifik (mis. 160×160 untuk MobileNetV2 contoh umum; EfficientNet punya rekomendasi per varian).
- Layer seperti BatchNormalization bersikap berbeda saat `training=True/False`; saat freeze base, jalankan dengan `training=False` agar statistik tidak berubah.
- “Hierarki fitur”: layer awal belajar tepi/tekstur; layer dalam belajar pola kompleks (bagian objek). Inilah sebabnya convolutional base bisa dipakai ulang.

---

### Bagian 4: Alur Kerja Transfer Learning

Berikut adalah langkah-langkah praktis untuk mengimplementasikan Transfer Learning:

**Langkah 1: Muat Model Raksasa (Tanpa Kepala)**
Kita akan memuat sebuah *pre-trained model* dari Keras, tetapi kita secara spesifik meminta untuk tidak menyertakan *classifier head* miliknya.

# Contoh memuat model MobileNetV2 tanpa classifier head-nya
base_model = tf.keras.applications.MobileNetV2(input_shape=(160, 160, 3),
                                               include_top=False, # Ini kuncinya!
                                               weights='imagenet')

**Langkah 2: Bekukan Si Raksasa (*Freeze the Base*)**
Ini adalah langkah yang paling krusial. Kita mengatur agar *weights* di dalam *convolutional base* tidak bisa diubah selama proses training.

* **Mengapa dibekukan?** Untuk menjaga pengetahuan berharga yang sudah ia pelajari dari ImageNet. Jika tidak kita bekukan, proses training awal bisa "merusak" semua pengetahuan yang sudah matang tersebut.

base_model.trainable = False

**Langkah 3: Pasang Kepala Baru Kita**
Sekarang, kita akan menumpuk *layer-layer* baru kita sendiri di atas *base model* yang sudah dibekukan. "Kepala" baru inilah yang akan kita latih untuk masalah spesifik kita (misalnya, membedakan 10 jenis hewan di CIFAR-10).

# Membuat model baru dengan menumpuk layer di atas base_model
model = Sequential([
    base_model,
    Flatten(),
    Dense(128, activation='relu'),
    Dense(10, activation='softmax') # Misal, untuk 10 kelas
])

**Langkah 4: Latih HANYA Kepala Baru**
Terakhir, kita meng-compile dan melatih model kita seperti biasa. Namun, karena *base model* sudah dibekukan, proses *training* hanya akan memperbarui *weights* di "kepala" baru yang baru saja kita tambahkan. Proses ini jauh lebih cepat karena jumlah parameter yang dilatih jauh lebih sedikit.

Kontrak kecil (yang perlu konsisten):

- Input: gambar RGB berukuran (H, W, 3), sudah diproses sesuai backbone (pakai `preprocess_input`).
- Output: logits/probabilitas sepanjang `num_classes` (pilih `softmax` untuk klasifikasi multi-kelas).
- Loss: `sparse_categorical_crossentropy` untuk label integer, atau `categorical_crossentropy` untuk one-hot.
- Metrik utama: `accuracy`, plus metrik tambahan jika perlu (precision/recall per kelas saat evaluasi terpisah).

Contoh minimal melengkapi tahap compile-fit:

model.compile(optimizer=tf.keras.optimizers.Adam(1e-3),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

history = model.fit(train_ds,
                    validation_data=val_ds,
                    epochs=10)

---

### Bagian 5: *Fine-Tuning* (Langkah Lanjutan Opsional)

Setelah kita melatih "kepala" baru hingga performanya cukup baik, ada satu langkah lanjutan yang bisa kita lakukan: **Fine-Tuning**.

* **Apa itu?** Kita "mencairkan" (*unfreeze*) beberapa lapisan teratas dari *base model* dan melatih kembali keseluruhan model (termasuk lapisan yang baru dicairkan itu) dengan *learning rate* yang sangat kecil.
* **Tujuannya?** Untuk sedikit menyesuaikan pengetahuan umum dari *base model* agar lebih cocok dengan dataset spesifik kita.
* **Analogi:** Setelah kita belajar memasang mesin mobil baru (melatih kepala), kita sekarang mencoba sedikit menyetel beberapa komponen di mesin tersebut agar performanya lebih optimal untuk mobil kita.

*Fine-tuning* adalah teknik yang lebih canggih, tapi bisa memberikan peningkatan akurasi yang signifikan.

Panduan praktis fine-tuning:

- Lakukan setelah head-only stabil (val loss/acc tidak membaik signifikan 2–3 epoch).
- Buka (unfreeze) sebagian layer paling akhir saja; sisakan layer awal tetap freeze untuk menjaga fitur umum.
- Turunkan learning rate 10–100× dari tahap head-only (mis. dari 1e-3 menjadi 1e-5).
- Re-compile model setelah mengubah `trainable` (agar optimizer mengetahui parameter mana yang akan diupdate).
- Hati-hati dengan BatchNorm: sering lebih stabil jika dibiarkan tidak dilatih (atau jalankan base dengan `training=False`).

Contoh singkat:

base_model.trainable = True
for layer in base_model.layers[:-30]:
    layer.trainable = False
model.compile(optimizer=tf.keras.optimizers.Adam(1e-5),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
history_ft = model.fit(train_ds, validation_data=val_ds, epochs=10)

---

### Bagian 6: Mengapa Ini Sebuah *Game-Changer*?

Menggunakan Transfer Learning memberikan keuntungan yang luar biasa:

* **Akurasi Jauh Lebih Tinggi:** Model *pre-trained* memberikan titik awal yang jauh lebih baik, memungkinkan kita mencapai akurasi yang mungkin mustahil dicapai dengan melatih model kecil dari nol.
* **Butuh Data Jauh Lebih Sedikit:** Karena sebagian besar pengetahuan sudah ada, kita tidak perlu puluhan ribu atau jutaan gambar. Beberapa ribu, atau bahkan beberapa ratus gambar per kelas, terkadang sudah cukup untuk mendapatkan hasil yang bagus.
* **Training Jauh Lebih Cepat:** Kita hanya melatih sebagian kecil dari total parameter, sehingga proses training bisa selesai dalam hitungan menit, bukan jam atau hari.

Pertimbangan tambahan di dunia nyata:

- Bandingkan selalu dengan baseline sederhana (mis. CNN kecil dari nol) untuk memastikan manfaat TL terlihat jelas.
- Gunakan kurva training (loss/accuracy) untuk memantau overfitting; jika val loss naik terus, perkuat augmentasi/regularisasi.
- Evaluasi lebih kaya dari sekadar akurasi: lihat confusion matrix untuk kelas yang sering tertukar, dan analisis beberapa contoh salah.
- Pikirkan deployment: ukuran model, latensi inferensi, dan kompatibilitas perangkat (edge/mobile) sering menentukan pilihan backbone.

---

### Bagian 7: Gambaran Besar & Arah Selanjutnya

Apa yang telah kalian pelajari selama 4 minggu ini—terutama arsitektur CNN dan Transfer Learning—adalah fondasi untuk hampir semua tugas canggih di dunia Computer Vision.

Beberapa area menarik lainnya yang bisa kalian eksplorasi adalah:

* **Object Detection:** Bukan hanya mengklasifikasikan gambar, tapi juga menemukan lokasi objek di dalam gambar dan menggambar kotak di sekelilingnya (Contoh: YOLO, SSD).
* **Image Segmentation:** Mengklasifikasikan setiap piksel di dalam gambar untuk memahami batas-batas objek secara detail.
* **Generative Models:** Menciptakan gambar baru yang realistis dari nol (Contoh: Midjourney, Stable Diffusion, DALL-E).

Semua teknologi canggih ini pada intinya menggunakan *backbone* berupa arsitektur CNN yang kuat, seringkali dilatih menggunakan prinsip Transfer Learning.

Bagaimana memulai eksplorasi lebih lanjut:

- Object Detection: mulai dari YOLOv5/YOLOv8 atau SSD; konsep inti adalah backbone + head deteksi (lokasi + kelas).
- Segmentation: coba U-Net atau DeepLab; pahami konsep mask per piksel dan metrik IoU/Dice.
- Generative: eksplorasi Diffusion Models; pahami perbedaan antara generatif dan diskriminatif serta isu etika data.

---

### Penutup: Perjalanan Kalian Baru Dimulai

Selamat! Kalian telah berhasil menyelesaikan seluruh rangkaian materi bootcamp AI ini. Kalian sudah bertransformasi dari yang mungkin tidak tahu apa-apa tentang AI, hingga kini mampu membangun, melatih, dan bahkan mengoptimalkan sebuah model Computer Vision.

Ingat, ini bukanlah akhir, melainkan **awal dari perjalanan kalian** di dunia AI yang sangat luas dan menarik. Fondasi yang kalian bangun di sini sudah lebih dari cukup untuk mulai bereksperimen sendiri, mencoba dataset baru, membaca blog, atau bahkan mengikuti kompetisi di Kaggle.

Teruslah bereksperimen, teruslah belajar, dan jangan pernah takut untuk membuat kesalahan, karena dari situlah pembelajaran sejati berasal.