## *Single-case experimental design* #### Rizqy Amelia Zein <!-- Put the link to this slide here so people can follow --> salindia: https://s.id/single-case YouTube: https://youtu.be/QnF3yd47bps ---  Untuk mengunduh salindia (.pdf), geser ke bawah (*swipe down*) dan klik tanda :printer:. --- <img src="https://i.imgur.com/F5gc6Uy.jpg" style="width:60%;" class="fancyimage"/> --- ## Referensi [Krasny-Pacini, A., & Evans, J. (2018). Single-case experimental designs to assess intervention effectiveness in rehabilitation: A practical guide. Annals of physical and rehabilitation medicine, 61(3), 164-179.](https://www.sciencedirect.com/science/article/pii/S1877065717304542) --- ## Referensi [Tate, R. L., Perdices, M., Rosenkoetter, U., McDonald, S., Togher, L., Shadish, W., ... & Sampson, M. (2016). The Single-Case Reporting Guideline In BEhavioural Interventions (SCRIBE) 2016: Explanation and elaboration. Archives of Scientific Psychology, 4(1), 10.](https://www.sciencedirect.com/science/article/pii/S0022440516300073) --- <img src="https://i.pinimg.com/originals/5c/e0/2f/5ce02f82bcab501120c5f218ee3a454c.jpg" style="width:80%;" class="fancyimage"/> --- ## Statistik dengan sampel kecil? <div style="text-align: left"> * *Standard error* tak terkendali * *Statistical power* sangat lemah * Peluang terjadinya [*false positive* (*type 1 error*)](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2996198/) semakin besar * Kesimpulan (inferensi) yang diambil menjadi *misleading* </div> --- ## Lalu apa yang bisa dilakukan? Gunakan desain yang sesuai :arrow_right: *single-case experimental design* (SCED) --- ## *Outline* <div style="text-align: left"> * Definisi SCED * Karakteristik SECD * Jenis-jenis SCED * Pilihan pengukuran berulang (*repeated measures*) * *Treatment fidelity* * Langkah-langkah melakukan SCED * Menakar kemampuan generalisasi * Replikasi temuan penelitian </div> --- ## Definisi :heavy_exclamation_mark: <div style="text-align: left"> Desain eksperimen yang bertujuan untuk menguji efek suatu intervensi menggunakan sampel klien/pasien dengan jumlah kecil (umumnya 1-3 klien), dengan menggunakan pendekatan ==pengukuran berulang== (*repeated measures*), pemberian intervensi secara ==sekuensial== (atau bisa juga dengan ==randomisasi==, kalau peneliti memberikan ==lebih dari 1 intervensi==), serta menggunakan metode analisis data yang spesifik, termasuk ==analisis visual==. </div> --- ## Karakteristik (1) <div style="text-align: left"> * Umumnya partisipan diasesmen berulang kali, mulai ketika intervensi tsb belum diberikan (kondisi *baseline*) dan ketika intervensi selesai dilakukan. * Asesmen berulang ini memungkinkan partisipan untuk merefleksikan perubahan yang terjadi pada diri mereka dengan membandingkannya dengan kondisi *baseline*. </div> --- ## Karakteristik (2) SCED minimal dilakukan dalam dua fase, yaitu fase *baseline* (umumnya disimbolkan dengan ==A==) dan fase intervensi (fase ==B==) --- ## Beberapa nama lainnya :name_badge: <div style="text-align: left"> * *Single-subject experimental design* (SSED) * *Single-subject research design* (SSRD) * *N-of-1 trial* (biasanya digunakan di riset kesehatan/farmasi utk pengembangan obat) * *Small N design* * *Multiple-case design* * *Single-case design* * *Single-system design* </div> --- ### Kapan menggunakan SCED? (1) :pencil: <div style="text-align: left"> #### Ketika peneliti/terapis... * ...ingin mengevaluasi ==efektivitas intervensi== yang diberikan pada seorang klien pada proses perawatan klinis rutinnya, dengan tujuan memberikan pilihan intervensi yang berbasis bukti, bukan sekedar impresi klinis. * ...melakukan **riset** dalam konteks ==rehabilitasi klinis== dengan satu atau lebih klien. </div> --- ### Kapan menggunakan SCED? (2) :pencil: <div style="text-align: left"> #### Ketika peneliti/terapis... * ...menguji ==teknik intervensi baru==, atau ==aplikasi/modifikasi== dari intervensi yang sudah ada untuk kasus yang umum atau yang spesifik didesain untuk kondisi/jenis klien tertentu. * ...menguji ==bagian== mana dari suatu ==paket terapi== yang bekerja secara efektif. </div> --- ### Kapan menggunakan SCED? (3) :pencil: <div style="text-align: left"> #### Ketika peneliti/terapis... * ...menangani ==kasus yang sangat jarang== dan/atau ==target intervensi yang tidak biasa==, sehingga sulit mencari partisipan dengan karakteristik yang sama. * ...tidak mampu meraih sejumlah sampel klien dengan karakteristik yang ==homogen==. * ...memiliki ==keterbatasan waktu== atau sumberdaya lainnya. </div> --- ## Kalau pertanyaan penelitian anda termasuk dalam kondisi-kondisi tersebut, maka SCED adalah desain yang paling cocok untuk diterapkan :100: --- ## Jenis-jenis SCED :dart: <div style="text-align: left"> * *Withdrawal-reversal design* (ABA/ABAB) * *Multiple-baseline design* * Bisa *across subjects*, *across settings* atau *across behaviours* * *Alternating/simultaneous-treatment design* * *Changing-criterion design* Keempatnya memungkinkan randomisasi, meskipun randomisasi dalam SCED cenderung tidak umum. </div> --- # Perhatian :sound: **Desain AB** (mengukur kondisi *baseline* lalu mengukur kondisi setelah intervensi, dimana ==intervensi hanya diberikan sekali==) **bukan termasuk SCED** :exclamation: ---  [Krasny-Pacini & Evans (2018)](http://www.sciencedirect.com/science/article/pii/S1877065717304542) --- Tantangan berikutnya adalah: ## Bagaimana cara mendesain strategi pengukuran berulang yang baik :question: --- ## Pengukuran berulang (1) 📏 | Eksperimen | SCED | | :--------: | :--------: | | Menggunakan instrumen yang tervalidasi properti psikometrik/klinimetriknya, dapat juga dengan menggunakan *interrater reliability* | Peneliti mendesain sendiri strategi pengukuran *outcome variable*nya | --- ## Pengukuran berulang (2) 📏 | Eksperimen | SCED | | :--------: | :--------: | | Pengukuran diulang tidak lebih dari 2-3 kali (sebelum, sesudah, dan ketika *follow-up*) | Pengukuran didesain untuk mengukur target perilaku yang sifatnya objektif dan dapat diukur berulang tanpa risiko *major practice effects* | --- ## Pengukuran berulang (3) 📏 <div style="text-align: left"> ### Pada SCED * Boleh menggunakan tes terstandar asalkan dapat digunakan berulang kali tanpa *major test effect* dan tidak butuh waktu lama untuk diadministrasi. Bisa juga berupa **tugas**. * Wajib melaporkan reliabilitas pengukuran dalam laporan penelitian. * Biasanya durasi untuk mengadministrasi instrumen pengukuran cenderung pendek karena dilakukan berulang kali. </div> --- ## Pengukuran berulang (4) 📏 Dalam semua riset intervensi, pengukuran harus ==sensitif terhadap perubahan== sehingga mampu menangkap perubahan kondisi pada partisipan dengan baik (responsivitas baik). --- <img src="https://i.redd.it/v9a0s4wj7k131.jpg" style="width:60%;" class="fancyimage"/> --- ## Pengukuran lainnya (Kontrol) <div style="text-align: left"> * Peneliti juga mengukur TB lain di luar TB utama yang akan diteliti, dan ==diasumsikan seharusnya tidak berubah== meskipun intervensi sudah diberikan. * Kalau pengukuran kontrol menunjukkan ada perubahan juga, bisa jadi indikasi bahwa klien pulih secara spontan (bukan karena intervensi yg diberikan), atau klien hanya *reacting time spent* dengan terapis. </div> --- ## Pengukuran lainnya (Generalisasi) <div style="text-align: left"> * Selain berharap intervensi dapat memberikan perubahan pada TB, peneliti juga ingin tahu apakah intervensi juga meningkatkan *life skill* klien secara lebih luas, sekaligus menakar **validitas eksternal** eksperimen. </div> --- ## Pengukuran lainnya (Generalisasi) <div style="text-align: left"> * Pengukuran generalisasi mengukur ==efek intervensi pada keberhasilan klien== mengeksekusi ==tugas/aitem== tertentu yang mereka ==belum pelajari sebelumnya==. * Pengukuran generalisasi harus diulang, meskipun tidak sesering pengukuran TB utama. </div> --- ## Mendefinisikan *target behaviour* (TB) :dart: <div style="text-align: left"> * Harus relevan dengan pertanyaan penelitian dan sesuai dengan intervensi yang dilakukan, sekaligus harus diukur dengan akurat. * Untuk meningkatkan kualitas studi dan meminimalisasi bias, TB harus spesifik, dapat diobservasi, dan direplikasi oleh peneliti lain. </div> --- ## Mendefinisikan *target behaviour* :dart: TB biasanya sangat spesifik sehingga terkadang evaluasi psikometrik mengenai TB tersebut mungkin belum diformalisasi, sehingga disarankan peneliti menggunakan evaluasi ==*inter-observer agreement*== untuk mengkonseptualisasi dalam pengukuran dan pelaporan TB. --- ## Contoh *target behaviour*/cara mengukur (2) <div style="text-align: left"> | Contoh penelitian | *target behaviour* | | -------- | -------- | | Penggunaan *google calendar* untuk klien dengan gangguan mengingat yang berat | Jumlah perilaku target yang dipilih sendiri, diingat dan dilakukan klien (pergi ke masjid, ke dokter, dll.) | </div> --- ## Contoh *target behaviour*/cara mengukur (2) <div style="text-align: left"> | Contoh penelitian | *target behaviour* | | -------- | -------- | | Ketidakmampuan mengenakan baju pada pasien stroke | Menggunakan *rating scale* dari Nottingham Stroke Dressing Assessment | </div> --- ## Kapan peneliti melakukan pengambilan data? :mag: <div style="text-align: left"> 1. ==Diluar sesi intervensi== (misalnya, klien diminta mengisi *diary* diluar sesi terapi) 2. ==Termasuk dalam sesi intervensi== (misalnya, meminta klien dengan gangguan wicara untuk menyebutkan kata tertentu) 3. Termasuk dalam sesi intervensi, namun hanya pada ==hari tertentu saja== </div> --- ### Opsi terakhir lebih *preferable* daripada nomor 2 ketika... 🤔 <div style="text-align: left"> * Perubahan perilaku setelah intervensi biasanya ==lambat muncul== * Intervensi dilakukan secara ==intensif== (mis. setiap hari), sehingga mengukur *outcome* dengan pola yang sama sebaiknya dihindari * Mengambil data ==butuh waktu lama==, sehingga mengukur *outcome* pada setiap sesi akan menghabiskan waktu yang lebih banyak daripada kegiatan intervensinya </div> --- <img src="https://miro.medium.com/max/860/0*z6FuP2prIZe_z525." style="width:80%;" class="fancyimage"/> --- ## Merencanakan desain penelitian :microscope: Sebelum melakukan studi, peneliti wajib memastikan dulu beberapa aspek penting dari penelitiannya. Termasuk.. --- <div style="text-align: left"> * **Jenis desain** SCED (misalnya *withdrawal/reversal*, dsb.) * **Jumlah fase** (termasuk *baseline*, intervensi, *maintenance*, atau fase *follow-up*) * **Urutan fase** (apakah dirandomisasi? apakah peneliti melakukan *counterbalancing*?) * **Jumlah sesi** di tiap fase </div> --- <div style="text-align: left"> * **Jumlah/frekuensi pengambilan data** (*data points*) di setiap sesi per fase (berapa kali TB diukur?) * **Durasi** per sesi * **Durasi** per fase * **Interval waktu** antar sesi (jeda antar sesi) * Kalau ada beberapa partisipan yang terlibat, apakah semua partisipan memulai fase *baseline* pada waktu yang sama? **(*concurrent/non-concurrent*)** </div> --- :rooster: :rooster: :rooster: Idealnya, ==rekrutmen partisipan== dan ==pengambilan data== harus dilakukan pada ==waktu yang sama==. Kalau peneliti tidak mampu memastikan hal ini pada setidaknya 3 partisipan, maka harus dipastikan di awal studi bahwa hal ini tidak dilakukan (*non-concurrent*) --- :bangbang: <div style="text-align: left"> * Makin banyak fase *baseline*, peneliti akan makin mudah mendeteksi adanya perbedaan kondisi klien antara fase intervensi dan *baseline* * Umumnya, banyak yang menyarankan paling sedikit ada ==tiga fase *baseline*==, namun yang terbaik sedikitnya ==lima fase *baseline*== * Semakin bervariasi kondisi klien (*high variability*), maka dibutuhkan lebih banyak fase *baseline* </div> --- :bangbang: <div style="text-align: left"> * ==Semakin besar tren kemajuan yang== ditunjukkan klien setelah melalui fase intervensi, maka ==lebih sulit== pula untuk menyimpulkan intervensi memiliki ==efek aditif== (penambahan) pada ==pemulihan spontan== - Kemungkinan klien pulih secara spontan, bukan semata-mata efek intervensi </div> --- :bangbang: <div style="text-align: left"> * ==Semakin kecil (atau sedang)== tren kemajuan yang ditunjukkan klien, maka peneliti ==perlu menambah fase *baseline*== untuk benar-benar yakin intervensi memang menimbulkan efek </div> --- ## *Treatment fidelity* <div style="text-align: left"> Untuk memastikan integritas temuan penelitian laporkan apabila ada: * *Treatment integrity* :arrow_forward: apakah intervensi dilaksanakan sesuai rencana? * *Treatment differentiation* :arrow_forward: apabila tidak, fase/sesi yang mana yang dilaksanakan secara berbeda? </div> --- ## Langkah-langkahnya :feet: <div style="text-align: left"> * Temukan strategi pengukuran TB yang dapat diulang berkali-kali, tanpa *major test effect*, yang relatif singkat untuk dijalankan dan yang mencerminkan target intervensi. * Pilih pengukuran lain yang akan digunakan (kontrol, atau generalisasi) * Memilih desain SCED * Merencanakan detail pelaksanaan studi, termasuk kemungkinkan menggunakan randomisasi </div> --- ## Langkah-langkahnya :feet: <div style="text-align: left"> * Deskripsikan pelaksanaan intervensi secara mendetail dan rencanakan penilaian *treatment fidelity* * Tinjau kembali protokol studi * Lakukan studi, awasi apabila ada kejadian tak terduga, catat semua kejadian yang di luar rencana/protokol, lakukan asesmen *treatment fidelity*, lakukan *inter-rater reliability* pada pengukuran TB </div> --- :bangbang: :bangbang: INGAT! Agar dapat digolongkan SCED, peneliti harus setidaknya melakukan tiga kali pengukuran (ABA). --- ## Langkah-langkahnya :feet: <div style="text-align: left"> * Lakukan *plotting* dan analisis datanya secara visual * Gunakan teknik statistik yang sesuai untuk menjawab pertanyaan penelitian (menggunakan *overlap*) </div> Alat bantu analisis: [https://manolov.shinyapps.io/Overlap/](https://manolov.shinyapps.io/Overlap/) --- ## Analisis data 👩‍💻 Setidaknya ada 3 hal yang harus dilaporkan: <div style="text-align: left"> * Grafik yang menunjukkan hasil pengukuran TB pada setiap sesi -- fase * *Inter-rater reliability* untuk memastikan bahwa pengukuran variabel *outcome* dapat dipercaya * Deskripsi tentang *treatment fidelity* </div> --- ## Analisis visual 👩‍💻 <div style="text-align: left"> * *Level lines* :arrow_forward: garis yang menunjukkan *summary statistics*, bisa nilai tengah (median) atau rata-rata (mean) skor TB di seluruh fase/sesi * *Trend lines* :arrow_forward: tendensi perubahan yang menggambarkan tren kondisi klien di setiap fase/sesi </div> --- ## *Level line* [Krasny-Pacini & Evans (2018)](http://www.sciencedirect.com/science/article/pii/S1877065717304542) <img src="https://i.imgur.com/voRRY3B.png" style="width:60%;" class="fancyimage"/> --- ## *Trend line* [Krasny-Pacini & Evans (2018)](http://www.sciencedirect.com/science/article/pii/S1877065717304542) <img src="https://i.imgur.com/2Zwyvrq.png" style="width:60%;" class="fancyimage"/> --- ## Mengestimasi *overlap* <div style="text-align: left"> * Untuk mengetahui apakah intervensi benar-benar memberikan perubahan pada TB, peneliti dapat menggunakan indikator *overlap percentage* * Sederhananya, peneliti menghitung persentase *overlap* antar fase. Apabila persentase *overlap*-nya nol, maka intervensi tidak memberikan perubahan apapun </div> --- ## Mengestimasi *overlap* <div style="text-align: left"> Bisa menggunakan teknik yang sederhana seperti *point-exceeding median* (PEM), atau yang lebih kompleks (*non-overlap of all pairs* -- NAP, Tau-U, atau *baseline corrected* Tau-U) </div> Alat bantu analisis + tutorial: [https://manolov.shinyapps.io/Overlap/](https://manolov.shinyapps.io/Overlap/) [Contoh dataset](https://drive.google.com/file/d/1eSvMZyti665TBX9-gIaq0Wi1sjxjkHPg/view?usp=sharing) --- ## Isu mengenai replikasi dan generalisasi Bisakah temuan penelitian digeneralisasi pada klien lain diluar studi? Apakah temuan penelitian memungkinkan direplikasi oleh peneliti/terapis lainnya? --- ### Terima kasih! :tada: Pertanyaan dapat diajukan di: - [Spreadsheet](https://docs.google.com/spreadsheets/d/1LqcvLnfamGoE3rxKFg9eVtttMbmkPfcF7OxMY1yVGYM/edit?usp=sharing); or - [Drop-in session (setiap Jumat pukul 11-12)](https://meet.google.com/iis-oxiz-emc); or - [Email](mailto:amelia.zein@psikologi.unair.ac.id)