## Konstruksi Alat Ukur:straight_ruler: #### Sesi :two: Matrikulasi Magister Psikologi <!-- Put the link to this slide here so people can follow --> **Rizqy Amelia Zein** Departemen Psikologi Kepribadian dan Sosial Universitas Airlangga laman web: https://s.id/matrikulasi-mapsi-kau ---  Untuk mengunduh salindia (.pdf), geser ke bawah (*swipe down*) dan klik tanda :printer:. ---  --- ### Prinsip dasar membuat skala :point_up: <div style="text-align: left"> * **==Mendefinisikan==** (secara operasional) konstruk yang ingin diukur secara gamblang - Apabila memungkinkan diturunkan menjadi **==indikator perilaku==** * Menentukan **==format aitem==** - *Open-ended questionnaire* atau *forced choice* (model *Likert*)? </div> --- ### Prinsip dasar membuat skala :point_up: <div style="text-align: left"> * Berapa banyak **==jumlah respon==** yang diperlukan? - Untuk validitas dan reliabilitas optimal, [**antara 4 s/d 7 pilihan**](https://sci-hub.se/https://econtent.hogrefe.com/doi/abs/10.1027/1614-2241.4.2.73) jawaban - Pada responden anak-anak, [**pilihan 3 s/d 4**](https://sci-hub.se/https://www.sciencedirect.com/science/article/pii/S0191491X20301437?casa_token=y13YD_LYyuIAAAAA:64e1x9A2sIOSXwixNDrxtMI1vJ2VSSUrCI0uE0R2n38Ub1W-NGyKTu1z8w254KrklOUMhvQ9DQ) menghasilkan ==indeks diskriminan==, ==validitas==, dan ==reliabilitas== paling optimal * Perhatikan jenis data (NOIR) * *Extreme-labelled* atau *fully-labelled*:question: </div> --- ### Prinsip dasar menulis aitem :pencil: <div style="text-align: left"> * Perhatikan **==tata bahasa==** * **==Hindari==** kalimat yang *double-barreled* - "Proses belajar yang saya lalui menyenangkan dan bermanfaat" :x: * **==Hindari==** kalimat yang terlalu kompleks atau terlalu panjang * **==Hindari==** bahasa lisan/tidak baku (*slang*) </div> --- ### Prinsip dasar menulis aitem :pencil: <div style="text-align: left"> * **==Hindari==** kalimat negatif - "Proses belajar saya tidak menyenangkan" :x: - "Proses belajar saya cenderung membosankan" :heavy_check_mark: </div> --- ### Prinsip dasar menulis aitem :pencil: <div style="text-align: left"> * **==Hindari==** kalimat yang mengarahkan responden untuk menjawab pilihan tertentu (*leading*) - "Apakah menurut anda Bu Amel, dosen yang paling cantik di Fakultas Psikologi, mengajar dengan baik?" :x: </div> --- ## Tugas :one: <div style="text-align: left"> * Masing-masing mahasiswa berlatih untuk menulis aitem dengan memilih salah satu dari konstruk di bawah ini: - [*Impostor phenomenon*](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/impostor-phenomenon.docx) :performing_arts: - [*Spiritual transcendence*](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/spiritual-transcendence.docx) :pray: - [Depresi](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/depresi.docx) :confounded: - [*Norm-Activation theory*](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/norm-activation-theory.docx) :deciduous_tree: - [*Humility*](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/humility.docx) :place_of_worship: </div> --- ## Tugas :one: <div style="text-align: left"> * Mahasiswa boleh mencari informasi tambahan tentang konstruk tersebut secara mandiri, tidak harus mengandalkan informasi di lembar kerja. * Waktu: 40 menit </div> --- ## Validitas :100: <div style="text-align: left"> * Menjawab pertanyaan mengenai ==**[kesahihan alat ukur](https://sci-hub.tw/10.1037/0033-295X.111.4.1061)**== * Apakah alat ukur **==benar-benar dapat mengukur==** konstruk yang akan diukur? * **==Validitas isi==** - Menekankan *expert judgement*, tapi **==tidak memberikan bukti empirik/data==** - Cenderung **==subjektif==** dan kurang bisa diandalkan </div> --- ## Caveat:exclamation: Ada **==banyak teknik lain yang lebih andal==**, tetapi melibatkan teknik statistik yang lebih kompleks. (e.g. analisis faktor, *Latent Response Model* (LRM) atau *IRT modeling*, *multi-trait multi-method* (MTMM)). ---  --- ## Validitas isi :1234: <div style="text-align: left"> * ==[*Content Validity Index*](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/rubio.pdf)== (CVI) - Mengestimasi validitas dengan meminta rater untuk memberikan skor untuk setiap aitem pada tiga domain - Domain tersebut adalah; *representativeness*, *relevance*, dan *clarity* dalam rentang skor 1 s/d 4 </div> --- ## Validitas isi :1234: <div style="text-align: left"> * ==[*Content Validity Ratio*](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/ayrescally.pdf)== (CVR) - Mengestimasi validitas dengan menyeleksi aitem yang ==**paling penting dan sesuai**== dengan definisi konstruk - Rater diminta memberikan skor apakah aitem tersebut benar-benar diperlukan untuk mewakili konstruk yang diukur, dengan kisaran 1 (sangat tidak perlu) s/d 3 (sangat perlu) </div> --- ## Validitas isi :1234: <div style="text-align: left"> * Cara hitung: hitung proporsi rater yang memberikan skor 3 atau lihat tabel Lawshe * Tabel Lawshe (1975) disempurnakan oleh [Ayre & Scally (2003)](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/ayrescally.pdf) </div> --- ## Tugas :two: <div style="text-align: left"> * Silahkan bertukar hasil Tugas 1 (membuat aitem) dengan mahasiswa yang lain. * Cermati pekerjaan teman anda dan berikan penilaian sesuai dengan instruksi yang ada di lembar kerja. * Unduh [lembar kerja rater disini.](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/cvr-cvi.docx) * Berikan masukan atas penulisan aitem tersebut. * Waktu: 30 menit </div> --- ## Tugas :three: <div style="text-align: left"> * Cermati masukan yang telah diberikan rekan anda. * Revisi aitem-aitem dalam skala anda sesuai dengan masukan rater di lembar kerja yang baru. * Hitunglah *content validity index* (CVI) sesuai dengan skor yang diberikan rater ([lihat simulasi](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/menghitung-cvi.xlsx)). </div> --- ## Tugas :three: <div style="text-align: left"> * [Kumpulkan desain alat ukur anda](https://forms.gle/BZoCYL4EN1eYZgWt6) yang sudah diberi masukan oleh rekan anda, direvisi, dan dihitung CVI-nya. * Waktu: 40 menit </div> ---  --- ## Reliabilitas :triangular_ruler: <div style="text-align: left"> * Merupakan konsep yang berkaitan dengan **==keajegan alat ukur==** * Kalau diasumsikan tidak ada perubahan yang berarti pada objek ukur, dua pengukuran pada waktu yang berbeda, seharusnya memberikan ==**hasil yang cenderung konsisten**== * Dapat diestimasi dengan beberapa teknik, misalnya tes paralel, *test-retest*, dan konsistensi internal </div> --- ## Konsistensi internal :eyeglasses: <div style="text-align: left"> * Yang paling [**sering disalahgunakan**](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/mcneish.pdf) adalah koefisien Cronbach’s α * Cronbach’s α **==hanya digunakan dengan asumsi==**, yaitu: - ==**Tau equivalence**==: aitem harus berkontribusi secara ekuivalen (setara). Asumsi ini tidak dapat diketahui kalau tidak dilakukan analisis faktor, untuk mengetahui *loading factor* masing-masing aitem. </div> --- ## Konsistensi internal :eyeglasses: <div style="text-align: left"> * Aitem bentuknya **==metrik==** (*continuous*) dan **==berdistribusi normal==**. - Hal ini sulit dipenuhi karena skala Likert pada dasarnya bentuknya ordinal. * *Error* pengukuran seharusnya **==tidak saling berkorelasi==**. * Konstruk seharusnya **==unidimensional==**. </div> ---  --- ## Alternatif yang lebih baik :question: ==**McDonald's ω**==  --- ## Demonstrasi :eyes: [Unduh *file* demonstrasi disini](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/reliabilitas-demo.omv). --- ## Tugas :four: <div style="text-align: left"> * Unduh [jamovi 2.0](https://www.jamovi.org/downloads/jamovi-2.0.0.0-win64.exe) atau [versi stabilnya (1.6.23)](https://www.jamovi.org/downloads/jamovi-1.6.23.0-win64.exe). * Dengan menggunakan dataset yang telah disediakan ([data-rwa.csv](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/data-rwa.csv)), lakukan pengujian reliabilitas skala (RWA) tersebut. * Perhatikan [kamus datanya](https://rameliaz.github.io/files/kuliah/matrikulasi-mapsi/codebook-kamusdata.xlsx), identifikasi mana aitem yang *unfavourable* yang harus diskor balik (*reversed*). * Laporkan sesuai contoh, [kumpulkan laporan disini](https://forms.gle/XdN6ZzSu4y2BTuZt5). * Waktu: 40 menit </div> --- ### Terima kasih! #### Semoga bermanfaat :tada: Silahkan hubungi saya via: - [Situs pribadi](https://rameliaz.github.io/) - [Twitter](https://twitter.com/ameliazein) - [atau email](mailto:amelia.zein@psikologi.unair.ac.id)