Saya akan menceritakan sebuah cerita horor 
p>0.05 
Horor bukan? 
Mmmm.. sebenarnya tidak juga kok 
Definisi p-value
Probabilitas sebuah tes statistik (yang dilakukan di masa depan) akan setidaknya sama besar/ekstrimnya seperti yang terobservasi dalam penelitian yang dilakukan, apabila semua asumsi terpenuhi dan hipotesis yang diuji (hipotesis nol) benar.
Bingung yah? 
Coba kita gunakan analogi 
Amel adalah seorang dosen Psikologi Unair, dan Ilham adalah suaminya. Berdasarkan hasil observasinya ketika membandingkan Amel dengan dosen yang lain, Ilham menyimpulkan bahwa Amel adalah dosen yang tercantik di Psikologi Unair (p=0.03).
Hipotesisnya 
H0: Semua dosen Psikologi Unair sama cantiknya (tidak ada perbedaan level kecantikan)
H1: Amel adalah dosen yang paling cantik (ada perbedaan level kecantikan)
Apa arti p-value dari analogi ini? 
Kalau seandainya semua dosen sama cantiknya (H0) adalah benar, maka peluang laki-laki lain (bukan Ilham) mengobservasi dosen lain yang sama cantiknya dengan Amel, adalah kecil sekali (0.03).
Jadi mungkin, H0 ga bener (ditolak).
Artinya, p-value adalah peluang yang melekat pada observasi/penelitian di masa depan (in the long run), bukan pada penelitian/observasi yang sedang dilakukan.
Juga, p-value sangat bergantung pada ukuran sampel. Pada jumlah sampel yang terlalu besar, atau terlalu kecil, p-value hampir-hampir tidak ada artinya sama sekali.
Pada ukuran sampel yang kecil, nothing is significant, sedangkan pada ukuran sampel yang besar, everything is significant.
Apa yang membuat p>0.05?
- Ukuran sampel terlalu kecil
- Statistical power kurang memuaskan
- Observasi/penelitian hanya mendeteksi random noise
p-value>0.05 = tidak ada efek?
Tidak.
Pendekatan null hypothesis significant testing (NHST) ada dua aliran.
- Fisher, yang menguji signifikansi (test of significance)
- Neyman & Pearson, yang menguji penerimaan (test of acceptance)
Keduanya pendekatan yang berbeda, jadi jangan dikombinasikan 
Baca Perezgonzalez (2015) untuk mengetahui lebih lanjut.
Dua kemungkinkan test of significance
- H0 (mungkin) ditolak
- Masih mungkin, karena kita butuh pengujian berkali-kali untuk memastikan hasilnya konsisten (frequent testing)
- H0 gagal ditolak
- H0 ditolak, bukan berarti H0 diterima
- H0 ditolak, bukan berarti H0 diterima
The absence of evidence is not the evidence of absence (Alderson 2004)
Kalau anda tidak punya bukti bahwa efek/pengaruh/korelasi/perbedaan itu (mungkin) ada, bukan berarti tidak ada sama sekali.
Apabila anda gagal menolak H0, bukan berarti H0 dinyatakan dapat diterima
Contoh 1
r=0.3, p=0.055
"…after conducting Pearson's correlation analysis, we failed to reject null hypothesis, even though our analysis yielded a rather moderate correlation coefficient"
Contoh 2
B=0.3, SE=0.04, p=0.055
"…to analyse our data, we performed ordinary least square regression, and we are not convinced that we have an evidence to confirm the existence of an adequate relationship between x and y.."
"..or there might be an association. However, it could be anything but linear" (tambahan dari mba Zida. Thanks mba!
)
Contoh 3
t(20)=0.6, p=0.66
"…to detect whether there was a difference between control and treatment group, we performed Student's t-test. We failed to find any evidences to reject our hypothesis which is a meaningful difference between control and treatment group does not exist…"