Di balik layar ruang editor publikasi ilmiah, baik itu yang berafiliasi dengan kampus sampai lembaga penelitian. Nilai p-value sering menjadi sebuah palu godam. Jika data yang disajikan signifikan maka sebuah artikel dianggap layak dan memenuhi syarat publikasi. Sebaliknya, kalau tidak signifikan maka penelitian itu dianggap gagal dan tidak sesuai dengan kaedah metodologi ilmiah. Cara berpikir ini kerap melahirkan klaim yang seolah ilmiah, tetapi sebenarnya salah secara logika statistik. Andrew Gelman dan Hal Stern (2006), merumuskan sebuah kritik yang perlu untuk kita perhatikan dan kita dengar: “The difference between “significant” and “not significant” is not itself statistically significant”, yakni perbedaan antara hasil yang “signifikan” dan “tidak signifikan” tidak otomatis berarti perbedaannya sendiri signifikan.
Kesalah pahaman ini nampaknya sepele, padahal dampaknya begitu besar. Dalam publikasi, kita sering membaca kalimat seperti: “Perlakuan A efektif (p < 0,05), sedangkan perlakuan B tidak efektif (p > 0,05). Jadi A lebih efektif daripada B.” Sebenarnya ini adalah sebuah lompatan logika. Pernyataan A signifikan dan B tidak signifikan sebenarnya hanya memberi tahu bahwa masing-masing dibandingkan dengan H0 (Hipotesa nol) yakni dianggap melewati atau tidak melewati dari ambang tertentu. Tetapi pertanyaannya bukan hanya pada apakah A berbeda dari H0? melainkan apakah A lebih besar dari B? Dua pertanyaan itu tentu berbeda, dan membutuhkan uji yang berbeda pula.
Gelman dan Stern memberikan sebuah contoh sederhana: misalkan Studi A memperkirakan efek bernilai 25 dengan simpangan baku 10, sedangkan Studi B memperkirakan efeknya 10 dengan simpangan baku sekitar 10. Secara narasi statistik, A tampak meyakinkan dan B tampak seperti gagal. Namun bila yang diuji adalah selisih antara A-B, ketidakpastian selisihnya juga ikut bertambah. Selisih 15 bisa saja tidak cukup besar dibandingkan ketidakpastiannya untuk menyatakan A berbeda dari B dengan keyakinan yang tinggi. Artinya, satu angka lolos ambang dan yang satu tidak, belum menjadi bukti kuat bahwa keduanya benar-benar berbeda secara nyata.
Mengapa hal ini sering menimbulkan misleading? Karena label signifikan itu sangat sensitif terhadap ukuran sampel dan standard error. Dengan data lebih banyak, efek yang kecil sekalipun bisa menjadi signifikan. Sebaliknya, efek yang cukup besar pun bisa tidak signifikan bila datanya sedikit atau variansnya besar. Maka, membandingkan label signifikansi analogikanya seperti membandingkan ijazah kelulusan beberapa mahasiswa, dengan tidak membandingkan nilai IPK mereka berapa dalam transkrip nilai.
Kesalah pahaman ini bisa berbahaya manakala kita masuk ke dalam rumus regresi dengan banyak variabel. Dalam salah satu contoh yang diungkap oleh Gelman dan Stern, ada penelitian yang menonjolkan temuan bahwa jumlah kakak laki-laki signifikan, sedangkan saudara lain tidak signifikan, lalu kemudian muncul klaim bahwa hanya kakak laki-laki yang berpengaruh signifikan. Padahal untuk menyimpulkan yang berpengaruh adalah kakak laki-laki dibandingkan saudara lain, peneliti perlu menguji perbedaan koefisien lainnya misalnya melalui analisa kontras linier atau uji interaksi, dan bukan hanya sekadar membandingkan mana yang p-value-nya < 0,05 dan mana yang tidak. Apalagi jika koefisien-koefisien dalam regresi tersebut saling berkorelasi. Status signifikan/tidak bisa saja berubah hanya karena sedikit perubahan data atau spesifikasi model yang digunakan.
Contoh lainnya adalah riset dengan banyak populasi/kelompok yang menguji efek pada banyak frekuensi, banyak indikator, dan banyak subkelompok. Jika ada 20 pengujian, hampir pasti akan muncul beberapa yang kebetulan signifikan dan beberapa yang tidak. Menjadikan pola yang ini signifikan dan yang itu tidak signifikan sebagai dasar kesimpulan sering kali menghasilkan penjelasan yang bias. Dalam hal ini, Gelman dan Stern memberikan saran: tampilkan estimasi beserta ketidakpastiannya. Misalnya dengan menampilkan interval kepercayaan, kemudian melakukan perbandingan yang tepat antar-kondisi, bukan sekadar memberikan penjelasan pada grafik bahwa data ini signifikan dan data yang itu tidak signifikan.
Lalu apa yang sebaiknya dilakukan oleh para peneliti dan akademisi?
Pertama, sebelum melakukan uji statistik kita harus tahu dulu apa tujuannya: Saya ingin membuktikan apa? Jika ingin membuktikan A lebih besar dari B, maka analisis harus menguji A–B (atau interaksi dalam model), bukan menguji A vs H0 dan B vs H0 secara terpisah. Dalam istilah statistik yang lebih pas, bukan membandingkan dua p-value saja, melainkan menguji kontras.
Kedua, pindahkan fokus kajian dari lulus/ tidak lulus uji ke besaran efek dan ketidakpastiannya. P-value tidak mengukur seberapa besar efek, dan tidak mengukur seberapa penting efek dengan kondisi riilnya. American Statistical Association juga sering menegaskan bahwa p-value sering disalahpahami dan tidak boleh menjadi satu-satunya dasar dari inferensi.
Ketiga, untuk studi yang kompleks dengan banyak subkelompok (misalnya efek obat pada pria vs wanita, kota A vs kota B, generasi X vs Y), jangan terburu-buru menyimpulkan: Efek ada pada kelompok ini, tidak ada pada kelompok itu hanya berdasarkan pada satu p-value melewati 0,05 dan yang lain tidak. Kesalahan ini sering disebut dengan istilah: differences in nominal significance, yakni kesalahan membandingkan status signifikansi dan bukan uji perbedaan.
Analisa statistik bukan hanya terbatas pada sitasi “Signifikan” dan “Tidak signifikan” saja kemudian menyimpulkan ada atau tidaknya efek dari perlakuan. Yang lebih penting dari itu adalah memahami bahwa perbedaan dari sitasi itu tidak otomatis menjadi bukti perbedaan yang nyata. Jika ingin metodologi ilmiah yang kita gunakan dapat dipercaya, kita harus dengan jelas membedakan antara “pertanyaan yang kita ajukan” dengan “angka yang kebetulan muncul”. Gelman dan Stern menyatakan: ketelitian bukan pada banyaknya angka dan data, melainkan pada kejernihan berpikir dalam logika.
Referensi:
- Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152649
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
- Amrhein, V., Greenland, S., & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567(7748), 305–307. https://doi.org/10.1038/d41586-019-00857-9
