Sejak krisis reka-ulang (reproducibility) menerpa banyak disiplin ilmu, para ilmuwan terdesak untuk melakukan koreksi diri (self-correction) atas inovasi-inovasi yang mereka lakukan. Sejatinya, sains tak cukup hanya dengan melahirkan inovasi, namun koreksi diri juga perlu dilakukan agar para ilmuwan mendapatkan wawasan mengenai pekerjaan yang sudah mereka lakukan (Munafò, et al., 2010). Metasains, atau disiplin ilmu yang menyelidiki penelitian, memainkan peran pentingnya dalam proses ini. Metasains amat bermanfaat untuk memberikan informasi pada peneliti apa-apa yang perlu dikoreksi dari proses penelitian yang telah dilakukan, sekaligus memfasilitasi swarefleksi.
Sains Terbuka Airlangga (Airlangga Open Science) adalah komunitas akar rumput non-profit yang dikelola oleh beberapa tenaga pengajar di Universitas Airlangga, yang memiliki visi mempopulerkan Metasains di kalangan peneliti di Indonesia. Di tengah derasnya tuntutan agar peneliti meningkatkan produktivitas riset, kami mendorong agar lebih banyak sumberdaya diarahkan untuk meningkatkan kualitas, tidak hanya kuantitas luaran penelitian. Dari banyak strategi yang dapat dilakukan, kami mengajak peneliti untuk meningkatkan kualitas risetnya dengan cara memastikan agar temuan riset tersebut dapat direka-ulang (reproducible).
Kursus ini sengaja kami desain agar Metasains lebih aksesibel bagi peneliti Indonesia. Kursus ini mungkin tidak akan mencakup semua aspek dari Metasains, karena kami lebih banyak berfokus membahas sintesis bukti (evidence synthesis). Tetapi kami berharap materi dari kursus mandiri ini dapat memberikan wawasan dan perspektif baru mengenai hal-hal penting dalam proses penelitian. Kursus ini akan lebih banyak memberikan contoh-contoh kasus di bidang Psikologi, namun kursus ini tetap relevan diikuti oleh peserta dari berbagai bidang ilmu. Setelah mengikuti kursus mandiri ini, peserta diharapkan memiliki wawasan mengenai Metasains, dapat mendesain, melakukan, dan melaporkan meta-analisis.
Sebelum mengikuti kursus, ada beberapa hal yang perlu anda siapkan.
Materi berlisensi Creative Commons BY-NC 4.0. Siapapun bebas mereproduksi, melakukan re-distribusi, atau bahkan memodifikasi konten kursus ini. Namun, konten yang digunakan kembali tidak boleh digunakan untuk kepentingan komersial dan wajib mengatribusi sumber aslinya. Singkatnya, materi bebas digunakan kembali, namun anda wajib mengatribusi sumber aslinya dan dilarang menggunakannya untuk kepentingan komersial.
Kursus ini sepenuhnya gratis. Namun apabila anda merasa materi dalam kursus ini membantu anda, kami mengharapkan agar anda menjadi patron atau memberikan donasi kepada Sains Terbuka Airlangga. Tujuannya, agar kami dapat membuat lebih banyak konten gratis yang bisa dimanfaatkan oleh khalayak luas.
Silakan klik tautan ini untuk mengetahui lebih lanjut bagaimana cara menjadi patron atau memberikan donasi kepada Sains Terbuka Airlangga.
Kursus ini terdiri dari 10 bagian. Di setiap bagian, kami akan menyediakan video materi dari pemandu kursus (dengan durasi antara 20-30 menit), salindia materi, referensi yang harus dibaca, dan tugas mandiri yang dapat dikerjakan oleh peserta.
Peserta dimungkinkan untuk mengajukan pertanyaan kepada pemandu kursus dengan mengisi spreadsheet yang khusus disediakan untuk menampung pertanyaan. Spreadsheet diatur dengan akses publik sehingga anda dapat menambahkan pertanyaan anda secara mandiri. Anda dapat bertanya secara anonim dan dimungkinkan untuk belajar dari pertanyaan dari peserta lain. Anda juga diperbolehkan untuk ikut menjawab pertanyaan peserta lainnya di kolom yang sudah disediakan.
Silakan klik di sini untuk mengakses spreadsheet pertanyaan.
!!MOHON DIINGAT!! anda tidak diperkenankan untuk mengubah pertanyaan yang sudah diajukan oleh peserta lain, ataupun memodifikasi jawaban yang sudah diberikan oleh pemandu.
Berikut adalah gambaran singkat materi kursus:
Dalam materi ini, pemandu akan menguraikan krisis coba-ulang (replikasi) dan revolusi kredibilitas yang terjadi di beberapa disiplin ilmu, khususnya Psikologi. Pemandu akan menguraikan akar persoalan krisis replikasi, definisi coba-ulang (replikasi) dan reka-ulang (reproducibility), dan mengapa persoalan ini menjadi ancaman bagi kredibilitas sains, lembaga otoritas sains, dan ilmuwan. Dalam materi ini, pemandu juga akan menguraikan peranan Metasains dalam revolusi kredibilitas.
Dalam materi ini, pemandu akan menguraikan apa yang dimaksud dengan sintesis bukti, apa kelebihan pendekatan ini serta dalam kondisi seperti apa studi sintesis bukti dianggap kredibel. Selain itu, peserta akan dikenalkan dengan bermacam-macam pendekatan sintesis bukti, serta pengantar singkat mengenai meta-analisis, termasuk pada saat seperti apa meta-analisis dilakukan dan hal-hal apa yang harus disiapkan oleh peneliti sebelum melakukan meta-analisis.
Dalam materi ini, pemandu akan menjelaskan mengenai eligibility criteria yang harus ditetapkan peneliti sebelum melakukan pencarian literatur, diantaranya menetapkan kriteria inklusi dan ekslusi. Peserta juga akan diajak berlatih untuk menentukan kata kunci dengan teknik Boolean logic serta berlatih menggunakan basis data/mesin pencarian untuk mencari literatur. Selain itu, pemandu akan memberikan contoh penerapan flowchart sesuai dengan PRISMA statement untuk menggambarkan proses pemilihan sampel artikel.
Pada bagian ini, peserta akan dikenalkan dengan konsep besaran efek (effect size) yang merupakan representasi bukti yang akan direkam dan dianalisis dalam studi meta-analisis. Peserta akan dikenalkan dengan berbagai macam konsep besaran efek serta teknik konversinya apabila sampel artikel memuat informasi besaran efek yang berbeda.
Pada bagian ini, pemandu akan memberikan strategi-strategi yang dapat digunakan peneliti untuk mengkoding informasi dengan menggunakan coding sheet. Selain itu, peserta diajak untuk berlatih melakukan analisis risiko bias pada sampel artikel untuk mengestimasi kualitas penelitian yang digunakan dalam meta-analisis.
Dalam bagian ini, pemandu akan menjelaskan perbedaan random, fixed dan mixed model dalam meta-analisis, pada saat kapan salah satu (atau kedua model) tersebut digunakan serta memilih model estimator. Pemandu juga akan menguraikan asumsi-asumsi kedua model dan bagaimana cara melakukan asesmen kecocokan model (model fit). Dalam bagian ini, pemandu juga akan menerangkan cara membaca forest plot.
Di bagian ini, pemandu akan menguraikan strategi-strategi yang digunakan untuk mendeteksi derajat heterogenitas studi-studi yang digunakan sebagai sampel dalam meta-analisis. Peserta juga diajak untuk mengenali teknik meta-regression yang dapat dilakukan untuk mendeteksi variabel moderator yang menyebabkan heterogenitas pada sampel.
Meta-analisis umumnya hanya mencakup studi-studi yang dipublikasikan atau dapat diakses terbuka. Namun, bagaimana dengan penelitian yang tidak dipublikasikan, apalagi yang hasilnya negatif (null findings)? Padahal studi dengan hasil negatif lebih sulit dipublikasikan daripada studi dengan hasil positif. Hal ini menimbulkan kondisi yang juga disebut sebagai bias publikasi. Dampaknya, meta-analisis memberikan informasi yang parsial akibat tidak tersedianya semuanya informasi yang dibutuhkan untuk membuat kesimpulan. Di bagian ini, pemandu akan menerangkan teknik-teknik yang dapat digunakan untuk mendeteksi dan mengkoreksi bias publikasi (funnel plot (inverted dan contour-enhanced), fail-safe N, trim-and-fill, Egger’s test, p-curve, dan equivalence test).
Pada bagian ini, pemandu akan menguraikan bagaimana cara melaporkan hasil meta-analisis, termasuk apa saja yang harus dilaporkan dalam artikel. Pemandu akan menggunakan PRISMA Statement.
Dalam bagian ini, pemandu akan menyampaikan limitasi studi meta-analisis dan bagaimana mencegah bias yang mungkin muncul sebelum studi dimulai. Pemandu juga akan menyampaikan bagaimana praktik Sains Terbuka dapat dilakukan untuk meningkatkan kredibilitas temuan dalam penelitian meta-analisis.
Pemandu kursus singkat ini adalah Rizqy Amelia Zein, staf pengajar di Departemen Psikologi Kepribadian dan Sosial, Fakultas Psikologi Universitas Airlangga. Amel sangat berminat pada kajian computational reproducibility, statistik lanjut, dan Metasains. Riset-risetnya berkaitan dengan topik penilaian moral, kepercayaan konspiratif, dan sikap awam terhadap sains, ilmuwan, dan otoritas sains.