Deskripsi Kursus

Sejak krisis reka-ulang (reproducibility) menerpa banyak disiplin ilmu, para ilmuwan terdesak untuk melakukan koreksi diri (self-correction) atas inovasi-inovasi yang mereka lakukan. Sejatinya, sains tak cukup hanya dengan melahirkan inovasi, namun koreksi diri juga perlu dilakukan agar para ilmuwan mendapatkan wawasan mengenai pekerjaan yang sudah mereka lakukan (Munafò, et al., 2010). Metasains, atau disiplin ilmu yang menyelidiki penelitian, memainkan peran pentingnya dalam proses ini. Metasains amat bermanfaat untuk memberikan informasi pada peneliti apa-apa yang perlu dikoreksi dari proses penelitian yang telah dilakukan, sekaligus memfasilitasi swarefleksi.

Sains Terbuka Airlangga (Airlangga Open Science) adalah komunitas akar rumput non-profit yang dikelola oleh beberapa tenaga pengajar di Universitas Airlangga, yang memiliki visi mempopulerkan Metasains di kalangan peneliti di Indonesia. Di tengah derasnya tuntutan agar peneliti meningkatkan produktivitas riset, kami mendorong agar lebih banyak sumberdaya diarahkan untuk meningkatkan kualitas, tidak hanya kuantitas luaran penelitian. Dari banyak strategi yang dapat dilakukan, kami mengajak peneliti untuk meningkatkan kualitas risetnya dengan cara memastikan agar temuan riset tersebut dapat direka-ulang (reproducible).

Kursus ini sengaja kami desain agar Metasains lebih aksesibel bagi peneliti Indonesia. Kursus ini mungkin tidak akan mencakup semua aspek dari Metasains, karena kami lebih banyak berfokus membahas sintesis bukti (evidence synthesis). Tetapi kami berharap materi dari kursus mandiri ini dapat memberikan wawasan dan perspektif baru mengenai hal-hal penting dalam proses penelitian. Kursus ini akan lebih banyak memberikan contoh-contoh kasus di bidang Psikologi, namun kursus ini tetap relevan diikuti oleh peserta dari berbagai bidang ilmu. Setelah mengikuti kursus mandiri ini, peserta diharapkan memiliki wawasan mengenai Metasains, dapat mendesain, melakukan, dan melaporkan meta-analisis.



Persiapan Kursus

Sebelum mengikuti kursus, ada beberapa hal yang perlu anda siapkan.

  • Meskipun kursus ini dapat diikuti oleh peserta tanpa latar belakang statistik sekalipun, namun pengetahuan dasar statistik, misalnya mengenai statistik deskriptif, statistik inferensial dalam pendekatan null-hypothesis significant testing (NHST), dan sedikit Psikometri akan sangat membantu. Misalnya, pengetahuan dasar mengenai korelasi, uji perbedaan mean, dan reliabilitas skala.
  • Struktur kursus ini disusun dari materi pengantar sampai tingkat lanjut. Namun peserta boleh memulai kursus ini sesuai dengan tahapan pemahamannya masing-masing, tidak harus selalu mulai dari awal.
  • Perangkat lunak yang akan digunakan untuk melakukan meta-analisis adalah jamovi. Sebelum mulai kursus, silakan pasang jamovi di perangkat anda masing-masing. Gunakan versi 1.2.22 (current) dan jamovi dapat digunakan, baik pada perangkat dengan sistem operasi Windows maupun iOS. Anda juga dapat berlatih secara mandiri agar lebih familiar dengan fitur dan menu jamovi dengan mengikuti tutorial dari Datalab. Baik jamovi maupun tutorial yang disediakan Datalab dapat diakses terbuka tanpa biaya langganan apapun.
  • Setelah anda berhasil memasang jamovi, anda harus menambahkan module Meta-Analysis for jamovi (MAJOR) untuk melakukan meta-analisis. Untuk memasang module tersebut, anda dapat menyimak video tutorial di bawah ini.



Lisensi Kursus

Materi berlisensi Creative Commons BY-NC 4.0. Siapapun bebas mereproduksi, melakukan re-distribusi, atau bahkan memodifikasi konten kursus ini. Namun, konten yang digunakan kembali tidak boleh digunakan untuk kepentingan komersial dan wajib mengatribusi sumber aslinya. Singkatnya, materi bebas digunakan kembali, namun anda wajib mengatribusi sumber aslinya dan dilarang menggunakannya untuk kepentingan komersial.



Apakah Kursus ini Berbayar?

Kursus ini sepenuhnya gratis. Namun apabila anda merasa materi dalam kursus ini membantu anda, kami mengharapkan agar anda menjadi patron atau memberikan donasi kepada Sains Terbuka Airlangga. Tujuannya, agar kami dapat membuat lebih banyak konten gratis yang bisa dimanfaatkan oleh khalayak luas.

Silakan klik tautan ini untuk mengetahui lebih lanjut bagaimana cara menjadi patron atau memberikan donasi kepada Sains Terbuka Airlangga.



Struktur Kursus

Kursus ini terdiri dari 10 bagian. Di setiap bagian, kami akan menyediakan video materi dari pemandu kursus (dengan durasi antara 20-30 menit), salindia materi, referensi yang harus dibaca, dan tugas mandiri yang dapat dikerjakan oleh peserta.

Peserta dimungkinkan untuk mengajukan pertanyaan kepada pemandu kursus dengan mengisi spreadsheet yang khusus disediakan untuk menampung pertanyaan. Spreadsheet diatur dengan akses publik sehingga anda dapat menambahkan pertanyaan anda secara mandiri. Anda dapat bertanya secara anonim dan dimungkinkan untuk belajar dari pertanyaan dari peserta lain. Anda juga diperbolehkan untuk ikut menjawab pertanyaan peserta lainnya di kolom yang sudah disediakan.

Silakan klik di sini untuk mengakses spreadsheet pertanyaan.

!!MOHON DIINGAT!! anda tidak diperkenankan untuk mengubah pertanyaan yang sudah diajukan oleh peserta lain, ataupun memodifikasi jawaban yang sudah diberikan oleh pemandu.

Berikut adalah gambaran singkat materi kursus:

Bagian 1: Krisis Replikasi, Revolusi Kredibilitas, dan Pengantar Metasains

Dalam materi ini, pemandu akan menguraikan krisis coba-ulang (replikasi) dan revolusi kredibilitas yang terjadi di beberapa disiplin ilmu, khususnya Psikologi. Pemandu akan menguraikan akar persoalan krisis replikasi, definisi coba-ulang (replikasi) dan reka-ulang (reproducibility), dan mengapa persoalan ini menjadi ancaman bagi kredibilitas sains, lembaga otoritas sains, dan ilmuwan. Dalam materi ini, pemandu juga akan menguraikan peranan Metasains dalam revolusi kredibilitas.

Bagian 2: Pengantar Sintesis Bukti (Evidence Synthesis) dan Meta-Analisis

Dalam materi ini, pemandu akan menguraikan apa yang dimaksud dengan sintesis bukti, apa kelebihan pendekatan ini serta dalam kondisi seperti apa studi sintesis bukti dianggap kredibel. Selain itu, peserta akan dikenalkan dengan bermacam-macam pendekatan sintesis bukti, serta pengantar singkat mengenai meta-analisis, termasuk pada saat seperti apa meta-analisis dilakukan dan hal-hal apa yang harus disiapkan oleh peneliti sebelum melakukan meta-analisis.

Bagian 3: Pencarian Literatur dan PRISMA Guideline

Dalam materi ini, pemandu akan menjelaskan mengenai eligibility criteria yang harus ditetapkan peneliti sebelum melakukan pencarian literatur, diantaranya menetapkan kriteria inklusi dan ekslusi. Peserta juga akan diajak berlatih untuk menentukan kata kunci dengan teknik Boolean logic serta berlatih menggunakan basis data/mesin pencarian untuk mencari literatur. Selain itu, pemandu akan memberikan contoh penerapan flowchart sesuai dengan PRISMA statement untuk menggambarkan proses pemilihan sampel artikel.

Bagian 4: Besaran Efek (Effect Size)

Pada bagian ini, peserta akan dikenalkan dengan konsep besaran efek (effect size) yang merupakan representasi bukti yang akan direkam dan dianalisis dalam studi meta-analisis. Peserta akan dikenalkan dengan berbagai macam konsep besaran efek serta teknik konversinya apabila sampel artikel memuat informasi besaran efek yang berbeda.

Bagian 5: Mengkoding Informasi dalam Naskah dan Analisis Risiko Bias

Pada bagian ini, pemandu akan memberikan strategi-strategi yang dapat digunakan peneliti untuk mengkoding informasi dengan menggunakan coding sheet. Selain itu, peserta diajak untuk berlatih melakukan analisis risiko bias pada sampel artikel untuk mengestimasi kualitas penelitian yang digunakan dalam meta-analisis.

Bagian 6: Fixed, Random, dan Mixed Models dalam Meta-Analisis

Dalam bagian ini, pemandu akan menjelaskan perbedaan random, fixed dan mixed model dalam meta-analisis, pada saat kapan salah satu (atau kedua model) tersebut digunakan serta memilih model estimator. Pemandu juga akan menguraikan asumsi-asumsi kedua model dan bagaimana cara melakukan asesmen kecocokan model (model fit). Dalam bagian ini, pemandu juga akan menerangkan cara membaca forest plot.

Bagian 7: Uji Heterogenitas dan Meta-Regression

Di bagian ini, pemandu akan menguraikan strategi-strategi yang digunakan untuk mendeteksi derajat heterogenitas studi-studi yang digunakan sebagai sampel dalam meta-analisis. Peserta juga diajak untuk mengenali teknik meta-regression yang dapat dilakukan untuk mendeteksi variabel moderator yang menyebabkan heterogenitas pada sampel.

Bagian 8: Mendeteksi dan Mengkoreksi Bias Publikasi

Meta-analisis umumnya hanya mencakup studi-studi yang dipublikasikan atau dapat diakses terbuka. Namun, bagaimana dengan penelitian yang tidak dipublikasikan, apalagi yang hasilnya negatif (null findings)? Padahal studi dengan hasil negatif lebih sulit dipublikasikan daripada studi dengan hasil positif. Hal ini menimbulkan kondisi yang juga disebut sebagai bias publikasi. Dampaknya, meta-analisis memberikan informasi yang parsial akibat tidak tersedianya semuanya informasi yang dibutuhkan untuk membuat kesimpulan. Di bagian ini, pemandu akan menerangkan teknik-teknik yang dapat digunakan untuk mendeteksi dan mengkoreksi bias publikasi (funnel plot (inverted dan contour-enhanced), fail-safe N, trim-and-fill, Egger’s test, p-curve, dan equivalence test).

Bagian 9: Melaporkan Hasil Meta-Analisis

Pada bagian ini, pemandu akan menguraikan bagaimana cara melaporkan hasil meta-analisis, termasuk apa saja yang harus dilaporkan dalam artikel. Pemandu akan menggunakan PRISMA Statement.

Bagian 10: Caveat - Keterbatasan Meta-Analisis

Dalam bagian ini, pemandu akan menyampaikan limitasi studi meta-analisis dan bagaimana mencegah bias yang mungkin muncul sebelum studi dimulai. Pemandu juga akan menyampaikan bagaimana praktik Sains Terbuka dapat dilakukan untuk meningkatkan kredibilitas temuan dalam penelitian meta-analisis.



Pemandu

Pemandu kursus singkat ini adalah Rizqy Amelia Zein, staf pengajar di Departemen Psikologi Kepribadian dan Sosial, Fakultas Psikologi Universitas Airlangga. Amel sangat berminat pada kajian computational reproducibility, statistik lanjut, dan Metasains. Riset-risetnya berkaitan dengan topik penilaian moral, kepercayaan konspiratif, dan sikap awam terhadap sains, ilmuwan, dan otoritas sains.