Utas minggu lalu

#SainsTerbuka Airlangga secara reguler memposting informasi yang berkaitan dengan #SainsTerbuka dan dua minggu yang lalu kami memposting dua utas, yaitu tentan bias publikasi dan pre-print. Berikut adalah arsip dari kedua utas tersebut.

Bias Publikasi

Selamat pagi kawan2 semua! Pagi ini kami akan share informasi ttg file drawer dan publication bias. Sebelumnya mari kita perhatikan sama2 infografis dibawah ini [UTAS]. 1/n

Versi TL;DR — https://web.ma.utexas.edu/users/mks/statmistakes/filedrawer.html

Berdasarkan infografis diatas, nyaris semua studi yg dipublikasikan di jurnal ilmiah, terlalu banyak memajang temuan penelitian yg positif (signifikan scr statistik - kalau pakai pendekatan null hypothesis significant testing (NHST)). 2/n

Apakah ini hal yang baik? Tentu tidak :) ini menunjukkan kegagalan saintis utk melakukan falsifikasi. Ingat, self correction dalam sains sama pentingnya dg discovery/inovasi. 3/n

Sehingga ini menunjukkan kondisi yg too good to be true. Ada yg salah disini. Sangat mungkin hasil negatif (yg tidak signifikan) tidak banyak mendapat tempat di outlet tradisional spt jurnal ilmiah. 4/n

Fenomena ini disebut juga dg file drawer effect, yaitu temuan negatif akan cenderung ‘disembunyikan’ didalam lemari, tdk dipublikasikan. Kenapa? Krn editor, reviewer dan pembimbing TA anda ga happy dg hasil negatif kan? :) 5/n

Mengapa ini berbahaya bagi perkembangan sains? Dalam penelitian kumulatif seperti meta-analisis, hasil negatif diperlukan utk mengestimasi secara akurat agregat ukuran efek (pooled effect size). Kalo yg existing findings kebanyakan positif, maka yg tjd adlh publication bias. 6/n

Artinya, penelitian2 yg dipublikasi kemungkinan bsr melebih2kan (overestimasi) ukuran efek yg mereka temukan. Akhirnya false positive rate (peluang tjdnya type 1 error - peneliti bilang ada efek/hubungan/pengaruh, tapi sbnrnya ga ada) menjadi semakin tak terkendali… 7/n

Sehingga penelitian yg terpublikasi justru memberikan inferensi/pengambilan kesimpulan yg ‘berisiko menyesatkan’. Lalu bagaimana mengatasinya? 8/n

Scr statistik ada teknik yg bisa digunakan utk ‘mengkoreksi’ bias publikasi, salah satunya adalah trim-and-fill. Tapi belakangan diketahui bahwa teknik2 ini ternyata memberikan informasi yg tidak konsisten (tdk robust). 9/n

Selain itu, pre-print server punya peran penting utk menerbitkan hasil2 negatif ini. Soalnya tdk semua jurnal mau menerbitkan hasil negatif. Jadi pre-print server spt @INArxiv_ID amat penting perannya dlm mengkoreksi sains :) 10/n

Cara lain yg amat kami sarankan adalah pra-registrasikan studi anda! :) atau pertimbangkan utk membuat laporan dlm bentuk registered report (RR). Dg begitu, jurnal akan tetap mau mempublikasikan hasil studi yg negatif. 11/n

Apa itu RR dan pre-reg? Nanti kita bahas di utas berikutnya :) ¹²⁄₁₂

Pre-Print

Ada yg pernah dengar istilah pre-print? Yup, pre-print sedang populer saat ini. Pre-print adalah inovasi dlm komunikasi sains yg menambal bbrp kelemahan outlet penerbitan ilmiah tradisional. [UTAS] 1/n

Apa itu pre-print (PP)? PP adalah manuskrip yg belum sama sekali tersentuh proses editorial jurnal. Ia belum disubmit dan belum tersentuh proses peer-review. 2/

Sedangkan PP Server adalah halaman web yg menjadi ‘rumah’ dari PP. Saat ini PP Server sdh ckp banyak dan beragam. Salah satunya adalah @INArxiv_ID. RG juga bisa, pakai repo kampus juga bisa. 3/

Biasanya versi pertama dari naskah ini disimpan rapat2 oleh penulis. Tak jarang penulis menolak membagikan draft pertamanya dg alasan sedang/akan direview oleh jurnal. Padahal PP banyak manfaatnya. 4/

(1) Waktu. Menerbitkan manuskrip di jurnal butuh waktu yang lama (~1-3 tahun), padahal sangat mungkin diluar sana ada peneliti/pihak lain yg sangat membutuhkan hasil penelitian anda. Klo tunggu terbit, sangat mungkin naskah tsb jadi berkurang relevansinya. 5/

Lho bgmn klo ide dlm naskah anda dicuri orang lain? Hehehe ini alasan yg kurang tepat. Justru mempublikasikan karya anda sesegera mungkin, anda bisa melindungi ide anda dari awal. Gmn mungkin anda bisa mengklaim ide tsb milik anda, tanpa punya bukti yg ‘disaksikan’ o/publik? 6/

PP Server biasanya menerapkan proses moderasi yg ckp singkat. PP Server punya SAGE dan PLoS misalnya, sdh bisa menampilkan naskah dg tempo moderasi 24-48 jam. 7/

Sedangkan @INArxiv_ID menerapkan post-moderation. Artinya, administrator tdk akan memoderasi naskah, sehingga naskah langsung ditampilkan segera setelah diunggah. Tetapi naskah dpt di takedown kalau dianggap melanggar T&R. 8/

(2) Kolaborasi. Dg melakukan timely publication atas karya kita. Kesempatan mendapatkan kolaborasi riset akan terbuka luas dg lebih cepat. Bayangkan kalo kita harus menunggu 2-3 tahun sampai punya naskah yg sdh diterbitkan. 9/

(3) Pengakuan. Jgn takut ide anda dicuri dg mengunggah naskah ke PP Server. Semua naskah yg diunggah ke PP Server akan mendapatkan ‘stempel’ berupa DOI. Dg begitu anda bisa menggunakannya utk mengklaim hasil penelitian anda. 10/

(4) Umpan Balik. Dengan mengunggah PP maka anda bisa mendapatkan umpan balik dari orang lain atas karya anda, bahkan sblm naskah tsb direview di jurnal. Dg begitu anda dpt meningkatkan kualitas naskah anda. 11/

(5) Pendanaan Penelitian. Anda bisa menggunakan PP sbg bukti luaran. Sayangnya Kementerian msh beda frekuensi dg #OpenScience. Ya selamat.. silahkan tunggu 2-3 tahun sampe bisa melaporkan bahwa penelitian anda ‘ada hasilnya’. 12/

Padahal sudah ada banyak pendana yg mengubah kebijakannya dg menyarankan peneliti mengunggah PP atas hasil penelitian yg mrk biayai. Berikut adlh pendana2 tsb https://asapbio.org/funder-policies 13/

Revisi utk tweet (8). @INArxiv_ID tetap melakukan moderasi (bkn tdk memoderasi), namun dilakukan ketika naskah sudah diunggah dan diterbitkan. Selanjutnya, akan kami lanjutkan stlh maghrib.. :)

(6) Inklusif. PP menyediakan tempat bagi naskah yg sulit dapat tempat di outlet tradisional. Misalnya, penelitian dg hasil yg negatif dan hasil replikasi. Ini penting bagi kemajuan sains. Sila mampir ke utas kami sebelumnya. 14/

(7) Akses Terbuka. Siapa yg ‘rela’ bayar $20 utk baca satu artikel (yg belum tentu relevan dg kebutuhan kita)? Sdh banyak kritik pada penerbit (hiper)komersial krn menjalankan model bisnis yg eksploitatif… 15/

Dengan mengunggah PP, setidaknya pembaca punya alternatif akses thd karya anda, sehingga pembaca tdk terlalu bergantung pd jasa yg disediakan o/ penerbit komersial. Anda bahkan sebenarnya bisa mengunggah post-print (PoP)… 16/

Yaitu naskah yg sudah selesai direview, tapi blm dipegang oleh in-house copyeditor dan belum di layout oleh penerbit. Ketika karya anda sdh terbit di jurnal, PP Server juga menyediakan fitur dimana anda… 17/

Bisa mentautkan naskah yg sudah published di jurnal pada naskah PP anda. Sehingga pembaca bisa membandingkan kondisi naskah sebelum dg sesudah direview 18/

PP Server tertentu juga menyediakan fitur yg memungkinkan anda mentautkan PP dg repositori tempat anda menyimpan raw data, script analisis dan semua material studi. 19/

Dengan begitu, sebagai seorang peneliti, anda bersedia bertanggungjawab secara publik atas karya anda. Anda juga memungkinkan peneliti lain mereproduksi hasil studi anda. 20/

Akhirnya, inovasi dan ide2 baru akan muncul. Kolaborasi dan jejaring juga akan terbentuk. Inovasi dan self-correction sama2 berjalan. Idealnya, begitulan seharusnya sains dikelola. ²¹⁄₂₁