Ada kontroversi yang sedang berkembang tentang studi "AI-generated" yang dikirimkan ke ICLR tahun ini, sebuah konferensi akademis berpengalaman yang berfokus pada AI.
Paling tidak, tiga laboratorium AI - Sakana, Intology, dan Autoscience - mengklaim telah menggunakan AI untuk menghasilkan studi yang diterima di workshop ICLR. Di konferensi seperti ICLR, penyelenggara workshop biasanya meninjau studi untuk dipublikasikan dalam jalur workshop konferensi.
Sakana memberitahu pemimpin ICLR sebelum mengirimkan makalah AI-nya dan mendapatkan persetujuan dari para peninjau rekan. Dua laboratorium lainnya - Intology dan Autoscience - tidak melakukannya, kata juru bicara ICLR kepada TechCrunch.
Beberapa akademisi AI mengungkapkan kritik mereka di media sosial terhadap kecurangan Intology dan Autoscience sebagai upaya merampas proses tinjau rekan ilmiah.
Academia sudah memiliki masalah salinan yang dihasilkan AI. Salah satu analisis menemukan bahwa antara 6,5% dan 16,9% makalah yang dikirimkan ke konferensi AI pada tahun 2023 kemungkinan mengandung teks sintetis. Tapi perusahaan AI menggunakan tinjauan rekan untuk efektif menguji dan mempromosikan teknologi mereka adalah kejadian yang relatif baru.
Para akademisi tidak menyukai hal ini.
Ashwinee Panda, seorang rekan posdoktoral di University of Maryland, mengatakan dalam sebuah postingan X bahwa mengirimkan makalah yang dihasilkan AI tanpa memberi hak kepada penyelenggara workshop untuk menolaknya menunjukkan "kurangnya rasa hormat terhadap waktu peninjau rekan manusia."
\"Sakana menghubungi saya dan bertanya apakah saya bersedia berpartisipasi dalam eksperimen mereka untuk workshop yang saya organisasikan di ICLR," tambah Panda, "dan saya (kami) menjawab tidak [...] Saya pikir mengirimkan makalah AI ke sebuah tempat tanpa menghubungi [peninjau] adalah salah."
Bukan tanpa alasan, banyak peneliti skeptis bahwa makalah yang dihasilkan AI layak untuk upaya tinjau rekan.
Sakana sendiri mengakui bahwa AI-nya membuat kesalahan kutipan yang “memalukan”, dan bahwa hanya satu dari tiga makalah AI yang mereka pilih untuk diajukan akan memenuhi standar penerimaan konferensi. Sakana menarik kembali makalah ICLR-nya sebelum bisa dipublikasikan demi transparansi dan rasa hormat terhadap tradisi ICLR, kata perusahaan.
Alexander Doria, salah satu pendiri startup AI Pleias, mengatakan bahwa serangkaian pengiriman ICLR sintetis yang terselubung menunjukkan perlunya “perusahaan/agen publik yang diatur” untuk melakukan evaluasi studi AI yang berkualitas tinggi dengan bayaran.
\"Evaluasi harus dilakukan oleh peneliti yang sepenuhnya dibayar untuk waktu mereka," kata Doria dalam serangkaian postingan di X. "Akademisi bukan tempat untuk mengalihkan evaluasi [AI] secara gratis."
