.webp)
Sebuah penelitian terbaru yang dilakukan oleh Universitas Purdue di Amerika Serikat mengungkapkan masalah memprihatinkan terkait akurasi jawaban ChatGPT terhadap pertanyaan soal pemrograman.
Hasil dari penelitian tersebut menunjukkan bahwa lebih dari setengah jawaban ChatGPT salah, dan kemampuan bahasanya yang canggih berhasil menyesatkan sebagian besar peserta.
Tim peneliti memeriksa 517 pertanyaan pemrograman yang bersumber dari Stack Overflow dan menilai berbagai aspek dari jawaban ChatGPT, termasuk kebenaran, konsistensi, kelengkapan, dan keringkasan.
SCROLL TO CONTINUE WITH CONTENT
Hasil dari evaluasi tersebut cukup mengecewakan, karena terungkap bahwa 52% dari jawaban yang diberikan tidak akurat, dan 77% dari jawaban yang diberikan terlalu panjang sebagaimana dilansir detikINET dari Gizmochina, Minggu (13/8/3023).
Yang lebih memprihatinkan lagi adalah pengamatan bahwa gaya bahasa AI yang fasih dan metodis sering kali menyesatkan para peserta. Hanya dalam kasus-kasus di mana kesalahan terlihat jelas, para peserta dapat mengidentifikasi ketidakakuratannya.
Terlepas dari jawaban yang salah, hampir 40% peserta lebih memilih jawaban ChatGPT. Namun, 77% dari jawaban yang disukai tersebut ternyata salah.
Para peneliti, termasuk orang-orang seperti Samia Kabir, David Udo-Imeh, Bonan Kou, dan Asisten Profesor Tianyi Zhang, mengklarifikasi bahwa banyak kesalahan berasal dari ketidakmampuan ChatGPT untuk memahami nuansa kontekstual dari pertanyaan.
Temuan ini memberikan argumen yang kuat bahwa AI generatif saat ini, dalam kondisi saat ini, mungkin bukan alat yang cocok untuk membantu pembuatan kode dan bahkan mungkin memiliki efek kontraproduktif.
Baca juga: Jangan Download Aplikasi 'Chat GPT' di HP! |
Menyadari kenyataan ini, berbagai raksasa teknologi seperti Google, Apple, Amazon, dan Samsung telah mengeluarkan peringatan atau memberlakukan larangan pemanfaatan AI generatif untuk coding.
Menurut laporan, OpenAI sedang mengerjakan iterasi GPT berikutnya, GPT-5 yang diharapkan dapat mengatasi kesalahan ini. Harapannya termasuk pengurangan halusinasi, peningkatan multi-modalitas dengan teks, gambar, video, dan audio, peningkatan efisiensi komputasi, memori, dan pemahaman kontekstual.
GPT-5 dapat memungkinkan interaksi yang lebih rinci, memperluas ke domain baru, dan menawarkan jumlah parameter yang lebih tinggi untuk pembuatan konten AI yang lebih kuat.
(jsn/fay)
