Deteksi Kesalahan Kode GPT-4, OpenAI Kembangkan CriticGPT

AKURAT.CO Pada Kamis (27/6/2024), OpenAI mengumumkan studi tentang CriticGPT, model AI baru yang mampu mendeteksi kesalahan dalam pembuatan kode oleh GPT-4.

Model ini dilatih menggunakan metode Reinforcement Learning from Human Feedback (RLHF) dan berbasis pada salah satu model GPT-4. Dirancang untuk meningkatkan kualitas kode yang dihasilkan oleh model bahasa besar, CriticGPT saat ini belum dapat diakses oleh pengguna atau penguji eksternal.

"Kami menemukan bahwa ketika orang mendapatkan bantuan dari CriticGPT untuk meninjau kode ChatGPT, kinerja mereka mencapai 60 persen lebih baik daripada mereka yang tidak menggunakan bantuan," klaim OpenAI, dikutip dari Gadgets360.com, Minggu (30/6/2024).

RLHF adalah teknik pembelajaran mesin yang menggabungkan umpan balik manusia dengan keluaran AI untuk melatih sistem. Evaluator manusia memberikan umpan balik terhadap kinerja AI, yang digunakan untuk menyesuaikan dan meningkatkan perilaku model.

Dalam pengembangan CriticGPT, AI dilatih menggunakan data kode yang mengandung kesalahan, dengan pelatih AI menulis kesalahan tambahan dan memberikan umpan balik seolah-olah mereka telah menemukan kesalahan tersebut.

Dalam penelitian, CriticGPT terbukti 63 persen lebih efektif dibandingkan ChatGPT dalam mendeteksi kesalahan kode. Namun, model ini masih memiliki keterbatasan, termasuk pelatihan pada kode pendek dan kecenderungan untuk menghasilkan respons yang salah (berhalusinasi).

Model ini dirancang untuk membantu OpenAI memahami teknik pelatihan yang dapat menghasilkan keluaran berkualitas tinggi. Jika dirilis, CriticGPT kemungkinan akan terintegrasi dalam ChatGPT, meskipun saat ini belum ada rencana untuk publikasi.