Perkembangan kecerdasan buatan (AI) generatif membawa inovasi besar, tetapi juga menghadirkan risiko yang tidak terduga, mulai dari kebocoran data hingga manipulasi output. Sistem keamanan tradisional tidak lagi memadai untuk menangani tantangan baru ini. Seperti industri penerbangan yang membangun kepercayaan dengan protokol keselamatan ketat, perusahaan AI juga harus mengidentifikasi dan menangani kerentanan sebelum menyebabkan dampak buruk di dunia nyata. Dalam uji keamanan terbaru, chatbot AI perbankan yang dirancang untuk membantu pengajuan pinjaman berhasil dimanipulasi hingga membocorkan informasi keuangan pelanggan. Penguji keamanan bahkan mampu mengekstrak daftar persetujuan pinjaman, termasuk nama nasabah, dengan melewati kontrol yang ada. Insiden ini menjadi bukti bahwa tanpa perlindungan kuat, AI dapat menjadi ancaman serius.

Sistem AI generatif bekerja berdasarkan probabilitas, yang membuat hasilnya sering kali tidak terduga. Model bahasa besar (LLM) menghadirkan tantangan baru dengan sifatnya yang tidak terdeterministik, sehingga membuka celah bagi eksploitasi. Serangan seperti prompt-injection memungkinkan penyerang mengarahkan AI untuk mengungkap data sensitif atau mengubah proses pengambilan keputusan. Contohnya, chatbot bank yang dieksploitasi untuk mengubah kredensial pengguna, layanan telemedicine yang diretas untuk mengakses catatan medis, hingga AI e-commerce yang dimanipulasi sehingga memberikan diskon besar tanpa izin. Kejadian-kejadian ini menunjukkan bahwa AI sering lebih mengutamakan logika linguistik dibandingkan kontrol keamanan yang ketat.

Untuk mengatasi tantangan ini, diperlukan pendekatan keamanan yang lebih kompleks. Pelatihan adversarial dapat membantu meningkatkan ketahanan AI terhadap manipulasi, sementara deteksi anomali real-time memungkinkan identifikasi dini atas perilaku yang mencurigakan. Pemerintah Indonesia juga harus mengambil langkah strategis, seperti menerapkan regulasi ketat, meningkatkan infrastruktur keamanan siber, melakukan audit berkala, serta meningkatkan edukasi terkait keamanan AI. Dengan pendekatan yang tepat, pengembangan AI dapat tetap aman dan terpercaya, memastikan teknologi ini memberikan manfaat tanpa menimbulkan risiko yang merugikan.