Studi Temukan Agen AI Utama Rentan terhadap Perampokan

Beberapa asisten AI yang paling banyak digunakan dari Microsoft, Google, OpenAI, dan Salesforce dapat diretas oleh penyerang dengan sedikit atau tanpa interaksi pengguna, menurut penelitian baru dari Zenity Labs.

Dipresentasikan pada konferensi keamanan siber Black Hat USA, temuan tersebut menunjukkan bahwa peretas dapat mencuri data, memanipulasi alur kerja, dan bahkan menyamar sebagai pengguna. Dalam beberapa kasus, penyerang bisa mendapatkan “persistensi memori,” yang memungkinkan akses dan kontrol jangka panjang.

“Mereka dapat memanipulasi instruksi, meracuni sumber pengetahuan, dan sepenuhnya mengubah perilaku agen,” kata Greg Zemlin, manajer pemasaran produk di Zenity Labs, kepada Cybersecurity Dive. “Ini membuka pintu untuk sabotase, gangguan operasional, dan disinformasi jangka panjang, terutama di lingkungan di mana agen dipercaya untuk membuat atau mendukung keputusan kritis.”

Para peneliti menunjukkan rantai serangan penuh terhadap beberapa platform AI perusahaan besar. Dalam satu kasus, ChatGPT OpenAI disusupi melalui injeksi petunjuk berbasis email, yang memungkinkan akses ke data Google Drive yang terhubung.

Ditemukan bahwa Microsoft Copilot Studio membocorkan basis data CRM, dengan lebih dari 3.000 agen rentan yang diidentifikasi secara online. Platform Einstein milik Salesforce dimanipulasi untuk mengalihkan komunikasi pelanggan ke akun email yang dikendalikan penyerang.

Sementara itu, Gemini milik Google dan Microsoft 365 Copilot bisa berubah menjadi ancaman dari dalam, yang mampu mencuri percakapan sensitif dan menyebarkan informasi palsu.

Selain itu, para peneliti berhasil menipu AI Gemini milik Google menjadi mengendalikan perangkat rumah pintar. Peretasan ini mematikan lampu, membuka penutup jendela, dan menyalakan boiler tanpa perintah dari penghuni rumah.

Zenity mengungkapkan temuannya, yang mendorong beberapa perusahaan untuk mengeluarkan patch. “Kami menghargai kerja keras Zenity dalam mengidentifikasi dan melaporkan teknik-teknik ini dengan bertanggung jawab,” kata juru bicara Microsoft kepada Cybersecurity Dive. Microsoft menyatakan perilaku yang dilaporkan “tidak lagi efektif” dan bahwa agen Copilot memiliki perlindungan yang telah disiapkan.

OpenAI mengonfirmasi bahwa mereka telah memperbaiki ChatGPT dan menjalankan program bug-bounty. Salesforce mengatakan telah memperbaiki masalah yang dilaporkan. Google mengatakan telah menerapkan “pertahanan berlapis baru” dan menekankan bahwa “memiliki strategi pertahanan berlapis terhadap serangan injeksi prompt sangat penting,” seperti dilaporkan oleh Cybersecurity Dive.

Laporan tersebut menyoroti peningkatan kekhawatiran tentang keamanan seiring semakin banyaknya agen AI di tempat kerja dan dipercaya untuk menangani tugas-tugas sensitif.

Dalam sebuah investigasi terbaru, dilaporkan bahwa peretas dapat mencuri cryptocurrency dari agen AI Web3 dengan menanamkan memori palsu yang menimpa penjagaan normal.

Kerentanan keamanan ini ada di ElizaOS dan platform serupa karena penyerang dapat menggunakan agen yang terkompromi untuk memindahkan dana antar platform berbeda. Sifat permanen dari transaksi blockchain membuatnya tidak mungkin untuk menerima kembali dana yang telah dicuri. Sebuah alat baru, CrAIBench, bertujuan untuk membantu pengembang memperkuat pertahanan.