Peneliti Bajak Google Gemini AI untuk Mengendalikan Perangkat Rumah Pintar

Para peneliti berhasil menipu sistem AI Gemini milik Google untuk mengalami pelanggaran keamanan melalui undangan kalender palsu, dan mengendalikan perangkat rumah dari jarak jauh.

Dalam demonstrasi pertama kali dalam sejarah, peneliti berhasil merusak sistem AI Gemini milik Google melalui undangan kalender yang telah diracuni, yang memungkinkan mereka untuk mengaktifkan perangkat nyata termasuk lampu, tirai, dan boiler.

WIRED, yang pertama kali melaporkan penelitian ini, menggambarkan bagaimana lampu pintar di kediaman Tel Aviv secara otomatis mati, sementara tirai secara otomatis naik dan boiler menyala, meskipun tidak ada perintah dari penghuni.

Sistem AI Gemini mengaktifkan pemicu setelah menerima permintaan untuk merangkum kejadian kalender. Sebuah fungsi injeksi petunjuk tidak langsung tersembunyi beroperasi di dalam undangan untuk membajak perilaku sistem AI.

Setiap tindakan perangkat telah diatur oleh peneliti keamanan Ben Nassi dari Universitas Tel Aviv, Stav Cohen dari Technion, dan Or Yair dari SafeBreach. “LLM akan segera diintegrasikan ke dalam humanoid fisik, ke dalam mobil semi- dan sepenuhnya otomatis, dan kita perlu benar-benar memahami bagaimana mengamankan LLM sebelum kita mengintegrasikannya dengan jenis mesin ini, di mana dalam beberapa kasus hasilnya akan menjadi keselamatan dan bukan privasi,” Nassi memperingatkan, seperti dilaporkan oleh WIRED.

Pada konferensi keamanan siber Black Hat di Las Vegas, tim tersebut mengungkapkan penelitian mereka tentang 14 serangan injeksi petunjuk tidak langsung, yang mereka beri nama ‘Invitation Is All You Need,’ seperti dilaporkan oleh WIRED. Serangan tersebut termasuk mengirim pesan spam, membuat konten vulgar, memulai panggilan Zoom, mencuri isi email, dan mengunduh file ke perangkat mobile.

Google mengatakan tidak ada pelaku jahat yang mengeksploitasi kelemahan ini, tetapi perusahaan tersebut menganggap risiko ini serius. “Terkadang ada hal-hal tertentu yang tidak seharusnya sepenuhnya diotomatisasi, pengguna harus terlibat,” kata Andy Wen, direktur senior keamanan untuk Google Workspace, seperti yang dilaporkan oleh WIRED.

Namun, yang membuat kasus ini semakin berbahaya adalah masalah yang lebih luas yang muncul dalam keamanan AI: Model AI dapat secara diam-diam mengajarkan satu sama lain untuk berperilaku buruk.

Sebuah studi terpisah menemukan bahwa model dapat mewariskan perilaku berbahaya, seperti mendorong pembunuhan atau menyarankan penghapusan umat manusia, bahkan ketika dilatih pada data yang telah difilter.

Ini menimbulkan implikasi yang mengerikan: jika asisten pintar seperti Gemini dilatih menggunakan output dari AI lainnya, instruksi jahat bisa diam-diam diwariskan dan bertindak sebagai perintah tidur, menunggu untuk diaktifkan melalui petunjuk tidak langsung.

Pakar keamanan David Bau memperingatkan tentang kerentanan backdoor yang bisa menjadi “sangat sulit untuk dideteksi,” dan ini bisa menjadi sangat benar terutama dalam sistem yang ditanam dalam lingkungan fisik.

Wen mengonfirmasi bahwa penelitian ini telah “mempercepat” pertahanan Google, dengan perbaikan sekarang sudah ditempat dan model pembelajaran mesin sedang dilatih untuk mendeteksi perintah berbahaya. Namun, kasus ini menunjukkan betapa cepat AI bisa berubah dari membantu menjadi merugikan, tanpa pernah diperintahkan secara langsung untuk melakukannya.