Halusinasi AI Kini Menjadi Ancaman Keamanan Siber

Studi ini menunjukkan bahwa AI chatbots merekomendasikan halaman login palsu kepada jutaan pengguna, yang membahayakan mereka terhadap risiko phishing dan penipuan, dengan dalih memberikan respon yang membantu.

Dalam studi mereka, perusahaan keamanan siber Netcraft menguji model bahasa besar (LLM) populer dengan bertanya di mana harus masuk ke 50 merek terkenal. Dari 131 tautan situs web yang disarankan, 34% di antaranya salah, dengan domain yang tidak aktif atau tidak terdaftar mencakup 29%, dan bisnis yang tidak terkait mencakup 5%.

Masalah ini bukan hanya teoritis. Dalam satu contoh nyata, mesin pencari berbasis AI, Perplexity, menampilkan situs phishing kepada pengguna yang mencari halaman login Wells Fargo. Sebuah laman Google Sites palsu yang meniru bank tersebut muncul di puncak hasil pencarian, sementara tautan asli tersembunyi di bawahnya.

Netcraft menjelaskan, “Ini bukan petunjuk kasus pinggir. Tim kami menggunakan kalimat sederhana dan alami, mensimulasikan persis bagaimana pengguna biasa mungkin bertanya. Model tersebut tidak ditipu—hanya saja tidak akurat. Itu penting, karena pengguna semakin mengandalkan antarmuka pencarian dan obrolan yang didukung AI untuk menjawab jenis pertanyaan ini.”

Seiring AI menjadi antarmuka bawaan pada platform seperti Google dan Bing, risikonya semakin besar. Tidak seperti mesin pencari tradisional, Chatbot menyajikan informasi dengan jelas dan penuh percaya diri, yang membuat pengguna mempercayai jawaban mereka, meskipun informasi tersebut salah.

Ancaman tidak berhenti pada phishing. Cyberkriminal modern mengoptimalkan konten jahat mereka untuk sistem AI, yang menghasilkan ribuan halaman scam, API palsu, dan kode beracun yang lolos dari filter dan berakhir di dalam respons yang dihasilkan AI.

Dalam satu kampanye, para penyerang membuat API blockchain palsu, yang mereka promosikan melalui repositori GitHub dan artikel blog, untuk menipu para pengembang agar mengirimkan cryptocurrency ke dompet palsu.

Netcraft memperingatkan bahwa mendaftarkan domain palsu secara preventif tidak cukup. Sebagai gantinya, mereka merekomendasikan sistem deteksi yang lebih cerdas dan perlindungan pelatihan yang lebih baik untuk mencegah AI menciptakan URL berbahaya di tempat pertama.