Cloudflare Memungkinkan Situs Menagih Bot AI Dengan ‘Bayar Per Trawl’

Cloudflare memberikan pilihan baru kepada penerbit: memungut biaya dari bot AI yang merayapi situs mereka menggunakan sistem pembayaran HTTP 402 yang telah dihidupkan kembali.

Melalui sistem baru mereka yang disebut “Pay Per Crawl“, pemilik situs web dapat mengenakan biaya kepada bot AI untuk mengakses konten mereka. Sistem ini memberikan penerbit pendekatan alternatif dari kebijakan dua opsi mereka saat ini yang memungkinkan scraping data AI, atau pemblokiran total akses AI.

“Banyak penerbit, pembuat konten, dan pemilik situs web saat ini merasa seolah-olah mereka memiliki pilihan biner – entah meninggalkan pintu depan terbuka lebar-lebar bagi AI untuk mengkonsumsi segala yang mereka ciptakan, atau membuat taman berpagar mereka sendiri,” kata Cloudflare. “Tapi bagaimana jika ada cara lain?”

Dengan Pay Per Crawl, pembuat konten kini dapat memutuskan siapa yang boleh masuk dan dengan harga berapa. Mereka bisa membiarkan beberapa crawler AI masuk secara gratis, memblokir yang lain sepenuhnya, atau membebankan biaya untuk akses. “Kami ingin para pembuat konten memiliki kendali atas siapa yang mengakses karya mereka,” kata Cloudflare. “Para pembuat harus berada di kursi pengemudi.”

Langkah ini datang di tengah meningkatnya reaksi negatif terhadap perusahaan AI yang menggunakan konten web tanpa izin. Misalnya, YouTube telah dikritik karena membiarkan Google untuk mengambil video tanpa memberitahu penciptanya. Selain itu, fitur AI Overviews dari Google telah mengurangi lalu lintas ke situs berita seperti HuffPost dan The Washington Post lebih dari 50%.

“Google hanya mengambil konten dengan paksa dan menggunakannya tanpa balasan — definisi dari pencurian,” kata Danielle Coffey, presiden dari News/Media Alliance.

Alat ini bekerja menggunakan fitur web lama: kode respons HTTP 402, yang berarti “Pembayaran Diperlukan.” Jika bot AI mencoba untuk mengakses halaman, server sekarang dapat membalas dengan 402 dan mencantumkan tag harga. Jika bot setuju untuk membayar, server akan menyerahkan konten.

Cloudflare menyediakan infrastruktur teknis dan menangani pembayaran. Penerbit dapat menetapkan harga tetap per permintaan crawl dan bahkan menerapkan aturan yang berbeda untuk bot yang berbeda. Bahkan jika bot tidak terdaftar dengan Cloudflare, masih bisa “dikenakan biaya” – pada dasarnya memblokir akses, tetapi memberikan ruang untuk kesepakatan di masa depan.

Sistem ini bisa mengarah pada perizinan yang lebih fleksibel dan penentuan harga yang dinamis di masa depan. Seperti yang dikatakan oleh Cloudflare: “Dengan memberikan para kreator sebuah mekanisme yang kuat dan terprogram untuk menilai dan mengendalikan aset digital mereka, kami memberdayakan mereka untuk terus menciptakan konten yang kaya dan beragam yang membuat Internet menjadi tak ternilai harganya.”