2 JUL 2026
Cloudflare Blokir Mixed-Use Crawler per 15 September — Publisher Bisa Jual Konten ke AI

Foto: TechCrunch — Gambar diambil dari sumber artikel asli untuk menghindari kesalahan informasi visual.

← Kembali
Beranda / Teknologi / Cloudflare Blokir Mixed-Use Crawler per 15 September — Publisher Bisa Jual Konten ke AI
Teknologi

Cloudflare Blokir Mixed-Use Crawler per 15 September — Publisher Bisa Jual Konten ke AI

Tim Redaksi Feedberry ·1 Juli 2026 pukul 17.48 · Sinyal tinggi · Sumber: TechCrunch ↗
7 Skor

Deadline September mendekat, dampak ke model bisnis AI, publisher global, dan ekosistem startup Indonesia yang bergantung pada akses konten.

Urgensi
7
Luas Dampak
8
Dampak Indonesia
6

Ringkasan Eksekutif

Cloudflare, salah satu infrastruktur web terbesar global, memberikan tenggat 15 September 2026 bagi perusahaan AI untuk memisahkan web crawler yang digunakan untuk mesin pencari dari yang digunakan untuk pelatihan dan agen AI. Mulai tanggal tersebut, pengaturan default Cloudflare akan memblokir mixed-use crawler dari halaman yang menampilkan iklan. Artinya, crawler yang menggabungkan fungsi pencarian, agen, dan pelatihan akan otomatis diblokir kecuali pemilik situs mengubah pengaturan.

Langkah ini berlaku untuk pelanggan baru, situs baru pelanggan lama, dan seluruh pengguna gratis Cloudflare. Keputusan ini merupakan respons terhadap dominasi lalu lintas non-manusia yang telah melampaui lalu lintas manusia—sesuatu yang sebelumnya diproyeksikan terjadi pada 2027. CEO Cloudflare Matthew Prince menegaskan bahwa ekosistem internet yang berkelanjutan membutuhkan pemisahan yang jelas antara search, agent use, dan training. Yang tidak terlihat dari headline ini adalah bahwa kebijakan Cloudflare sebenarnya menciptakan mekanisme monetisasi konten secara implisit. Dengan memblokir default, Cloudflare memberikan kekuatan tawar kepada publisher untuk menjual akses konten mereka kepada perusahaan AI. Ini bisa menjadi awal dari model bisnis 'lisensi data' yang lebih terstruktur.

Cloudflare juga telah meluncurkan marketplace yang memungkinkan situs web mematok harga bagi AI bot yang ingin mengakses konten mereka.

Di sisi lain, perusahaan AI besar seperti Google memiliki keunggulan: Cloudflare menyebut Google memiliki akses 2x lebih banyak informasi karena sulit bagi publisher untuk tetap tampil di hasil pencarian tanpa memberikan akses ke Googlebot yang juga digunakan untuk AI Overviews dan AI Mode. Google membantah dengan menawarkan Google Extended, bot khusus yang memungkinkan opt-out dari penggunaan AI tanpa memengaruhi peringkat pencarian. Dampak langsung dari kebijakan ini akan terasa di seluruh rantai nilai AI global. Perusahaan AI yang selama ini mengandalkan crawling gratis harus menyesuaikan biaya operasional. Bagi perusahaan rintisan AI yang tidak memiliki sumber daya besar, akses ke konten web berkualitas tinggi bisa menjadi lebih mahal dan terbatas.

Di sisi lain, publisher media dan pemilik konten—termasuk portal berita, blog, dan database akademik—mendapatkan peluang pendapatan baru di tengah era penurunan pendapatan iklan digital. Namun, kebijakan ini juga berpotensi memperlebar kesenjangan antara pemain besar seperti Google, Microsoft, dan OpenAI dengan startup AI yang lebih kecil. Bagi Indonesia, dampak tidak langsungnya signifikan: banyak perusahaan rintisan AI lokal seperti yang mengembangkan model bahasa Indonesia (LLM) bergantung pada data teks daring yang sebagian besar dihosting di platform global termasuk Cloudflare. Jika akses diblokir atau berbayar, biaya pengembangan model lokal bisa melonjak. Selain itu, media online Indonesia yang menggunakan Cloudflare (mayoritas) kini memiliki opsi untuk mengatur akses AI, yang bisa menjadi sumber pendapatan alternatif.

Mengapa Ini Penting

Kebijakan Cloudflare ini mengubah fundamental ekonomi internet: dari model terbuka (open web) ke model berlisensi. Publisher kini bisa memilih untuk memblokir atau menjual akses konten mereka. Ini berdampak langsung pada biaya pelatihan AI global, dan secara tidak langsung memengaruhi startup AI Indonesia yang bergantung pada data teks berbahasa Indonesia daring. Bagi investor dan pengusaha di sektor teknologi, ini menandai pergeseran dari bisnis iklan ke bisnis data. Siapa yang menang: pemilik konten dan infrastruktur. Siapa yang kalah: perusahaan AI kecil dan pengembang model open-source yang mengandalkan crawling gratis.

Dampak ke Bisnis

  • Startup AI Indonesia yang mengembangkan Large Language Models (LLM) lokal akan menghadapi kenaikan biaya akses data jika konten web berbahasa Indonesia dihosting di Cloudflare. Mereka mungkin perlu menjalin kerja sama langsung dengan publisher atau beralih ke dataset sintetis.
  • Perusahaan media online Indonesia yang menggunakan Cloudflare kini bisa memonetisasi konten mereka dengan menjual akses ke perusahaan AI. Ini potensi pendapatan baru di tengah penurunan iklan digital, namun membutuhkan kapasitas negosiasi dan infrastruktur lisensi yang belum siap.
  • Penyedia cloud lokal seperti Telkom Indonesia (TelkomSigma) atau AWS Indonesia bisa mendapatkan peluang untuk menawarkan solusi crawling yang sesuai dengan kebijakan baru, namun juga menghadapi tekanan dari klien yang terbiasa akses gratis.

Yang Perlu Dipantau

  • Respons Google terhadap kebijakan Cloudflare: apakah akan memperluas Google Extended atau menawarkan skema bagi hasil ke publisher. Keputusan ini akan menjadi preseden bagi perusahaan AI lain.
  • Reaksi Asosiasi Media Siber Indonesia (AMSI) atau perusahaan media besar: apakah mereka akan mengadopsi default blokir atau justru menawarkan lisensi massal ke perusahaan AI?
  • Regulasi AI nasional: apakah pemerintah Indonesia akan mengadopsi kerangka lisensi data serupa atau mendorong model akses terbuka demi mendukung pengembangan AI lokal?

Konteks Indonesia

Kebijakan Cloudflare ini relevan bagi Indonesia dari tiga sisi. Pertama, mayoritas media online Indonesia menggunakan layanan Cloudflare untuk optimasi kecepatan dan keamanan. Dengan perubahan default ini, mereka kini bisa memblokir atau menjual akses konten mereka ke perusahaan AI. Kedua, startup AI Indonesia yang mengembangkan model berbahasa Indonesia (seperti Thinking Machines Lab, Nodeflux, atau startup NLP lainnya) sangat bergantung pada crawling data teks dari web. Jika akses diblokir atau berbayar, biaya pengembangan model bisa meningkat signifikan. Ketiga, pemerintah Indonesia yang tengah membahas regulasi AI dan perlindungan data pribadi bisa menjadikan kebijakan Cloudflare sebagai referensi untuk mengatur lisensi konten digital. Namun, belum ada pernyataan resmi dari regulator atau asosiasi media Indonesia mengenai langkah ini.

Analisis ini dibuat oleh sistem AI Feedberry berdasarkan sumber berita publik dan tidak merupakan saran investasi atau keputusan bisnis. Selalu verifikasi dengan sumber primer.