Google Tegaskan Robots.txt Bukan Pengatur Pelatihan AI, Ini Dampaknya bagi Blogger

Selama ini, robots.txt menjadi salah satu file penting yang diperhatikan blogger ketika mengatur akses mesin pencari ke sebuah website. Namun, ketika crawler berbasis kecerdasan buatan (AI) semakin banyak digunakan, muncul pertanyaan baru: apakah robots.txt bisa membatasi bot agar tidak mengambil konten untuk melatih model AI?

Google memberikan penjelasan yang perlu dipahami pemilik website. Gary Illyes dari Google Search Relations menjelaskan bahwa standar robots.txt mengatur preferensi akses crawler terhadap URL, bukan menentukan bagaimana data digunakan setelah berhasil diambil.

Penjelasan tersebut disampaikan dalam episode kedua seri video Google Search Central, The Non-Canonical Cabinet, yang membahas berbagai pertanyaan teknis seputar crawling dan pengelolaan website.

Bagi blogger, terutama yang mengandalkan trafik organik, memahami perbedaan ini penting agar pengaturan robots.txt tidak justru menghambat visibilitas website yang ingin dipertahankan.

Apa Sebenarnya Fungsi Robots.txt?

Robots.txt adalah file teks yang memberikan instruksi kepada crawler mengenai URL atau bagian website yang boleh atau tidak boleh mereka rayapi. File ini biasanya ditempatkan di direktori utama domain, misalnya https://www.example.com/robots.txt.

Dalam standar Robots Exclusion Protocol yang ditetapkan melalui RFC 9309, robots.txt berfungsi sebagai protokol preferensi akses. File ini bukan sistem keamanan yang dapat menjamin konten terlindungi dari seluruh bot.

Google mendukung sejumlah aturan utama dalam robots.txt, termasuk User-agent, Allow, Disallow, dan Sitemap. Instruksi khusus di luar aturan yang dikenali tidak otomatis memiliki fungsi hanya karena ditulis di dalam file tersebut.

Artinya, menambahkan baris yang terlihat masuk akal bagi manusia belum tentu membuat crawler mematuhinya. Aturan perlu mengikuti sintaks yang didukung crawler tujuan.

Mengapa Robots.txt Tidak Otomatis Mengatur Pelatihan AI?

Perbedaan utamanya terletak pada waktu dan tujuan penggunaan data.

Robots.txt memberikan instruksi mengenai akses crawler ke URL. Namun, setelah sebuah crawler mengambil konten, penggunaan data berikutnya berada di luar cakupan standar tersebut.

Misalnya, sebuah website mengizinkan crawler mengakses artikel untuk keperluan pencarian, tetapi pemiliknya tidak ingin konten itu digunakan untuk melatih model AI generatif.

Menambahkan aturan buatan sendiri seperti No-AI-Training: true tidak otomatis menyelesaikan masalah. Jika crawler tidak mengenali instruksi tersebut, aturan itu bisa diabaikan.

Karena itu, pemilik website perlu membedakan dua tujuan: membatasi akses crawler sejak awal dan menyampaikan preferensi mengenai penggunaan konten setelah diperoleh.

Bagaimana Jika Ingin Memblokir Crawler AI Tertentu?

Menurut penjelasan Gary Illyes, pemilik website yang ingin mencegah crawler AI tertentu mengakses situs perlu menargetkan token User-agent yang sesuai dalam robots.txt.

Contohnya, aturan berikut dapat digunakan sebagai ilustrasi untuk memblokir crawler dengan token tertentu:

User-agent: ExampleAIBot
Disallow: /

Catatan: ExampleAIBot hanya contoh, bukan nama crawler sungguhan. Gunakan token resmi dari penyedia crawler yang ingin dibatasi dan periksa dokumentasi terbarunya sebelum menerapkan aturan.

Jika kamu hanya ingin membatasi satu crawler, jangan sembarangan menutup akses semua bot melalui aturan umum. Langkah tersebut bisa menimbulkan konsekuensi yang lebih luas, termasuk mengganggu crawling mesin pencari yang justru ingin dipertahankan.

Perlu diingat pula bahwa robots.txt bukan autentikasi. Bot yang tidak mematuhi protokol tersebut tetap bisa mencoba mengakses URL secara langsung.

Apa Peran Google-Extended?

Google memiliki token khusus bernama Google-Extended untuk menyampaikan preferensi penggunaan konten yang dirayapi Google dalam konteks tertentu.

Menurut dokumentasi Google, token tersebut dapat digunakan untuk mengontrol apakah konten yang diambil oleh crawler Google boleh digunakan untuk melatih model Gemini mendatang serta untuk grounding pada Gemini Apps dan Grounding with Google Search di Vertex AI.

Hal penting yang sering terlewat: Google-Extended bukan user-agent crawler tersendiri. Token ini berfungsi sebagai kontrol penggunaan data, sedangkan Google tetap menggunakan crawler yang sudah ada untuk mengambil halaman.

Google juga menyatakan bahwa kontrol Google-Extended tidak memengaruhi penyertaan website dalam Google Search dan bukan sinyal pemeringkatan.

Jadi, mengatur Google-Extended berbeda dari memblokir Googlebot. Keduanya memiliki tujuan yang berbeda dan tidak sebaiknya disamakan.

Apakah Ada Standar Baru untuk Mengatur Penggunaan Konten AI?

Gary Illyes turut menjadi salah satu penulis draf Internet-Draft di Internet Engineering Task Force (IETF) yang mengusulkan cara untuk menyampaikan preferensi penggunaan konten melalui standar yang lebih formal.

Gagasan tersebut berkaitan dengan aturan penggunaan konten, bukan sekadar izin crawling. Tujuannya adalah memberi pemilik website cara yang lebih jelas untuk menyatakan preferensi mengenai penggunaan data.

Namun, draf yang diusulkan bukan berarti sudah menjadi standar universal yang wajib dipatuhi semua crawler. Dukungan dan implementasinya tetap bergantung pada perkembangan standar serta keputusan masing-masing penyedia layanan.

Untuk sekarang, jangan mengandalkan direktif eksperimental yang belum didukung crawler sebagai satu-satunya perlindungan atas konten website.

Hal yang Perlu Diperhatikan Blogger

Untuk pengguna Blogger, langkah paling masuk akal adalah memastikan pengaturan crawling sesuai dengan tujuan website. Jangan mengubah robots.txt hanya karena ingin mengikuti tren AI.

• Periksa aturan yang sudah ada. Pastikan tidak ada aturan Disallow yang tanpa sengaja memblokir artikel penting.
• Pertahankan akses Googlebot jika mengincar Google Search. Jangan memblokir crawler pencarian hanya karena ingin mengatur penggunaan konten oleh AI.
• Kenali token crawler. Bedakan crawler untuk pencarian, pelatihan AI, dan pengambilan data secara langsung jika penyedia menyediakan token yang berbeda.
• Hindari direktif buatan sendiri. Aturan yang tidak didukung crawler tidak otomatis berfungsi.
• Periksa sintaks dan pola URL. Kesalahan pada aturan dapat membuat bagian website yang salah ikut terblokir.

Jika kamu sedang membenahi fondasi SEO, baca juga panduan optimasi Blogger agar cepat dicrawl Google melalui robots.txt dan sitemap. Panduan tersebut membahas pengaturan teknis yang perlu diperiksa sebelum melakukan perubahan lebih jauh.

Bagaimana dengan URL yang Mengandung Karakter Non-Inggris?

Selain membahas penggunaan konten untuk AI, episode Google Search Central tersebut juga menyinggung penulisan path URL yang mengandung karakter non-Inggris.

Cherry Prommawin menyarankan penggunaan percent-encoding untuk path yang berisi karakter non-ASCII ketika menulis aturan robots.txt, khususnya untuk menghindari perbedaan penanganan di antara crawler.

Contohnya, karakter khusus dalam URL dapat direpresentasikan menggunakan format encoding yang sesuai. Ini perlu diperhatikan ketika aturan menargetkan URL dengan aksara internasional atau emoji.

Namun, jangan melakukan encoding secara asal. Pastikan pola yang ditulis benar-benar sesuai dengan representasi URL yang diproses crawler tujuan.

Apakah Blogger Harus Memblokir Semua AI Crawler?

Tidak ada satu jawaban yang cocok untuk seluruh website. Keputusan tersebut sebaiknya mengikuti kebutuhan bisnis dan tujuan penerbitan konten.

Jika prioritasmu adalah visibilitas di mesin pencari dan kemungkinan konten ditemukan melalui layanan AI, memblokir semua crawler tanpa membedakan fungsinya bisa menjadi keputusan yang merugikan.

Sebaliknya, jika kamu memiliki alasan kuat untuk membatasi pengambilan konten oleh crawler tertentu, identifikasi bot tersebut dan periksa kebijakan kontrol yang disediakan penyedianya.

Pertimbangkan juga bahwa mengizinkan crawling tidak sama dengan memberikan persetujuan menyeluruh atas semua bentuk penggunaan konten. Namun, robots.txt sendiri tidak bisa menjamin pembatasan penggunaan setelah data berhasil diperoleh.

Kesimpulan

Penjelasan Google mempertegas bahwa robots.txt dan pengaturan penggunaan konten AI memiliki fungsi yang berbeda. Robots.txt mengatur preferensi akses crawler, tetapi tidak otomatis menentukan apa yang dilakukan sistem terhadap data setelah crawling.

Bagi blogger, langkah terbaik bukan menambahkan sebanyak mungkin direktif ke robots.txt. Periksa aturan yang benar-benar didukung, pertahankan akses crawler yang dibutuhkan, dan gunakan kontrol khusus jika penyedia AI memang menyediakannya.

Jika kamu ingin artikel tetap mudah ditemukan Google, pastikan pengaturan crawling tidak menghambat tujuan tersebut. Sementara untuk penggunaan konten oleh AI, pahami batas robots.txt dan jangan menganggap satu aturan dapat menyelesaikan seluruh persoalan.

Pada akhirnya, kontrol crawling dan kontrol penggunaan data adalah dua hal berbeda. Memahami perbedaan ini akan membantu blogger mengambil keputusan teknis yang lebih tepat di tengah perkembangan pencarian berbasis AI.