Robots.txt Blogger yang Benar untuk SEO 2026: Setting Aman agar Google Mudah Crawl

Kalau kamu menggunakan Blogger dan sedang membangun trafik organik, robots.txt adalah salah satu bagian teknis yang sebaiknya tidak diatur asal-asalan.

Masalahnya, banyak tutorial lama membuat robots.txt terlihat jauh lebih rumit daripada yang sebenarnya dibutuhkan. Ada yang memblokir terlalu banyak URL, ada yang memasukkan aturan yang tidak lagi relevan, bahkan ada yang menganggap robots.txt sebagai cara untuk memaksa Google mengindeks artikel.

Padahal fungsinya lebih sederhana: robots.txt memberi instruksi kepada crawler mengenai URL atau resource yang boleh dan tidak boleh diakses. Google sendiri menjelaskan bahwa robots.txt bukan mekanisme untuk menghilangkan halaman dari hasil pencarian.

Jadi, bagaimana konfigurasi robots.txt Blogger yang masuk akal untuk SEO 2026?

Robots.txt Blogger yang Sederhana Justru Lebih Aman

Untuk blog Blogger yang mayoritas halamannya memang ingin dapat ditemukan Google, pendekatan yang sederhana biasanya lebih mudah dikelola.

Contoh dasar yang bisa digunakan:

User-agent: *
Allow: /

Sitemap: https://www.fairusmajid.com/sitemap.xml

Baris pertama menentukan bahwa aturan berlaku untuk crawler yang mengikuti robots.txt.

Allow: / menunjukkan bahwa seluruh bagian situs pada dasarnya diperbolehkan untuk dicrawl.

Sementara baris Sitemap memberi tahu lokasi sitemap kepada crawler. Google mendukung field sitemap dalam robots.txt dan beberapa sitemap dapat dicantumkan jika memang diperlukan.

Apakah Harus Menggunakan Disallow?

Tidak selalu.

Inilah bagian yang sering membuat konfigurasi Blogger menjadi terlalu agresif. Karena melihat contoh robots.txt dengan banyak Disallow, sebagian blogger menganggap semakin banyak URL yang diblokir berarti semakin bagus untuk SEO.

Padahal robots.txt terutama digunakan untuk mengontrol crawling. Jika sebuah URL memang penting untuk pencarian, jangan sampai URL tersebut justru terblokir.

Google juga menjelaskan bahwa URL yang diblokir robots.txt masih dapat ditemukan atau muncul di hasil pencarian dalam kondisi tertentu, meskipun Google tidak dapat membaca isi halaman tersebut.

Karena itu, jangan memakai Disallow hanya karena sebuah URL terlihat kurang penting. Gunakan aturan tersebut ketika memang ada alasan teknis atau crawling yang jelas.

Bagaimana dengan Disallow: /search di Blogger?

Ini salah satu aturan yang perlu dipikirkan sebelum langsung ditempel ke robots.txt.

User-agent: *
Disallow: /search

Aturan tersebut akan membatasi crawling terhadap URL yang berada di jalur /search. Pada Blogger, jalur tersebut dapat berkaitan dengan halaman pencarian maupun URL label.

Kalau kamu masih ingin memanfaatkan halaman label sebagai bagian dari navigasi dan struktur internal website, jangan asal memblokir seluruh /search.

Lebih baik tentukan terlebih dahulu halaman mana yang memang ingin kamu crawl dan mana yang ingin dikontrol melalui pengaturan indexing.

Robots.txt Bukan Pengganti Meta Robots

Ini perbedaan yang wajib dipahami.

Robots.txt = mengatur crawling.

Meta robots = memberikan instruksi indexing dan penyajian halaman.

Misalnya kamu memiliki halaman yang ingin tetap bisa dicrawl Google tetapi tidak ingin muncul di hasil pencarian. Dalam kondisi seperti itu, noindex lebih tepat daripada memblokir URL tersebut melalui robots.txt.

<meta name="robots" content="noindex">

Google harus dapat mengakses halaman tersebut agar dapat membaca aturan noindex. Jika halaman sudah diblokir robots.txt, crawler tidak dapat melihat meta tag tersebut.

Jangan Memakai Robots.txt untuk Memaksa Indexing

Ini mungkin kesalahpahaman paling umum.

Misalnya seseorang berpikir:

"Kalau semua URL saya Allow, Google pasti langsung mengindeks semuanya."

Tidak begitu.

Robots.txt hanya membantu menentukan apakah crawler boleh mengakses URL tertentu. Google tetap melakukan proses sendiri untuk menemukan, merayapi, memproses, dan menentukan apakah halaman layak dimasukkan ke indeks.

Bahkan Google menyatakan bahwa memenuhi persyaratan teknis minimum tidak otomatis menjamin sebuah halaman akan diindeks.

Jadi jangan menganggap perubahan robots.txt sebagai tombol "index sekarang".

Robots.txt dan Sitemap Harus Saling Mendukung

Kalau sitemap berisi URL artikel yang ingin ditemukan Google, tetapi URL tersebut diblokir robots.txt, kamu justru membuat sinyal teknis yang tidak ideal.

Untuk itu, prinsip sederhananya adalah:

Artikel penting
     ↓
Boleh dicrawl
     ↓
Masuk sitemap
     ↓
Memiliki internal link
     ↓
Google menemukan dan memproses URL

Sitemap membantu memberi tahu Google mengenai URL yang ingin diperhatikan, sementara robots.txt mengatur akses crawler.

Kalau ingin melihat bagaimana konfigurasi robots.txt, sitemap, meta robots, dan canonical bisa ditempatkan sebagai satu strategi teknis Blogger, kamu juga bisa membaca panduan optimasi Blogger 2026 agar lebih mudah dicrawl Google.

Apakah Perlu Menambahkan Banyak Sitemap?

Tidak perlu sekadar mengejar jumlah.

Google mendukung beberapa deklarasi sitemap dalam robots.txt, tetapi jumlah sitemap yang lebih banyak bukan berarti otomatis membuat artikel lebih cepat diindeks.

Kalau Blogger kamu sudah memiliki sitemap yang valid, gunakan URL sitemap yang benar-benar tersedia.

Contoh sederhananya:

Sitemap: https://www.fairusmajid.com/sitemap.xml

Jangan menambahkan URL sitemap hanya karena melihatnya di tutorial lain. Pastikan endpoint tersebut memang menghasilkan sitemap atau feed yang valid dan dapat diakses.

Kesalahan Robots.txt yang Sering Terjadi di Blogger

• Memblokir seluruh situs secara tidak sengaja.
• Menggunakan terlalu banyak aturan Disallow tanpa memahami URL yang terdampak.
• Memblokir halaman yang sebenarnya ingin diindeks.
• Menganggap robots.txt sebagai pengganti noindex.
• Memasukkan sitemap yang URL-nya tidak valid.
• Mengubah robots.txt terlalu sering hanya karena artikel belum langsung terindeks.

Perubahan teknis sebaiknya dilakukan berdasarkan masalah yang benar-benar ditemukan, bukan sekadar karena melihat konfigurasi blog lain.

Robots.txt untuk Blogger 2026: Versi yang Saya Pilih

Kalau tujuan sebuah blog adalah membiarkan Google merayapi konten utama tanpa membuat konfigurasi menjadi rumit, saya akan memulai dari versi sederhana berikut:

User-agent: *
Allow: /

Sitemap: https://www.fairusmajid.com/sitemap.xml

Setelah itu, evaluasi kebutuhan spesifik situs.

Jika ada URL tertentu yang memang tidak perlu dicrawl dan ada alasan teknis yang jelas, barulah aturan crawling tambahan dipertimbangkan.

Jangan membuat robots.txt panjang hanya supaya terlihat lebih "SEO". Dalam SEO teknis, konfigurasi yang sederhana tetapi dipahami justru jauh lebih mudah dipelihara.

Periksa Robots.txt Setelah Mengubah Template Blogger

Setelah melakukan perubahan, jangan langsung berasumsi semuanya berjalan sesuai rencana.

Cek apakah halaman artikel masih dapat diakses secara normal. Kamu juga bisa menggunakan URL Inspection di Google Search Console untuk memeriksa apakah Google dapat mengakses halaman tertentu.

Google merekomendasikan pemeriksaan akses Googlebot dan aturan robots.txt ketika halaman yang seharusnya muncul di Google mengalami masalah crawling.

Untuk struktur situs yang lebih besar, sitemap internal juga tetap berguna untuk membantu pembaca menemukan artikel. Contohnya, Fairus Majid memiliki halaman sitemap Blogger yang dapat digunakan sebagai jalur navigasi tambahan.

Kesimpulan

Robots.txt Blogger yang benar untuk SEO 2026 tidak harus rumit.

Untuk blog yang sebagian besar kontennya ingin dapat dicrawl Google, konfigurasi dasar seperti:

User-agent: *
Allow: /

Sitemap: https://www.fairusmajid.com/sitemap.xml

sudah menjadi titik awal yang masuk akal.

Yang paling penting adalah memahami fungsi setiap bagian. Robots.txt digunakan untuk mengatur crawling, bukan untuk memaksa indexing. Jika ingin mencegah halaman masuk hasil pencarian, gunakan mekanisme seperti noindex dan pastikan crawler tetap dapat mengakses halaman tersebut.

Jadi, daripada membuat robots.txt penuh aturan yang belum tentu dibutuhkan, lebih baik buat konfigurasi yang sederhana, valid, lalu pastikan sitemap, internal link, canonical, dan meta robots bekerja secara konsisten.