Cara Optimasi Blogger 2026 agar Cepat Dicrawl Google: Robots.txt + 3 Sitemap

Kalau blog Blogger sudah memiliki ratusan artikel, pengaturan robots.txt, meta robots, dan sitemap mulai menjadi bagian penting dari SEO teknis.

Banyak blogger masih menganggap ketiganya memiliki fungsi yang sama. Padahal sebenarnya berbeda:

• Robots.txt → mengatur halaman yang boleh atau tidak boleh dirayapi crawler.
• Meta robots → memberikan instruksi indexing pada halaman.
• Sitemap → membantu Google menemukan URL.
• Canonical → memberi sinyal URL utama ketika terdapat beberapa versi URL.

Google menjelaskan bahwa sitemap merupakan hint atau petunjuk untuk membantu menemukan URL, bukan jaminan bahwa URL tersebut pasti dirayapi atau diindeks.

Robots.txt Blogger 2026 yang Saya Rekomendasikan

Untuk blog Blogger dengan sekitar 600 artikel, saya lebih memilih robots.txt yang sederhana dan tidak terlalu agresif memblokir crawler.

User-agent: *
Allow: /

Sitemap: https://www.fairusmajid.com/sitemap.xml
Sitemap: https://www.fairusmajid.com/sitemap-pages.xml
Sitemap: https://www.fairusmajid.com/feeds/posts/default?orderby=updated

Konfigurasi tersebut menggunakan 3 sitemap sekaligus.

1. Sitemap utama

https://www.fairusmajid.com/sitemap.xml

Ini menjadi sitemap utama blog untuk membantu Google menemukan URL artikel.

2. Sitemap halaman statis

https://www.fairusmajid.com/sitemap-pages.xml

Jika endpoint tersebut tersedia dan valid pada blog Blogger kamu, sitemap ini dapat digunakan untuk membantu discovery halaman statis.

3. Feed posting terbaru

https://www.fairusmajid.com/feeds/posts/default?orderby=updated

Google juga mendukung RSS dan Atom feed sebagai salah satu sumber URL untuk discovery. Feed dapat membantu memberikan informasi mengenai posting yang terbaru atau diperbarui.

Kenapa Tidak Menggunakan Disallow: /search?

Banyak konfigurasi robots.txt Blogger menggunakan:

User-agent: *
Disallow: /search

Namun, jika kamu ingin halaman label Blogger tetap dapat dirayapi, saya tidak menyarankan memblokir seluruh /search.

Pasalnya, halaman label Blogger biasanya menggunakan pola URL seperti:

https://www.fairusmajid.com/search/label/Teknologi
https://www.fairusmajid.com/search/label/Android

Jika seluruh /search diblokir, halaman label juga dapat ikut terkena aturan tersebut.

Untuk blog yang ingin memanfaatkan label sebagai navigasi dan bagian dari struktur SEO, lebih aman membiarkan crawling tetap terbuka.

Robots.txt Bukan Sama dengan Meta Robots

Ini salah satu hal yang sering membuat blogger keliru.

Robots.txt mengatur akses crawler terhadap URL, sedangkan meta robots memberikan instruksi mengenai indexing dan bagaimana halaman dapat ditampilkan.

Misalnya:

<meta name="robots" content="noindex, follow">

Artinya halaman tidak ingin dimasukkan ke indeks, tetapi link di dalam halaman tersebut masih boleh diikuti.

Karena Google harus dapat mengakses halaman untuk membaca instruksi noindex, jangan memblokir URL yang ingin diberi instruksi noindex melalui robots.txt.

Setting Meta Robots Blogger 2026

Untuk artikel yang memang ingin muncul di Google, prinsipnya adalah halaman tersebut harus boleh diindeks.

Jika menggunakan fitur bawaan Blogger, pengaturannya dapat dibuat berdasarkan jenis halaman:

Jenis Halaman	Rekomendasi
Homepage	all
Artikel / Post	all
Static Page	all
Label	Jangan diblokir jika ingin dimanfaatkan untuk SEO
Search	noindex
Archive	noindex

Yang perlu diperhatikan, jangan menambahkan meta robots secara manual ke template jika Blogger atau template yang digunakan sudah menghasilkan aturan robots sendiri. Pastikan tidak ada dua instruksi robots yang saling bertentangan.

Apakah Harus Menulis index, follow?

Sebenarnya tidak selalu perlu.

Untuk halaman yang dapat diindeks secara normal, Google pada dasarnya menganggap halaman dapat diindeks dan link dapat diikuti jika tidak ada aturan yang membatasi.

Karena itu, daripada menambahkan banyak kode meta robots secara manual, lebih aman memastikan konfigurasi Blogger tidak memberikan instruksi noindex kepada artikel yang ingin masuk Google.

Jangan Sampai Meta Robots Ganda

Periksa template Blogger sebelum menambahkan kode seperti:

<meta name="robots" content="index, follow">

Jika template sudah memiliki meta robots, jangan menambahkan kode kedua secara sembarangan.

Konfigurasi yang bertentangan dapat membuat crawler mendapatkan sinyal yang tidak diinginkan.

Canonical Juga Wajib Diperhatikan

Selain robots.txt dan sitemap, pastikan artikel memiliki canonical yang benar.

Pada template Blogger, salah satu bentuk yang umum digunakan adalah:

<link expr:href='data:blog.canonicalUrl' rel='canonical'/>

Namun jangan langsung menambahkan kode ini jika template sudah memiliki canonical.

Tujuannya adalah memastikan satu halaman memiliki URL utama yang jelas bagi mesin pencari.

Contohnya, satu artikel bisa saja diakses melalui beberapa variasi URL, tetapi Google perlu mengetahui URL canonical yang menjadi versi utama.

Kenapa Internal Link Lebih Penting daripada Menambah Banyak Sitemap?

Misalnya blog sudah mempunyai 600 artikel. Sitemap memang membantu Google menemukan URL, tetapi jangan hanya mengandalkan sitemap.

Buat struktur internal link seperti ini:

Homepage
   ↓
Kategori / Label
   ↓
Artikel utama
   ↓
Artikel terkait
   ↓
Artikel lainnya

Usahakan setiap artikel mempunyai beberapa internal link yang benar-benar relevan.

Contohnya artikel tentang:

Cara Setting Robots.txt Blogger 2026

Dapat memiliki link menuju artikel lain seperti:

• Cara Submit Sitemap Blogger ke Google Search Console
• Cara Setting Meta Robots Blogger
• Cara Memperbaiki Artikel Tidak Terindeks Google
• Cara Membuat Sitemap HTML Blogger

Internal link seperti ini membantu pembaca sekaligus memberikan jalur bagi crawler untuk menemukan halaman lain.

Optimalkan Halaman Label Blogger

Kalau halaman label ingin diberi kesempatan untuk masuk indeks, jangan membuatnya hanya menjadi kumpulan artikel tanpa konteks.

Misalnya label Teknologi dapat memiliki deskripsi singkat:

Kumpulan artikel teknologi terbaru, tutorial Android, aplikasi, gadget, dan berbagai tips seputar perangkat digital.

Dengan begitu halaman label memiliki fungsi sebagai halaman kategori dan membantu pembaca menemukan artikel berdasarkan topik.

Search Console: Submit 3 Sitemap

Setelah konfigurasi robots.txt selesai, masuk ke:

Google Search Console → Sitemaps

Kemudian tambahkan:

sitemap.xml

Selanjutnya:

sitemap-pages.xml

Dan sitemap ketiga:

feeds/posts/default?orderby=updated

Setelah itu biarkan Google memprosesnya. Tidak perlu mengirimkan sitemap berulang-ulang setiap kali menerbitkan artikel.

Apakah 3 Sitemap Membuat Artikel Lebih Cepat Terindeks?

Tidak ada jaminan.

Sitemap membantu Google menemukan URL, tetapi sitemap bukan perintah agar Google langsung mengindeks halaman.

Kecepatan indexing juga dipengaruhi oleh beberapa faktor lain, seperti:

• Kualitas konten.
• Internal linking.
• Canonical.
• Keunikan dan kedalaman artikel.
• Struktur website.
• Crawl demand Google.
• Riwayat dan kualitas keseluruhan situs.

Jangan Request Indexing untuk 600 Artikel

Kalau mempunyai 600 artikel, jangan melakukan Request Indexing satu per satu hanya karena ingin mempercepat indexing.

Gunakan fitur tersebut secara selektif untuk:

• Artikel penting.
• Artikel berita atau topik aktual.
• Artikel yang baru diperbarui secara signifikan.
• URL yang memang perlu segera ditemukan Google.

Untuk artikel biasa, biarkan prosesnya berjalan melalui sitemap dan internal linking:

Publish artikel
      ↓
Internal link
      ↓
Sitemap
      ↓
Google menemukan URL
      ↓
Google Crawl
      ↓
Evaluasi
      ↓
Indexing

Bagaimana Jika Search Console Menampilkan "Crawled - Currently Not Indexed"?

Jangan langsung menyimpulkan bahwa sitemap bermasalah.

Crawled - currently not indexed berarti Google sudah merayapi halaman tersebut tetapi belum memilih untuk memasukkannya ke indeks.

Yang perlu diperiksa antara lain:

• Apakah artikel terlalu tipis?
• Apakah artikel terlalu mirip dengan artikel lain?
• Apakah search intent sudah terpenuhi?
• Apakah artikel mempunyai internal link?
• Apakah canonical sudah benar?
• Apakah artikel memberikan informasi yang benar-benar berguna?

Sementara Discovered - currently not indexed lebih berkaitan dengan URL yang sudah ditemukan Google tetapi belum dirayapi. Dalam kondisi tersebut, sitemap dan internal linking menjadi semakin penting.

Setup Final Blogger 2026 untuk 600 Artikel

Jika saya membuat konfigurasi untuk blog Blogger dengan sekitar 600 artikel, saya akan memulai dari robots.txt berikut:

User-agent: *
Allow: /

Sitemap: https://www.fairusmajid.com/sitemap.xml
Sitemap: https://www.fairusmajid.com/sitemap-pages.xml
Sitemap: https://www.fairusmajid.com/feeds/posts/default?orderby=updated

Ringkasannya

Bagian	Rekomendasi
Robots.txt	Allow crawling
Sitemap	3 endpoint
Artikel	Index + follow
Static Page	Index jika memang penting
Label	Jangan diblokir jika ingin dimanfaatkan untuk SEO
Search	Lebih baik dikontrol dengan noindex
Archive	Umumnya noindex
Canonical	Pastikan satu canonical yang benar
Internal link	3–5 link relevan per artikel

Kesimpulan

Untuk Blogger 2026 dengan sekitar 600 artikel, tidak perlu membuat robots.txt yang terlalu rumit.

Konfigurasi yang saya rekomendasikan adalah:

User-agent: *
Allow: /

Sitemap: https://www.fairusmajid.com/sitemap.xml
Sitemap: https://www.fairusmajid.com/sitemap-pages.xml
Sitemap: https://www.fairusmajid.com/feeds/posts/default?orderby=updated

Tiga sitemap sudah cukup. Yang jauh lebih penting adalah memastikan meta robots tidak salah, canonical tidak ganda, label tidak sengaja diblokir, serta artikel mempunyai internal link yang kuat.

Jadi jangan beranggapan bahwa semakin banyak sitemap otomatis membuat artikel semakin cepat masuk Google. Sitemap membantu discovery, sedangkan kualitas konten, struktur website, internal linking, canonical, dan sinyal indexing tetap sangat menentukan.

Untuk blog dengan 600 artikel, strategi terbaik bukan sekadar menambah sitemap, tetapi membuat seluruh situs mudah dirayapi dan setiap artikel penting memiliki jalur internal link yang jelas.