Solusi Masalah URL Blogspot yang Diindeks Meski Diblokir Robots.txt
Saat menemukan masalah Url di blogspot yang Diindeks meski diblokir oleh robots txt pada laporan di Google search console, maka apa yang harus dilakukan ?
Arti Dindeks Meski Diblokir Oleh Robots txt
Hal tersebut memberikan petunjuk bahwa Googlebot telah melakukan indeks dan merayapi blog tetapi menemukan perintah larangan mengindex URL atau halaman.
Berdasarkan pedoman pada google serach console agar blog atau web jangan menggunakan file robots.txt untuk menyembunyikan dari perayapan.
Dan jika kalian ingin memblokir URL halaman dari googlebot sebaiknya menggunakan perlindungan dengan sandi atau noindex,
Cara Mengetahui Url Diindeks Meski Diblokir robots.txt
1. Buka dashboard Google Search Console
2. Buka Cakupan diindeks meski diblokir oleh robots.txt.
3. Pilih URLnya dan Klik pada bagian URL tersebut.
4. Kemudian terbuka jendela dan pilih Uji pemblokiran robots txt.
5. Maka akan diketahui file robots txt yang digunakan, dengan garis berwarna merah Disallow: /search dengan status DIBLOKIR.
URL tersebut berada pada bagian Label yang merupakan bagian dari Search atau pencarian di blog.
Ternyata URL pada label yang di blokir dan hal tersebut terjadi karena pada pengaturan robot txt blogspot melarang Googlebot untuk mengindex dengan perintah Disallow: /.
Perintah disallow: memberikan arahan kepada Googlebot dilarang mengindeks dan / (garis miring) menunjukan pada bagian pencarian.
Sebelum melanjutkakan pada Langkah selanjutnya maka perlu dipahami terlebih dahulu tentang Diindeks meski diblokir oleh robots txt.
Pengaturan robots txt bawaan blogspot dibuat dengan perintah agar semua bot untuk tidak mengcrawl dan mengindex pada halaman dengan hasil Search dan Label.
Halaman yang termasuk dalam katagori Search adalah label atau catagories.
URL tersebut adalah bukan halaman utama dan tidak perlu untuk dimasukan pada indeks di pencarian google. Tetapi Sebaiknya Googlebot tidak dilarang atau diblokir dengan perintah disallow: /.
Jika kalian menganggap URL label tidak ingin diindeks maka Peringatan tersebut dapat diabaikan saja dan tidak perlu memperbaiki pengaturan robot txt pada disallow: / meskipun Googlebot tetap mengcrawl halaman label tersebut.
Satus peringatan diindeks meski diblokir robots txt memberitahukan bahwa perintah larangan indeks tidak diterapkan pada pengaturan robots txt meskipun secara default melarangnya dengan perintah disallow.
Meskipun demikian Url label bukanlah sebuah halaman dengan status Error atau Peringatan yang tertera pada bagian bawah laporan Uji pemblokiran dengan hasil nol.
Cara Mengatasi Diindeks Meski Diblokir robots.txt di Blogspot
Apabila ingin menghilangkan peringatan tersebut maka kalian dapat melakukan VALIDASI dengan memperbaikinya setelah Membuat file custom robots.txt di blogger dengan menghapus perintah Disallow: / dengan langkah berikut ini :
1. Buka file robots txt di blogger dengan mengetikan http://alamatwebanda/robots.txt dan pada alamatwebanda diganti dengan web atau blog kalian.
2. Terbuka file robots txt blog selanjutnya Copy File tersebut.
3. Buka dashboard di blogger kemudian Pilih Setelan.
4. Pilih pada bagian Crawler dan Pengindeksan selanjutnya klik Aktifkan robots.txt kustom.
5. Paste file tadi kemudian hapus Disallow: / kemudian aktifkan dengan menggeser tombol ke kanan.
6. Selanjutnya masuk kembali ke Google search console dan buka Cakupan kemudian pilih Pada bagian Valid dengan Peringatan kemudian Klik VALIDASI PERBAIKAN.
Dengan memperbaiki pengaturan robots txt maka peringatan tersebut akan hilang sesuai dengan anjuran Search Console sebagai saran penyemurnaan untuk meningkatkan tampilan pencarian di google.
Dari kedua solusi masalah diindeks yang diblokit robots txt tersebut maka kalian dapat memilih ketika bisa membiarkan saja dengan menggunakan robots txt bawaan blogspot jika menginginkan URL Label tidak ingin diindeks.
Buat dan aktifkan robots txt kustom di blogger jika ingin URL label di indeks dengan menghilangkan perintah disallow
Itulah cara mengtasi masalah diindeks meski diblokir pleh robots txt pada Url di blogspot. Semoga pembahasan ini bermanfaat, Terima kasih.