Cara Mengatasi URL yang Dicekal Robot.txt


Selamat malam sobat Mata Cyber pada malam ini saya akan share tentang tutorial blog nih yaitu Cara Mengatasi URL yang Dicekal Robot.txt sobat blogger pasti tau kan robot.txt itu apa dan pernah ngalamin kan url yang dicekal robot.txt nah untuk mengetahui URL yang Dicekal oleh Robot.txt di blog anda?, Silahkan masuk ke Webmaster tools Google untuk mengetahuinya, Kemudian pilih blog anda yang ingin anda lihat url yang di cekal, kemudian pilih perayapan > Url yang dicekal. Lihat berapa banyak url yang dicekal di blog anda. Kalau belum mendaftar ke webmaster tidak akan ketahuan berapa jumlah url yang dicekal tersebut.

Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.


1. Masuk Dashboard > Setelan > Preferensi Penelusuran
2. Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus
3. Aktifkan konten robots.txt khusus? jawab "Ya"
4. Isikan kode ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://mata-cyber.blogspot.com/feeds/post/default?orderby=UPDATED
Jangan lupa ganti URL Blog nya yang berwarna merah dengan URL Blog sobat :)

 
4. Simpan perubahan. dan,
5. Selesai.
6. Tunggu beberapa hari untuk melihat hasilnya.


Sekian tutorial Cara Mengatasi URL yang Dicekal Robot.txt semoga dengan adanya tutorial ini URL blog sobat udah gak dicekal lagi :D hehe semoga bermanfaat ya gan ;)

sumber