Cara Mengatasi URL yang Dicekal Robot.txt

Selamat malam sobat Mata Cyber pada malam ini saya akan share tentang tutorial blog nih yaitu Cara Mengatasi URL yang Dicekal Robot.txt sobat blogger pasti tau kan robot.txt itu apa dan pernah ngalamin kan url yang dicekal robot.txt nah untuk mengetahui URL yang Dicekal oleh Robot.txt di blog anda?, Silahkan masuk ke Webmaster tools Google untuk mengetahuinya, Kemudian pilih blog anda yang ingin anda lihat url yang di cekal, kemudian pilih perayapan > Url yang dicekal. Lihat berapa banyak url yang dicekal di blog anda. Kalau belum mendaftar ke webmaster tidak akan ketahuan berapa jumlah url yang dicekal tersebut.

Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.

1. Masuk Dashboard > Setelan > Preferensi Penelusuran
2. Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus
3. Aktifkan konten robots.txt khusus? jawab "Ya"
4. Isikan kode ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://mata-cyber.blogspot.com/feeds/post/default?orderby=UPDATED

Jangan lupa ganti URL Blog nya yang berwarna merah dengan URL Blog sobat :)

4. Simpan perubahan. dan,
5. Selesai.
6. Tunggu beberapa hari untuk melihat hasilnya.

Sekian tutorial Cara Mengatasi URL yang Dicekal Robot.txt semoga dengan adanya tutorial ini URL blog sobat udah gak dicekal lagi :D hehe semoga bermanfaat ya gan ;)

sumber

5 Responses to "Cara Mengatasi URL yang Dicekal Robot.txt"

Mas Gojal18 July 2014 at 04:50
Berhasil nih gan? Ane coba dulu :D
rahmad13 October 2014 at 11:42
Dapat ilmu baru lagi,, hehe :)
makasih mas, postingan yang sangat berrmanfaat dan saya harap mas agan mau berkomentar balik ke blog saya ...
sistem-otomotif .blogspot .com
Unknown29 December 2014 at 00:57
malem gan, terimakasih artikelnya dan setelah saya cek di setting blog ternyata isi dari robots.txt saya sudah seperti itu, artinya utk url sudah saya isi sesuai dengan url blog saya yaitu http://blognyasetiyo.blogspot.com/ apakah hal ini berarti di webmaster info cekal sudah otomatis hilang? atau masih ada? terimakasih pencerahannya gan...
Kenzo6 April 2015 at 07:11
Siipp... Untungnya settingan pada robot.txt blog saya sudah sesuai dengan yang sebutkan si agan..
makasih gan...