Cara Benar Setting Robots.txt pada Blog

Cara Benar Setting Robots.txt pada Blog

Pengaturan Robots.txt maksudnya adalah apakah kita mengizinkan search engine mengindex setiap laman dalam blog kita atau melarang search engine mengindexnya. Itu semua bisa diatur dalam robots.txt.

Bagi blog yang tidak memiliki laman robots.txt, silahkan copy script robots.txt dibawah kemudian paste di:

Dashboard blog >> Setelan >> Preferensi Penelusuran >> Robots.txt 

Bagi yang sudah memiliki file tersebut, saya menyarankan untuk tidak mengubahnya.

Untuk mengecek file robots.txt di blog anda, mudah saja cukup kunjungi www.NAMABLOG.com/robots.txt

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://NAMABLOG.blogspot.com/feeds/posts/default?orderby=UPDATED

Jika hasilnya seperti diatas, berarti anda mengizinkan search engine merayapi setiap laman dalam blog anda.
Perhatikan :

User-agent: *
Disallow: /search
Allow : /

Disallow: /search berarti melarang search engine melakukan perayapan pada label. Mengapa? Karena label bukanlah url nyata.

http://NAMABLOG.com/search/label/xxxxx

Pada bagian   Allow: / menandakan anda mengizinkan semua laman dirayapi.

Namun ada beberapa laman yang biasanya tidak diminta untuk dirayapi seperti laman iklan dan log.

Caranya :

Disallow: /ads
Disallow: /log

Saya berusaha sebisa mungkin untuk menjelaskannya secara singkat dan padat. Jika mungkin ada yang kurang dipahami mari kita berbagi dikolom komentar... Terima kasih...