WordPress Robot.txt

[İbrahim Çakıcı]

En iyi wordpress robots.txt dosyası şu şekildedir. Sitemap bilgilerinizi kendinize göre düzenleyebilirsiniz. Dosya hakkında sorularınız varsa cevaplayalım.

Sitemap: http://www.seoteknikleri.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

[clup44]

teşekkürler benim için çok yararlı oldu. elinize sağlık

[Karluk]

Alexa arşivcisi neden disallow?

[İbrahim Çakıcı]

ia_archiver - alexa değil, web.archive.org botudur. Sitenizin geçmişini listeler, ve kaydeder. Kötü amaçlı bir bot olabiliyor bazen.

Bu yazımı okumalısın.

[namso-01]

User-agent: Googlebot
google analize girip robots.txt oluşturacak olursanız google analizin önerisi googlebot yerine * yıldız konmasıdır.
aksi taktirde yazılanlar sadece google için olur ve diğer arama motorları indexlenmemesi gereken yerleri indexler....