Правильный robots.txt для wordpress
В прошлой статье я рассказывал - как создать правильный .htaccess для wordpress. Теперь давайте создадим правильный robots.txt
Здесь все просто. Robots.txt - это указания для поисковых роботов - что индексировать, а что игнорировать. Задается обычно в 2 вариантах: для всех роботов и для робота Яндекса отдельно. Дополнительно указывается хост вашего сайта (без http:// - site.ru) и ссылка на карту сайта. Итак, вот строки:
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag/ User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag/ Host: site.ru Sitemap: http://site.ru/sitemap.xml.gz Sitemap: http://site.ru/sitemap.xml
Не забудьте в данном коде исправить хост на свой, а также ссылки на карты сайта (sitemap).