Создаем правильный ROBOTS.TXT

Файл robots.txt очень важен для ресурса – именно в нем содержится важная информация для поисковых роботов. От корректности работы данного файла зависит и скорость индексации страниц, и место в поисковой выдачи.

Что такой фал robots.txt

Файл robots.txt – это документ в формате .txt, в котором записывается информация: какие страницы сайта можно индексировать, а какие нет. С помощью этого файла Вы можете управлять поисковыми роботами, задавая разные уровни доступа к сайту, запрещая индексацию как всего сайта, так и отдельных страниц, разделов или файлов. Для ресурсов с большой посещаемостью в данном файле прописывается время индексации и запрет на индексацию роботами, которые не относятся к основным поисковым системам, что позволяет снизить нагрузку на сервер.

Создание файла robots.txt

Я не хочу ходить вокруг, да около и в этой статье предлагаю Вам познакомиться сразу с правильной структурой файла robots.txt для WordPress:

User-agent: *
Disallow: /wp-admin
Disallow:/wp-includes
Disallow:/wp-content/plugins
Disallow:/wp-content/cache
Disallow:/wp-content/themes
Disallow:/trackback
Disallow:*/trackback
Disallow:*/*/trackback
Disallow:*/*/feed/*/
Disallow:*/feed
Disallow:/*?*
Disallow:/tag
User-agent:Yandex
Disallow:/wp-admin
Disallow:/wp-includes
Disallow:/wp-content/plugins
Disallow:/wp-content/cache
Disallow:/wp-content/themes
Disallow:/trackback
Disallow:*/trackback
Disallow:*/*/trackback
Disallow:*/*/feed/*/
Disallow:*/feed
Disallow:/*?*
Disallow:/tag
Host:mysite.com
Sitemap://mysite.com/sitemap.xml.gz
Sitemap: //mysite.com/sitemap.xml

Вам будет достаточно просто скопировать данный в свой файл и поместить файл в корень сайта, однако не забудьте в последних трех строках поместить адрес своего сайта и путь к вашей карте сайта.

И немного расскажу о том, что означает каждая строка в структуре файла:

User-agent: * — это строка, которая показывает, что все введенные ниже данные будут применимы относительно всех поисковых систем.

Однако для Яндекса правило будет выглядеть следующим образом: User-agent: Yandex.

Allow: — страницы, которые поисковые роботы могут индексировать.

Disallow: — страницы, которые поисковым роботам индексировать запрещено.

Host: mysite.com — зеркало сайта, которое нужно указывать в данном файле.

Sitemap: — путь к карте сайта.

Как правильно сохранять файл robots.txt

Чтобы служебный файл robots.txt был доступен поисковым системам вам необходимо сделать следующее:

• Файл должен быть сохранен обязательно в текстовом формате с расширением .txt;
• Разместить его нужно в корне сайта там, где находится основной файл index.php
• Файл должен иметь имя robots.txt и никакое другое.

Загрузить файл в корень сайта вы можете через FTP-клиент: FTP-доступ на сайт.

Как проверить правильно ли составлен robots.txt

Самый простой способ – это воспользоваться специальным инструментом от Яндекс.

Зайдите в Яндекс.Вебмастер, и в настройках индексирования найдите «Анализ robots.txt». Сервис интуитивно прост, и легко все проверить.

Также вы можете проверить файл тут: Google Robots Testing Tool, но для этого сначала нужно добавить ресурс в Ведмастер от Google.

Не забывайте, что все изменения, которые вы вносите в файл robots.txt доступны не сразу, а спустя лишь недели или даже месяцы.