Роботс.тхт

Не важен, но иногда все-таки важен.

Роботс — рекомендация для поисковых систем. Он задает правила, куда можно роботу поисковика заходить на сайте, а куда нельзя. Но поисковики не всегда его слушают. Если вы закроете от индексации страницу, поисковики все равно посмотрят что там, а уже потом решат, показывать ее в поиске или нет. Яндекс рекомендациям следует всегда, а вот Гугл — нет, и может индексировать то, что вы не хотите.

Если вы его не заполнили, все равно сайт появится в поисковиках. Но если заполнили с ошибкой — поисковик удалит страницы или покажет не те.

Зачем нужен

Вы говорите поисковикам: сюда иди, здесь важная информация, а здесь у меня системные страницы, сюда нельзя. Робот прочитает и скажет «окей».

Поисковые роботы яндекса и гугла не единственные, кто будут заходить на сайт. Есть специализированные роботы: одни ищут имейл и телефон, микроразметку ищет другой робот, медийный робот ищет картинки и видео.

Что туда писать

Напишите: название бота, куда ему запрещен доступ, как часто он может к вам заходить на сайт, адрес сайтмэпа и главное зеркало.

У Яндекса есть инструкция:
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Там все правила: как писать название робота и какие бывают, как запретить вход на отдельную страницу или всю категорию, как разрешить вход, показан синтаксис, чтобы робот правильно все прочитал.

Про ошибки

Синтаксис простой, но когда пытаешься настроить роботс идеально, чтобы закрыть все дыры — можешь допустить ошибку. И будет обидно, если лишите себя или клиента части дохода, потому что переходы с поиска пропали.

Если использовать стандартный роботс — все будет работать. Возможно, будут лишние страницы в поиске, но поисковик сам их уберет со временем.

Поделиться
Отправить
2017   роботс
Популярное