Robots.txt

Robots.txt — текстовый файл, размещаемый в корне сайта и использующийся для сообщения поисковой системе следующей информации:

  • страницы, которые должны попасть в выдачу поисковой системы;
  • страницы, которые не должны попасть в выдачу поисковой системы;
  • главное зеркало сайта;
  • местоположение файла sitemap.xml.

Эти данные можно указать как для всех поисковых систем, так и для каждой по отдельности. Кроме того, возможно задать различные параметры для разных типов поисковых роботов. Например, можно запретить индексацию для робота YandexImages, который ищет изображения для сервиса «Яндекс.Картинки».

Robots.txt очень важен при продвижении сайта. В нём обязательно должны присутствовать директивы, запрещающие индексацию внутренних страниц и ресурсов системы администрирования. В том случае, если к сайту привязано несколько доменов (например, с www в начале и без него), то должно быть указано главное зеркало.

Файл robots.txt подготавливается при создании сайта специалистами веб-студии «Paraus». Заказывая у нас сайт, вы можете быть уверены, что на вашем сайте будет корректный файл robots.txt даже в том случае, когда услуга продвижения сайта не заказана.

Пример файла robots.txt

Ниже приведен пример файла robots.txt, который используется на данном сайте.

User-agent: *
Disallow: /backend/
Disallow: /frontend/auth/
Disallow: /frontend/user/auth/
Disallow: /frontend/feedback/
Host: https://paraus.ru
Sitemap: https://paraus.ru/sitemap.xml