Robots.txt что это?

Robots.txt — это конфигурационный файл, который указывает поисковым роботам, какие разделы сайта можно сканировать, а какие — нет. Представьте его как табличку «Служебное помещение, не входить» для поисковиков.

Основные команды

• User-agent: * — правила для всех роботов
• Disallow: /admin/ — запрет на сканирование раздела
• Allow: /public/ — разрешение внутри запрещённой зоны
• Sitemap: https://site.ru/sitemap.xml — путь к карте сайта

Типичные ошибки

• Блокировка CSS/JS файлов (робот не поймёт вёрстку)
• Случайный запрет на индексацию важных страниц
• Отсутствие ссылки на sitemap.xml
• Синтаксические ошибки в файле

План настройки за 3 шага

1. Создайте базовую конфигурацию:

   User-agent: *
   Disallow: /admin/
   Disallow: /private/
   Allow: /public/
   Sitemap: https://вашсайт.ru/sitemap.xml
   

2. Проверьте доступность:
   • Файл должен быть по адресу вашсайт.ru/robots.txt
   • Ответ сервера — 200 ОК
3. Протестируйте в Google Search Console:
   • Используйте инструмент «Проверка robots.txt»
   • Убедитесь, что важные страницы доступны
   • Проверьте, что служебные разделы закрыты

Важно: Robots.txt не скрывает страницы из поиска! Для полного запрета индексации используйте meta-тег noindex или защиту паролем.