Ошибка «Сайт закрыт от индексации в файле robots.txt» означает, что поисковому роботу был запрещён доступ к вашему ресурсу. Если это не исправить, проект может быть исключён из индекса.
Не спешите пугаться. Мы подготовили для вас несколько советов, которые помогут легко решить данную проблему. Скорее всего вам даже не понадобится помощь специалистов.
Причина № 1. Просрочка оплаты домена
Одна из причин по которой может появиться запрет на индексирование ресурса – это несвоевременная оплата за аренду доменного имени. Продлите ваш домен и через пару дней отображение ошибки исчезнет.
Причина № 2. Закрытие сайта к индексации в файле robots.txt
Robots – это текстовый документ, который находится на сервере вашего проекта. С помощью внесения в него специальных записей вебмастер может управлять видимостью контента и закрывать от поисковой системы служебные страницы, которые не нужно показывать в поиске. Для этого необходимо прописать в документе директиву «disallow». Именно из-за неправильного использования данной директивы у поисковика чаще всего и возникают проблемы с загрузкой файла роботс.
Как проверить наличие директивы disallow в файле robots.txt?
Проверить содержимое данного документа можно с помощью специального внутреннего инструмента в панели вебмастера Яндекс. Перейдите по ссылке и укажите в поле URL-адрес вашего ресурса. Посмотрите нет ли в содержании документа строчек, которые имеют следующий вид:
| Строчка | Значение |
|---|---|
User-agent: Yandex Disallow: / | Доступ закрыт для Яндекс |
User-agent: Googlebot Disallow: / | Доступ закрыт для Google |
User-agent: * Disallow: / | Доступ закрыт для всех поисковых систем |
Если какая-либо из данных записей обнаружится, её необходимо удалить.
Убираем из файла robots.txt информацию о закрытии сайта к индексации
Перейдите в корневую директорию вашего проекта и найдите там файл с названием «robots.txt«. Чтобы при следующем обращении разрешить поисковику доступ ко всему ресурсу, просто удалите из документа все запрещающие директивы. Ничего вместо них прописывать не нужно.
Если вы хотите запретить индексировать отдельные страницы или раздел, необходимо использовать запись «Disallow: /URL страницы/». Например, запись: «Disallow: /admin/» запрещает ссылки из панели администратора.
Чтобы закрыть раздел, используется запись «Disallow: /Раздел/*».
Помощь при закрытии сайта к индексации в файле robots.txt
Не спешите расстраиваться, если предыдущие советы не помогли. Вы всегда можете обратиться за помощью к нашим специалистам. Мы настроим корректные параметры индексации и в качестве бонуса проведём полную диагностику вашего ресурса на наличие других критичных нарушений и проблем с безопасностью.
Наша команда проконсультирует, поможет, пояснит!
