Логотип команды MOSSEO
Продвижение сайта в Москве
Надёжная компания по поисковому продвижению
Москва, Ленинградский проспект, 57А
Понедельник - Пятница, с 10:00 до 19:00 (по Москве)
8 495 111-55-99
Для клиентов в Москве
8 800 350-99-87
Звонок по России бесплатный
MOSSEO

Сайт закрыт к индексации в файле robots.txt

Ошибка «Сайт закрыт от индексации в файле robots.txt» означает, что поисковому роботу был запрещён доступ к вашему ресурсу. Если это не исправить, проект может быть исключён из индекса.

Не спешите пугаться. Мы подготовили для вас несколько советов, которые помогут легко решить данную проблему. Скорее всего вам даже не понадобится помощь специалистов.

Сайт закрыт к индексации в файле robots.txt

Причина № 1. Просрочка оплаты домена

Одна из причин по которой может появиться запрет на индексирование ресурса – это несвоевременная оплата за аренду доменного имени. Продлите ваш домен и через пару дней отображение ошибки исчезнет.

Причина № 2. Закрытие сайта к индексации в файле robots.txt

Robots – это текстовый документ, который находится на сервере вашего проекта. С помощью внесения в него специальных записей вебмастер может управлять видимостью контента и закрывать от поисковой системы служебные страницы, которые не нужно показывать в поиске. Для этого необходимо прописать в документе директиву «disallow». Именно из-за неправильного использования данной директивы у поисковика чаще всего и возникают проблемы с загрузкой файла роботс.

Как проверить наличие директивы disallow в файле robots.txt?

Проверить содержимое данного документа можно с помощью специального внутреннего инструмента в панели вебмастера Яндекс. Перейдите по ссылке и укажите в поле URL-адрес вашего ресурса. Посмотрите нет ли в содержании документа строчек, которые имеют следующий вид:

Строчка Значение

User-agent: Yandex

Disallow: /

Доступ закрыт для Яндекс

User-agent: Googlebot

Disallow: /

Доступ закрыт для Google

User-agent: *

Disallow: /

Доступ закрыт для всех поисковых систем

Если какая-либо из данных записей обнаружится, её необходимо удалить.

Как проверить наличие директивы disallow в файле robots.txt

Убираем из файла robots.txt информацию о закрытии сайта к индексации

Перейдите в корневую директорию вашего проекта и найдите там файл с названием «robots.txt«. Чтобы при следующем обращении разрешить поисковику доступ ко всему ресурсу, просто удалите из документа все запрещающие директивы. Ничего вместо них прописывать не нужно.

Если вы хотите запретить индексировать отдельные страницы или раздел, необходимо использовать запись «Disallow: /URL страницы/». Например, запись: «Disallow: /admin/» запрещает ссылки из панели администратора.

Чтобы закрыть раздел, используется запись «Disallow: /Раздел/*».

Помощь при закрытии сайта к индексации в файле robots.txt

Не спешите расстраиваться, если предыдущие советы не помогли. Вы всегда можете обратиться за помощью к нашим специалистам. Мы настроим корректные параметры индексации и в качестве бонуса проведём полную диагностику вашего ресурса на наличие других критичных нарушений и проблем с безопасностью.

Заполните подходящую для Вас форму,
напишите нам на почту 1@mosseo.ru или просто позвоните по номеру
ПомощьНаша команда проконсультирует, поможет, пояснит!