Логотип команды MOSSEO
Продвижение сайта в Москве
Надёжная компания по поисковому продвижению
Москва, Ленинградский проспект, 57А
Понедельник - Пятница, с 10:00 до 19:00 (по Москве)
8 495 111-55-99
Для клиентов в Москве
8 800 350-99-87
Звонок по России бесплатный
MOSSEO

Анализ файлов Sitemap

Анализ файла Sitemap позволяет вовремя обнаружить ошибки в карте сайта, которые мешают корректной индексации интернет-проекта. Самые распространённые примеры таких ошибок мы рассмотрим чуть далее. Однако сначала немного проясним что из себя представляет данный документ и как его можно создать.

Анализ файлов Sitemap

Что такое карта сайта?

Sitemap — это текстовый документ в формате xml или txt. В нём указан список ссылок на все разделы, подразделы и страницы ресурса, продвигаемые в поисковых системах.

Периодически поисковый робот обращается к файлу Sitemap и проводит анализ его содержимого на наличие новых ссылок. Благодаря этому поисковые системы почти сразу видят изменения на сайте и быстрее индексируют новую информацию. Это, в свою очередь, напрямую влияет на скорость появления таких страниц в поиске и их продвижение в интернете.

К слову, на некоторых ресурсах может быть сразу две карты сайта: для роботов и пользователей. Они имеют одинаковое содержание. Отличие только в том, что для посетителей файл создаётся в формате html и помогает им лучше ориентироваться в структуре проекта.

Создание и настройка Sitemap

Для создания карты сайта можно использовать любой текстовый редактор. Описание ссылок на страницы ресурса передают в документе с помощью специальных XML-тегов.

Однако ручное создание такого документа требует слишком большого количества времени. Поэтому специалисты обычно пользуются автоматическими генераторами, которые сканируют ресурс и последовательно добавляют в документ все ссылки. Особенно этот способ удобен, если у вас большой проект с кучей страниц.

Загрузка файла на сервер

После создания документа его необходимо загрузить на сервер. Расположение карты сайта может быть только в корневой директории ресурса.

Чтобы поисковик увидел Sitemap, необходимо указать соответствующую директиву в документе роботс (robots.txt). Ускорить процесс можно, загрузив документ в панели вебмастера.

Проверка валидности карты сайта с помощью панели вебмастера

Самостоятельно проверить корректность составления карты сайта можно с помощью встроенного инструмента Яндекса по ссылке: https://webmaster.yandex.ru/tools/sitemap/.

Аналогичный инструмент есть также у Гугл в Search Console.

Проверка валидности карты сайта с помощью панели вебмастера

Распространённые ошибки

URL-адреса возвращают код ответа 404

В карте сайта не должно быть битых ссылок. Если какая-либо страница при обращении робота возвращает 404-ошибку, она не будет проиндексирована и не попадёт в учёт поисковой системы.

Переход по ссылке не выполнен

Если ссылки будут выполнять слишком много перенаправлений (редиректов), поисковые роботы не смогут их открыть. Проблема может возникнуть в следующих случаях:

  • Вместо постоянных перенаправлений между страницами вы используете переадреcации с помощью JavaScript или мета-тега refresh.
  • Вы используете относительные ссылки (например, o_kompanii.html) вместо абсолютных (например, https://www.example.com/o_kompanii.html).

Недействительные URL-адреса

Если в карте сайта содержатся ссылки на домен более высокого уровня или на другой домен, поисковый робот не сможет их обработать. Например, если документ находится на странице http://www.ucoz.com/vash_sait/sitemap.xml, для него недействительны следующие ссылки:

  • http://www.ucoz.com/;
  • http://www.ucoz.com/your_site/.

Ошибка в адресе ссылок

Очень часто при техническом анализе файлов Sitemap мы наблюдаем такую ошибку:

Сайт расположен на домене http://www.sait.ru/. При этом в карте сайта ссылки на страницы имеют следующий вид:

  • http://example.com/ — без «www» в начале;
  • www.example.com/ — без префикса протокола «http»;
  • https://www.example.com/ — указан протокол «https» вместо «http».

Ошибки в синтаксисе

Самое сложное в процессе анализа файла Sitemap — проверить правильность применение кодировки, а также тегов и их параметров. Например, причиной ошибки может стать неправильная кодировка (должна быть UTF-8), двукратное повторение xml-тега loc, и т.д. С этой проблемой лучше обратиться к специалисту.

Большой размер документа или большое количество ссылок

Согласно требованиям поисковых систем размер карты сайта не должен весить больше 10 мегабайт. Аналогично в документе не должно быть более 50 000 ссылок. Если в процессе анализа вы обнаружили, что одно из этих значений превышено, разделите Sitemap на несколько файлов. Названия таким документам можно давать произвольные. Только не забудьте указать ссылки на них в robots.txt.

Неверный формат даты

Даты в документе должны соответствовать кодировке W3C (например, 2019-02-25). Время указывать не обязательно.

Использование недопустимых символов в URL-адресе

В ссылках нельзя использовать пробелы, кавычки, знаки «& ‘ " < >» и т. д. Чтобы робот при обращении к документу мог корректно прочитать ссылку, которая содержит такие символы, используйте правила экранирования.

Робот не видит Sitemap

Если при очередном анализе проекта поисковый робот не обнаружит карту ресурса, в Яндекс.Вебмастере (Yandex.Webmaster) и Google Search Console появится соответствующее уведомление.

Такая проблема может появиться, если в robots.txt отсутствует соответствующая строка со ссылкой на карту сайта или применяется запрещающая директива disallow. Подробнее об этом мы рассказывали в статье «Нет используемых роботом файлов Sitemap«.

Карта сайта содержит URL, доступ к которым заблокирован в файле robots.txt

Чтобы устранить данную проблему необходимо разрешить индексирование страниц в документе robotx.txt.

Исправление ошибок в карте сайта и проверка её статуса

Поисковые роботы регулярно проводят анализ файла Sitemap на обновления и ошибки. Если вы хотите ускорить этот процесс, можно сообщить роботу об изменениях вручную через панель вебмастера.

Однако имейте в виду, что в Яндекс.Вебмастере использовать данную функцию можно до 10 раз для одного хоста. Если вы воспользуетесь всеми попыткам, следующая возможность уведомить робота об обновлении появится только через 30 дней.

Заполните подходящую для Вас форму,
напишите нам на почту 1@mosseo.ru или просто позвоните по номеру
ПомощьНаша команда проконсультирует, поможет, пояснит!