XML-карта сайта (sitemap.xml) – это важнейший инструмент для оптимизации индексации вашего сайта поисковыми системами. Этот файл помогает поисковым роботам быстрее обнаруживать и обходить страницы вашего сайта, что улучшает их индексацию и повышает видимость в поисковой выдаче. С помощью инструмента Screaming Frog SEO Spider можно быстро и качественно создать XML-карту для любого сайта.
Начало работы с Screaming Frog
Перед созданием карты сайта необходимо просканировать веб-сайт. Введите адрес вашего сайта в поле и нажмите кнопку “Start” для начала парсинга.
Программа начнет сканирование всех доступных страниц вашего сайта, обнаруживая внутренние и внешние ссылки. Нужно дождаться полного окончания процесса сканирования (100%) перед тем, как приступать к генерации XML-карты сайта, чтобы включить в нее все нужные URL-адреса.
Генерация XML-карты сайта
После завершения сканирования можно приступить к созданию XML-карты сайта. Для этого нужно выбрать пункт верхнего меню Sitemaps ⇒ XML Sitemap
После настройки необходимых параметров (более детально расскажем ниже) нажмите кнопку “Export”, и программа сгенерирует файл sitemap.xml.
Настройка параметров XML Sitemap
При создании XML-карты сайта важно правильно настроить параметры включения страниц. По умолчанию в карту включаются только:
- HTML-страницы, находящиеся во вкладке “Internal”
- страницы имеющие ответ “200” OK
Это наиболее безопасный и логичный выбор, поскольку только такие страницы должны быть проиндексированы поисковыми системами.
Не стоит включать в карту сайта страницы:
- помеченные тегом “noindex” (если данный тег есть, значит страница не должна индексироваться)
- канонизированные страницы (где канонический URL отличается от URL самой страницы)
- страницы пагинации (такие страницы являются частичными дублями)
- с перенаправлениями 3XX
- с ошибками 4XX
- с ошибками сервера 5XX
- заблокированные файлом robots.txt
Включение таких страниц может негативно сказаться на восприятии вашего сайта поисковыми системами. Такой подход к формированию карты сайта помогает избежать дублирования контента и обеспечивает более эффективную индексацию вашего ресурса.
Настройка Last Modified
Параметр Last Modified (lastmod) указывает дату последнего изменения страницы и является важным сигналом для поисковых роботов, помогающим определить частоту обхода страниц вашего сайта.
Вы можете использовать данные из заголовков HTTP-ответа сервера (если они доступны) или задать кастомную дату. Рекомендуется включить опцию “Include Last Modified” и настраивать это значение при каждом существенном обновлении содержимого страницы.
Настройка Priority
Параметр Priority позволяет указать относительную важность страниц вашего сайта для поисковых систем в диапазоне от 0.0 до 1.0. Screaming Frog предлагает настроить этот параметр в зависимости от “глубины” парсинга – количества кликов от главной страницы.
Главную страницу рекомендуется отмечать приоритетом 1.0, страницы первого уровня (доступные напрямую с главной) – 0.8 или 0.9, более глубокие страницы – соответственно меньшими значениями (например: карточки товаров).
Сейчас поисковые системы придают меньшее значение этому параметру, чем раньше, корректная настройка Priority все же может помочь в расстановке акцентов на важных разделах вашего сайта.
Включение изображений в Sitemap: Include Images
Опция Include Images позволяет добавить в XML-карту сайта информацию об изображениях, размещенных на ваших страницах. Это особенно полезно для сайтов, где визуальный контент играет важную роль – интернет-магазинов, портфолио, блогов с большим количеством иллюстраций.
Включение изображений в sitemap помогает поисковым системам лучше индексировать визуальный контент и может улучшить его отображение в результатах поиска по картинкам. При включении этой опции Screaming Frog добавит специальные теги с URL-адресами изображений и дополнительными атрибутами, такими как заголовок и описание, если они доступны.
Однако поисковые системы (как Google, так и Яндекс) рекомендуют создавать отдельные файлы sitemap.xml для изображений.
Настройка Change Frequency
Параметр Change Frequency указывает, как часто может изменяться содержимое страницы. Screaming Frog позволяет настроить этот параметр либо на основе данных из тега lastmod, либо в зависимости от глубины парсинга.
Для часто обновляемых страниц, таких как главная страница или новостной раздел, рекомендуется устанавливать значения “daily” или “weekly”. Для страниц с редко меняющимся контентом, таких как политика конфиденциальности или условия использования, подходят значения “monthly” или “yearly”.
Редактирование и оптимизация карты сайта
После генерации sitemap.xml может потребоваться его ручное редактирование для устранения возможных ошибок или оптимизации. Сгенерированный файл можно открыть в любом текстовом редакторе, например, в стандартном блокноте Windows.
При редактировании особое внимание следует уделить проверке канонических URL-адресов. Убедитесь, что карта сайта содержит только канонические версии каждого URL, без ненужных параметров запросов или других факторов, которые могут вызвать дублирование.
После создания и проверки sitemap.xml с помощью Screaming Frog, рекомендуется провести комплексный технический аудит сайта. Инструмент Аудит сайта от Rush Analytics позволяет выявить критические ошибки, влияющие на индексацию и ранжирование, включая проблемы с мета-тегами, внутренней структурой и другими важными аспектами. Это поможет обеспечить максимальную эффективность вашей SEO-стратегии.
После внесения необходимых изменений сохраните файл, обязательно сохраняя формат XML и кодировку UTF-8. Неправильный формат или кодировка могут привести к тому, что карта сайта не будет корректно обработана поисковыми системами.
конверсии вашего сайта
в Яндекс-Директ
Уже скачали 1348 раз
Загрузка sitemap.xml на сервер
Финальный этап – размещение готовой карты сайта на вашем сервере. Оптимальным местом для размещения файла sitemap.xml является корневая директория вашего сайта. Это стандартное местоположение, где поисковые системы в первую очередь ищут карту сайта.
После загрузки файла проверьте доступность карты сайта, открыв ее в браузере по адресу https://site.com/sitemap.xml. Убедитесь, что файл открывается корректно и содержит все необходимые URL-адреса.
Дополнительно рекомендуется указать путь к карте сайта в файле robots.txt и отправить ее в Google Search Console и Яндекс.Вебмастер для ускорения процесса индексации.
