Что такое индексация страниц сайта и что о ней стоит знать маркетологу
Индексация сайта — это добавление информации о сайте или его страницах в базы данных поисковых систем. Процесс можно сравнить с внесением информации в библиотечный каталог.
За индексацию отвечают поисковые роботы — специальные алгоритмы, которые автоматически проверяют сайт и обрабатывают информацию.
Поисковые роботы проверяют всё: тексты, картинки, видео, ссылки, аудио и многое другое. Если проверка пройдена успешно, сайт становится проиндексированным и добавляется в базу поисковой системы. Теперь пользователи могут найти сайт в поисковиках, если контент на проиндексированном сайте релевантен запросу.
Если роботы обнаружили проблему — например, у контента страницы низкая уникальность — на сайт накладываются санкции. Он может попасть в базу, но не будет отображаться в поисковой выдаче или получать органический трафик.
Что такое органический трафик и как использовать в маркетинге — рассказали в нашем блоге.
Индексация сайта в поисковых системах влияет на качество и количество трафика. Без неё невозможно попасть в поисковую выдачу. Сайт может быть красивым и удобным, но если не пройти индексацию, об этом не узнают пользователи.
Специалистам необходимо проверять, индексируется ли сайт и его страницы. Все ли страницы отображаются в выдаче? Нет ли дублей? Не закрыты ли целевые страницы, из-за чего компания теряет трафик и прибыль?
Как проверить индексацию сайта в поисковых системах
У каждой поисковой системы — свои алгоритмы для сбора данных о сайте. Методами индексации они не делятся. Однако SEO-специалисты знают основные параметры, на которые смотрят роботы, а также определили методы, чтобы проверить индексацию сайта онлайн.
Самый простой способ
Зайдите в любой поисковик и укажите один из запросов:
- site:[URL сайта] — увидите все проиндексированные страницы сайта;
- cache:[адрес нужной страницы] — узнаете, когда страницу в последний раз сканировали роботы;
- site:[адрес нужной страницы] — поймёте, индексировала ли поисковая система эту страницу.
Важно: сравнивайте число проиндексированных страниц с количеством реальных страниц на сайте. Если у вас 200 страниц, а проверка индексации сайта показала только 150, значит, поисковик не знает о существовании ещё 50 страниц.
Индексация сайта в Google
Google сразу сканирует весь сайт, обрабатывая и полезные страницы, и те, где есть ошибки или нарушения. Но в поисковую выдачу попадают только качественные сайты. Из-за этого сайт может быть проиндексирован Google, но не получить места в выдаче.
Для проверки индексации нужно открыть сервис Google Search Console. В разделе «Индекс Google» найти блок «Статус индексирования» и посмотреть информацию об индексации.
Индексация сайта в Яндексе
Яндекс регулярно сканирует страницы и добавляет новые 3-4 раза в месяц. Для надёжных сайтов с отличной репутацией действуют исключение. Роботы Яндекса доверяют таким сайтам, их страницы индексируются ежедневно.
Чтобы проверить индексацию, нужно открыть Вебмастер и перейти в раздел «Индексирование сайта». Нажмите на «Страницы в поиске» и посмотрите, какие страницы проиндексированы Яндексом.
Что сканируют поисковики и сколько времени уходит на индексацию
Поисковые роботы анализируют множество параметров, но основных всего три:
- наличие работоспособных внешних ссылок;
- объём трафика;
- вовлеченность пользователей на сайте.
Если роботы не находят ошибок и нарушений, индексация проходит быстро — через 24 часа или несколько дней сайт появляется в поисковой выдаче.
Как закрыть сайт от индексации и зачем это делать
Поисковые роботы не будут индексировать страницы, которые вы закрыли для доступа. Эти страницы не попадут в поисковую выдачу, о них не узнают поисковики.
Например, сайт скрывают от поисковиков, когда страницы сайта полностью или почти полностью меняются. Сайт не будет виден, пока не будет полностью готов.
Чаще закрывают отдельные страницы — например, страницы с технической информацией, служебные страницы, конфиденциальные данные, дубли, страницы, над которыми ведётся работа. Если проиндексировать такие страницы, можно не попасть в поисковую выдачу.
Запретить сканирование можно двумя способами:
1. Через файл robots.txt. Закрыть сайт или несколько страниц от индексации проще всего в специальном файле — robots.txt. Там прописывают правила для поисковых роботов — то есть указывают поисковикам, как должна проходить индексация сайта. Для запрета индексации страницы, файла или целой папки достаточно прописать рядом с путём директиву Disallow. И не забудьте прописать директиву User-agent в начале правила. С помощью неё поисковый робот будет понимать к какому именно поисковому роботу относятся правила. Ниже приведен пример, в котором для всех поисковых роботов — знак звёздочки (*) в директиве User-agent означает «все» — запрещена индексация всего сайта:
User-agent: *
Disallow: /
2. Через метатег robots на странице. Подходит, когда нужно скрыть одну страницу. На выбранной странице в метатеге robots необходимо добавить в атрибут content значения noindex и nofollow. Noindex — закрывается страницу от индексации, nofollow — запрещает роботу переходить по ссылкам на странице:
<meta name="robots" content="index,follow">
Как ускорить индексацию сайта
Чем быстрее поисковые роботы сканируют новые страницы, тем быстрее контент сайта появляется в поисковой выдаче и начинает привлекать трафик. На скорость индексации можно повлиять, если следовать этим правилам.
- Зарегистрировать сайт на быстром хостинге.
- Самостоятельно отправить сайт на индексацию в Яндекс и Google — это можно сделать в Вебмастере и Google Search Console соответственно.
- Корректно сформировать файл robots.txt — запретите индексацию технических и служебных страниц.
- Создать файл sitemap.xml — это карта сайта, которая помогает роботам быстрее проверить структуру сайта и проиндексировать новые страницы. Sitemap должен находиться в корневой папке сайта.
- Проверить страницы на наличие дублей.
- Проверить контент на количество ключевых слов — если их недостаточно или слишком много, сайт будут дольше проверять.
- Регулярно публиковать новый контент на сайте, который заинтересует пользователей. Настройте перелинковку — свяжите ссылками страницы внутри одного сайта.
- Сократить вес изображений и видео — тяжёлая графика снижает скорость загрузки сайта и плохо сказывается на индексировании.
- Улучшить юзабилити сайта — сделайте удобную навигацию, простой дизайн, расставьте нужные кнопки и формы, которые упростят процесс покупки, добавьте оплату в один клик, раздел с информацией о компании и доставке. Всё это — поведенческие факторы. Они виляют на позицию сайта в поисковой выдаче.
Как юзабилити влияет на бизнес-показатели и что нужно для проверки сайта — объяснили в блоге Roistat.
Почему индексация страниц сайта так важна
Когда сайт попадает в базу Яндекса и Google, их видят и обычные пользователи, которые вводят запросы в поисковиках. Без трафика сайт или лендинг не имеет ценность. Если на сайт не заходят пользователи, компания ничего не зарабатывает. Итог — нулевая посещаемость, нулевая прибыль.
Чем выше сайт в выдаче, тем больше посетителей и покупателей. Индексация — первый шаг на пути к привлечению органического трафика.
Подписывайтесь на каналы Roistat в Telegram. Делимся статьями из блога и полезными видео, рассказываем о последних обновлениях продукта Roistat.