Индексация сайта

Что такое индексация страниц сайта и что о ней стоит знать маркетологу Индексация сайта — это добавление информации о сайте или его страницах в базы данных поисковых систем. Процесс можно сравнить с внесением информации в библиотечный каталог. За индексацию отвечают поисковые роботы — специальные алгоритмы, которые автоматически проверяют сайт и обрабатывают информацию. Хотите освоить сквозную аналитику? Посетите регулярный мастер-класс по аналитике от Roistat. […]

Что такое индексация страниц сайта и что о ней стоит знать маркетологу

Индексация сайта — это добавление информации о сайте или его страницах в базы данных поисковых систем. Процесс можно сравнить с внесением информации в библиотечный каталог.

За индексацию отвечают поисковые роботы — специальные алгоритмы, которые автоматически проверяют сайт и обрабатывают информацию.

Поисковые роботы проверяют всё: тексты, картинки, видео, ссылки, аудио и многое другое. Если проверка пройдена успешно, сайт становится проиндексированным и добавляется в базу поисковой системы. Теперь пользователи могут найти сайт в поисковиках, если контент на проиндексированном сайте релевантен запросу.

Если роботы обнаружили проблему — например, у контента страницы низкая уникальность — на сайт накладываются санкции. Он может попасть в базу, но не будет отображаться в поисковой выдаче или получать органический трафик.

Что такое органический трафик и как использовать в маркетинге — рассказали в нашем блоге.

Индексация сайта в поисковых системах влияет на качество и количество трафика. Без неё невозможно попасть в поисковую выдачу. Сайт может быть красивым и удобным, но если не пройти индексацию, об этом не узнают пользователи.

Специалистам необходимо проверять, индексируется ли сайт и его страницы. Все ли страницы отображаются в выдаче? Нет ли дублей? Не закрыты ли целевые страницы, из-за чего компания теряет трафик и прибыль?

Как проверить индексацию сайта в поисковых системах

У каждой поисковой системы — свои алгоритмы для сбора данных о сайте. Методами индексации они не делятся. Однако SEO-специалисты знают основные параметры, на которые смотрят роботы, а также определили методы, чтобы проверить индексацию сайта онлайн.

Самый простой способ

Зайдите в любой поисковик и укажите один из запросов:

• site:[URL сайта] — увидите все проиндексированные страницы сайта;
• cache:[адрес нужной страницы] — узнаете, когда страницу в последний раз сканировали роботы;
• site:[адрес нужной страницы] — поймёте, индексировала ли поисковая система эту страницу.

Важно: сравнивайте число проиндексированных страниц с количеством реальных страниц на сайте. Если у вас 200 страниц, а проверка индексации сайта показала только 150, значит, поисковик не знает о существовании ещё 50 страниц.

Индексация сайта в Google

Google сразу сканирует весь сайт, обрабатывая и полезные страницы, и те, где есть ошибки или нарушения. Но в поисковую выдачу попадают только качественные сайты. Из-за этого сайт может быть проиндексирован Google, но не получить места в выдаче.

Для проверки индексации нужно открыть сервис Google Search Console. В разделе «Индекс Google» найти блок «Статус индексирования» и посмотреть информацию об индексации.

Индексация сайта в Яндексе

Яндекс регулярно сканирует страницы и добавляет новые 3-4 раза в месяц. Для надёжных сайтов с отличной репутацией действуют исключение. Роботы Яндекса доверяют таким сайтам, их страницы индексируются ежедневно.

Чтобы проверить индексацию, нужно открыть Вебмастер и перейти в раздел «Индексирование сайта». Нажмите на «Страницы в поиске» и посмотрите, какие страницы проиндексированы Яндексом.

Что сканируют поисковики и сколько времени уходит на индексацию

Поисковые роботы анализируют множество параметров, но основных всего три:

• наличие работоспособных внешних ссылок;
• объём трафика;
• вовлеченность пользователей на сайте.

Если роботы не находят ошибок и нарушений, индексация проходит быстро — через 24 часа или несколько дней сайт появляется в поисковой выдаче.

12 отчётов для маркетолога

Скачайте и повысьте эффективность маркетинга

Убедитесь, что вы ввели верный e-mail. Мы направим материал на указанный электронный адрес.

Отправить

Отправляя сведения через электронную форму, вы даете согласие на обработку персональных данных, в том числе сбор, хранение и передачу третьим лицам представленной вами информации на условиях Политики обработки персональных данных.

Спасибо!

В скором времени вам на почту придет письмо со ссылкой на скачивание руководства.

А пока можете почитать новости, кейсы клиентов Roistat и советы по оптимизации рекламы на нашем телеграм‑канале.

Как закрыть сайт от индексации и зачем это делать

Поисковые роботы не будут индексировать страницы, которые вы закрыли для доступа. Эти страницы не попадут в поисковую выдачу, о них не узнают поисковики.

Например, сайт скрывают от поисковиков, когда страницы сайта полностью или почти полностью меняются. Сайт не будет виден, пока не будет полностью готов.

Чаще закрывают отдельные страницы — например, страницы с технической информацией, служебные страницы, конфиденциальные данные, дубли, страницы, над которыми ведётся работа. Если проиндексировать такие страницы, можно не попасть в поисковую выдачу.

Запретить сканирование можно двумя способами:

1. Через файл robots.txt. Закрыть сайт или несколько страниц от индексации проще всего в специальном файле — robots.txt. Там прописывают правила для поисковых роботов — то есть указывают поисковикам, как должна проходить индексация сайта. Для запрета индексации страницы, файла или целой папки достаточно прописать рядом с путём директиву Disallow. И не забудьте прописать директиву User-agent в начале правила. С помощью неё поисковый робот будет понимать к какому именно поисковому роботу относятся правила. Ниже приведен пример, в котором для всех поисковых роботов — знак звёздочки (*) в директиве User-agent означает «все» — запрещена индексация всего сайта:

User-agent: *
Disallow: /

2. Через метатег robots на странице. Подходит, когда нужно скрыть одну страницу. На выбранной странице в метатеге  robots необходимо добавить в атрибут content значения noindex и nofollow. Noindex — закрывается страницу от индексации, nofollow — запрещает роботу переходить по ссылкам на странице:

<meta name="robots" content="index,follow">

Как ускорить индексацию сайта

Чем быстрее поисковые роботы сканируют новые страницы, тем быстрее контент сайта появляется в поисковой выдаче и начинает привлекать трафик. На скорость индексации можно повлиять, если следовать этим правилам.

1. Зарегистрировать сайт на быстром хостинге.
2. Самостоятельно отправить сайт на индексацию в Яндекс и Google — это можно сделать в Вебмастере и Google Search Console соответственно.
3. Корректно сформировать файл robots.txt — запретите индексацию технических и служебных страниц.
4. Создать файл sitemap.xml — это карта сайта, которая помогает роботам быстрее проверить структуру сайта и проиндексировать новые страницы. Sitemap должен находиться в корневой папке сайта.
5. Проверить страницы на наличие дублей.
6. Проверить контент на количество ключевых слов — если их недостаточно или слишком много, сайт будут дольше проверять.
7. Регулярно публиковать новый контент на сайте, который заинтересует пользователей. Настройте перелинковку — свяжите ссылками страницы внутри одного сайта.
8. Сократить вес изображений и видео — тяжёлая графика снижает скорость загрузки сайта и плохо сказывается на индексировании.
9. Улучшить юзабилити сайта — сделайте удобную навигацию, простой дизайн, расставьте нужные кнопки и формы, которые упростят процесс покупки, добавьте оплату в один клик, раздел с информацией о компании и доставке. Всё это — поведенческие факторы. Они виляют на позицию сайта в поисковой выдаче.

Как юзабилити влияет на бизнес-показатели и что нужно для проверки сайта — объяснили в блоге Roistat.

Почему индексация страниц сайта так важна

Когда сайт попадает в базу Яндекса и Google, их видят и обычные пользователи, которые вводят запросы в поисковиках. Без трафика сайт или лендинг не имеет ценность. Если на сайт не заходят пользователи, компания ничего не зарабатывает. Итог — нулевая посещаемость, нулевая прибыль.

Чем выше сайт в выдаче, тем больше посетителей и покупателей. Индексация — первый шаг на пути к привлечению органического трафика.

Подписывайтесь на каналы Roistat в Telegram. Делимся статьями из блога и полезными видео, рассказываем о последних обновлениях продукта Roistat.