Что такое индексация сайта в Google?

Вы задумывались, как быстро появляются результаты в Google после ввода поискового запроса? Сколько времени уходит у поисковика на отображение списка ссылок? Стоит только нажать Enter и моментально собираются миллионы релевантных результатов. 

поиск в интернете на macbook

На самом деле, Google не ищет результаты по всем сайтам в Интернете. Он ищет их в своем индексе. Если владелец сайта не добавил страницы в индекс поисковой системы, пользователи не смогут их найти.

Индекс Google. Что это?

Индекс проще сравнить с огромной библиотекой. В ее каталоге содержатся миллиарды страниц. Когда пользователи хотят что-то найти, Google из своей библиотеки выбирает наиболее подходящие ссылки и формирует из них выдачу.

«Проиндексированная» веб-страница потенциально может появиться в результатах поиска. Без индексации в Google никто не сможет найти страницу, даже если она на 100% подходит под запрос пользователя.

Как Google индексирует страницы?

Процесс индексирования Google сложен. В нем много влияющих друг на друга этапов, но можно выделить три основных:

  1. Обнаружение — владелец сайта отправляет поисковому роботу файл XML sitemaps. В нем записаны все адреса страниц, размещенных на вашем сайте. Если Google видит новые адреса, он ставит их в очередь на сканирование.
  2. Сканирование — поисковик просматривает каждую обнаруженную страницу. Проводится сканирование контента для определения, на какие релевантные запросы он отвечает. Найденная информация передается в каталог индексации.
  3. Индексация — выполняется анализ содержимого и визуализация страницы. Google определяет, на какую позицию в рейтинге поместить вас. Далее страница отправляется в соответствующий каталог или индекс.

как индексируются страницы в гугл

Цель поисковой системы Google — найти наилучшие ответы на запросы пользователей. 

Как проверить, проиндексирована ли страница в Google?

Самый простой способ — ввести в поисковую строку Google URL-адрес страницы, которую нужно проверить. Если страница проиндексирована, она появится на первой позиции. Второй способ  —  использовать команду «site:» перед ссылкой (это узкий поиск только по вашему сайту).

как использовать site в гугл

Если страница не появилась, значит еще находится в «очереди на сканирование».

Страница не прошла индексацию

Полный список непроиндексированных страниц можно найти в Google Search Console.

Как ускорить индексацию?

Если на сайте часто публикуется контент, поисковик сам периодически сканирует его страницы. Это хорошо видно по новостным ресурсам. Изменения в поисковой выдаче появляются в первые несколько часов после публикации.

Скорее всего, на вашем сайте нет такого объема контента. Поэтому Google уделяет сайту меньше внимания, а автоматическая индексация занимает 1-2 недели. Хотите быстрее? Есть несколько способов.

Google Search Console

Если нужно проиндексировать одну страницу, введите ее URL в верхней строке Search Console. Система выполнит поиск адреса в своей базе. Если он новый, вы увидите сообщение «URL нет в Google».

как добавить страницу сайта в индексацию гугла

Нажмите кнопку «Запросить индексирование» и если робот не найдет ошибок, запустится процесс индексации. Это займет от суток до нескольких недель. Конкретнее сказать сложно. Зависит от репутации сайта и плановой работы, которую предстоит выполнить Google.

Если обнаружится, что URL является неиндексируемым, запросить индексирование будет невозможно. В таком случае используйте файл Sitemap.xml.

Файл Sitemap.xml

Чтобы ускорить индексацию большого количества нового контента или новых страниц сайта, добавьте их в файл Sitemap.xml. Готовый файл также нужно отправить в Google из Search Console на индексацию. 

Для этого необходимо набрать в браузере: 

https://www.google.com/ping? sitemap = https://www.ваш сайт.xxx/sitemap_index.xml 

(Вместо sitemap_index.xml может быть sitemap.xml. Это зависит от вашего SEO-специалиста или веб-мастера. Просто нужен путь к вашему файлу Sitemap)

как проиндексировать сайтмап в гугл

Search Console показывает общее количество URL-адресов, включенных в Sitemap, и дату их последнего сканирования. 

Перелинковка (внутренние ссылки)

Индексация контента пройдет быстрее, если создать на него ссылки с других страниц. Важно! Они должны быть уже проиндексированными и регулярно приводить органический трафик.

Как это правильно сделать? Найдите в Google Analytics страницы с регулярным органическим трафиком. Откройте нужную в админке и добавьте в текст ссылку на новую страницу.

Google Adwords

Еще один вариант, с помощью которого вы можете попытаться «обнаружить» URL-адрес в Google, это использовать инструмент Google Adwords.

В планировщике ключевых слов сделайте подборку ключей через вкладку «Указать сайт». Рекламный кабинет тесно связан с поисковым роботом, поэтому добавление в него новой ссылки поможет обратить на себя внимание Google.

как найти ключевые запросы по ссылке на сайт

Сайты статистики и пинга

В Интернете существует множество статистических служб. Они занимаются сканированием сайтов, чтобы собирать данные типа регистратора домена, хостинг и т.д. Эти службы можно использовать, чтобы распространять ваш URL-адрес и получать временные бэклинки:

  1. Indexkings.com.
  2. Linkcentaur.com (нужно создать учетную запись).
  3. Pingfarm.com.
  4. Bulklink.org.

Еще попробуйте расширение для браузера Chrome: Mass Fast Pinger.

Социальные сети

Переходы пользователей по новой ссылке помогут обратить внимание поискового робота. Для этого отлично подойдут социальные сети с платным и бесплатным трафиком. Можно размещать URL в собственных аккаунтах и в чужих блогах, но тут стоит осторожничать. Можно попасть под бан модераторов.

популярные социальные сети

Для корпоративных сайтов хорошо подойдут:

  1. Facebook.
  2. Linkedin.
  3. Twitter.

Для творчества и увлечений:

  1. Pinterest.
  2. Instagram (ссылка в шапке профиля).
  3. Behance.

Если есть собственный SMM-щик, а контент гибкий, никто не мешает комбинировать оба списка. Главное — живые переходы. 

YouTube

Опубликуйте видео на YouTube со ссылкой на страницу, которую Google нужно проиндексировать. Лучше всего это работает в популярных каналах с регулярной публикацией новых роликов.

Продвижение ссылок на сайт через ютуб

Если ваш аккаунт не популярен, можно пойти через сторонние каналы. Есть друзья-блогеры? Отлично, возможно они бесплатно добавят ссылку. Нет друзей-блогеров? Можно поискать тематические каналы договориться о платном размещении. Правда это уже из области рекламы 😉

5 ошибок, которые мешают индексации страниц

Google открыто говорит — даже если поисковая система найдет и полностью просканирует URL-адрес, это не гарантия включения страницы в «каталог». Вот несколько причин, почему страницы не попадают в индекс:

  1. Качество — отсутствие уникального, ценного контента, который Google хочет показать пользователям.
  2. Дублированные страницы — если на сайте есть дубли, используйте атрибут canonical или 301 редирект. Атрибут canonical указывает, какие страницы являются основными, каноничными. Он сделает так, что поисковик не будет ругаться на повторы и выдаст пользователю страницу только с каноничным тегом.
  3. Краулинговый бюджет (Crawl Budget) — Googlebot, сканирует только определенное (неизвестное) количество URL-адресов на каждом сайте. Потратив «бюджет» на ненужные страницы, бот может уйти, так и не посетив страницы с важным контентом. Этот параметр стоит учитывать, если нужно проиндексировать сразу много страниц.
  4. Страницы с ответом сервера 404 — ошибка 404 означает, что на индексацию отправлена удаленная или несуществующая страница. 
  5. Проблемы индексации — часто с самим сайтом есть технические проблемы, которые не позволяют провести сканирование. Одной из важных является проблема с robots.txt. Если Googlebot находит robots.txt, но не может получить к нему доступ, он игнорирует сайт вообще.

Какие страницы необходимо исключать из индекса?

В ваших интересах исключить некоторые страницы из индексации. К ним относятся: старые URL-адреса, неактуальные статьи, страницы с личными данными пользователей, все возможные дубли и т.д. Попадание таких страниц в список индексации ухудшит ее качество.

зачем убирать дубли страниц

Закрыть страницы от индекса можно двумя способами:

  1. Файл robots.txt. — он расположен в корневом каталоге сайта. Через директивы «Allow» и «Disallow» он разрешает или запрещает поисковым системам индексировать страницы сайта.
  2. Тег «NoIndex» — это строка кода, которая добавляется в HTML-код страницы сайта. Например: <meta name=»robots» content=»noindex,follow» />. Для правильной работы он должен размещаться в разделе head.

 

Выводы

Индексация поисковым роботом — необходимое условие для получения органического трафика от Google. Нехитрыми манипуляциями этот процесс можно ускорить.

Хоть мы все представляем Google как поискового монополиста, он постоянно конкурирует с менее развитыми поисковиками. Ему нужен полезный контент, чтобы показать его пользователям. Если вы его сделаете и будете следовать вышеописанным инструкциям, органический трафик придет на страницы очень быстро.