Полный технический аудит сайта с помощью программы Screaming Frog

Технический аудит сайта — это один из важнейших этапов в SEO продвижении сайта, который заключается в нахождении ошибок на ресурсе и их устранении.

Ведь все ошибки, которые допущены на этом сайте, негативно влияют на его индексацию и ранжирования в ТОПе. Незаменимым инструментом для помощи каждого вебмастера и seo-специалиста является программа Screaming Frog. Она не предназначена для больших сайтов и до 50 000 url является бесплатной.

Базовый функционал и интерфейс программы

Как и с любой другой программой, сначала ознакомимся с ее интерфейсом.

Для начала аудита вводим URL сайта в поле для адреса и кликаем по кнопке «Start». 

Если у вас небольшой сайт, то сканирование займет всего пару минут.

В итоге мы видим главное окно с разделенными областями на 4 части:

  • в окне №1 – табличка, со списком всех страниц сайта;
  • в окне №2 – количество страниц сайта и их соотношение в процентах;
  • в окне №3 – подробная информация о конкретной странице, выбранной в окне №1;
  • в окне №4 – структура сайта в виде диаграммы.

 

Давайте более детально ознакомимся с функционалом этой программы, и как она нам поможет анализировать наш сайт.

Вкладка Internal

Во вкладке Internal отображаются все внутренние страницы,  поэтому здесь можно посмотреть следующую информацию:

1. Индексирование страниц

В столбце Indexability можно увидеть какие у нас страницы доступны для индексации, а какие закрыты от поискового бота.

Очень важно, чтобы основные страницы услуг, каталога и товаров были доступны для индексации, а если нет, то обязательно нужно разобраться в причинах и устранить этот дефект.

2. Коды ответов страниц и их анализ

Все страницы сайта должны отдавать правильные коды ответа сервера: полезные страницы (такие, как категории товаров, товары, страницы услуг) должны отдавать ответ 200, несуществующие — отдавать 404 (посмотреть, чтобы они были исключены из перелинковки сайта), страницы, сменившие свой адрес навсегда — ответ 301, страницы, сменившие свой адрес временно (такие, как акции) — ответ 302.

Это все можно увидеть в столбце Status Code (где отображается информация о коде ответа сервера), и в соседнем столбе Status – расшифровка кода сервера (например, для кода 200 — статус ОК и т.д).

Идеальная ситуация, когда 100% страниц сайта возвращают код ответа сервера 200, но на практике этого добиться сложно. Также, это поможет увеличить скорость загрузки сайта.

Например, разберем страницу https://uaateam.agency/about-us. Как мы видим, у нее стоит статус кода 301, а значит, что она навсегда изменила свой адрес.

Нам необходимо узнать, куда она теперь перенаправляет пользователя, чтобы не оказалось, что она ссылается на несуществующую или неподходящую страницу. Для этого нажимаем на нужную нам строку, и в нижнем окне для нас отобразится более детальная информация.

Выбираем вкладку Outlinks, где находится информация на какие url ссылается эта страница, и видим, что она ведет на ту же страницу, только со слешом. 

Также, это можно сделать намного удобнее во вкладке Response Code, где отображается информация о кодах ответа для внутренних и внешних ссылок.

Выбрав фильтр, можно просматривать и анализировать отдельно страницы с 301-ответом, с 404-ответом и т.д. Такой вариант подойдет для очень больших сайтов, и если у вас очень много страниц с не 200-м ответом.

Внимание! Лучше избегать наличия излишних редиректов внутри сайта, так как это существенно замедляет скорость загрузки страниц и имеет негативное влияние на передачу веса по страницам. 

Происходит это потому, что при открытии конкретной страницы сначала тратится время на её загрузку, потом только осуществляется редирект на другую страницу, который занимает тоже некоторое время, а только потом загружается уже целевая страница, необходимая для пользователя.

Вкладка External

Здесь отображается список всех ресурсов, на которые ссылается анализируемый сайт.  Для детальной информации о том, с каких страниц и на какие сайты ссылается ваш сайт, выбираем вкладку Inlinks, которая находится внизу в 3-м окне. 

3. Проверка файла robots.txt

Если на сайте добавлен файл  robots.txt, то обязательно необходимо проверить, чтобы там случайно не оказались важные страницы, которые закрыты от индексации. 

В нашем случае закрыты в robots.txt нужные страницы от поискового бота (такие, как фильтры и группировка страниц в блоге).
Если вы найдете важные страницы здесь, необходимо будет скорректировать файл robots.txt, т.е открыть спрятанные страницы для поисковых роботов.

4. Теги Title и Description

Необходимо проверить, чтобы для всех страниц был сгенерирован уникальный Title и Description, и они содержали в себе ключевые слова, которые пользователь без проблем сможет найти и попасть на нужную страницу.

Общая информация по количеству Title (Page Title) и Description, сколько из них пустых на страницах (Missing) и сколько дублирующих (Duplicate), и в каком процентном соотношении — можно посмотреть в окне № 2.

Чтобы посмотреть подробнее на каких страницах пропущенные эти важные мета-теги, возвращаемся в первое окно.

На вкладке Page Titles (Description) можно посмотреть для каждой страницы сниппеты и, выбрав необходимый фильтр, (Missing и Duplicate) ознакомится со страницами, для которых необходимо будет добавить или переписать данные мета-теги.

SEO-специалисты занимаются оптимизацией Title и Description в рамках продвижения сайта.

5. Тег H1

По аналогии с мета-тегами Title и Description смотрим, чтобы на каждой странице присутствовал уникальный тег h1, который содержит наименование услуги, категории, товара. Это поможет пользователям лучше ориентироваться на сайте, а поисковым ботам лучше ранжировать ее.

Также необходимо проверить, чтобы этот тег был один на странице.

6. Оптимизация картинок

Images – это вкладка, которая содержит сведения о картинках.

Скорость загрузки сайта напрямую зависит от размера картинок. Поэтому большие по весу картинки, а именно свыше 100 кb, очень замедляют его. Поэтому рекомендуется не использовать данного рода изображения.

Также, необходимо проверить, чтобы у картинок услуг и товаров были заполнены Alt и Title. Это поможет лучше ранжироваться в поиске по картинкам.

7. Проверка атрибута rel=”canonical”

Для борьбы с дублирующимся контентом, необходимо для всех категорий товаров или услуг прописать атрибут rel=”canonical” между тегами <head></head>. Благодаря этому поисковые роботы начнут считать ее более приоритетной.

8. Анализ карты сайта Sitemap.xml

Если на сайте есть файл sitemap.xml, то рекомендуется проверить не включены ли ошибочно страницы с 301-редиректами, 404-ошибками и дублями в нем.
Как правило, карту сайта можно найти по адресу:

 [название сайта]/sitemap.xml.

Для анализа сайта программой Seo Frog необходимо изменить режим Mode — List.

И затем выбрать вариант загрузки:

Заключение

В этой статье мы рассмотрели основные моменты, которые необходимо проверять во время проведения аудита сайта с помощью Screaming Frog SEO Spider. 

Такие мини-аудиты также рекомендуется периодически осуществлять для оперативного выявления и исправления ошибок в работе сайта.

Если у вас возникают трудности или вопросы по поводу проведения технического аудита вашего сайта, то вы всегда можете обратиться к нашим профессиональным SEO-специалистам компании UAATeam, которые с радостью помогут вам.