Блог Netpeak Software

Краткий обзор Netpeak Spider 3.2: рендеринг JavaScript и экспресс-аудит в PDF

72
0
0

Друзья, команда Netpeak Software рада представить вам новую версию продукта Netpeak Spider 3.2, в которой стало ещё больше крутых возможностей для работы SEO-специалистов!

О новом функционале программы и других изменениях мы расскажем в этом посте.

1. Обработка JavaScript

Мы рады объявить, что реализовали одну из самых долгожданных фич в Netpeak Spider — обработку (рендеринг) JavaScript.

Сейчас всё больше сайтов используют JS-фреймворки для добавления контента на страницы. Без выполнения JS-скриптов невозможно просканировать контент, который они выводят. Потому в версии Netpeak Spider 3.2 появилась функция выполнения JavaScript, и теперь вы сможете пробивать в нашем краулере и CSR- (client-side rendering), и SSR-сайты (server-side rendering).

1.1. Рендеринг JavaScript в Netpeak Spider

Чтобы внедрить обработку JS в инструменте, мы использовали одну из последних версий браузера Chromium, на котором основан всем известный Google Chrome. Googlebot, в свою очередь, использует более старую версию Chrome 41, которая не поддерживает некоторые современные функции JavaScript. А потому выполнение JavaScript в Netpeak Spider максимально походит на поведение поискового робота, но не абсолютно идентично ему.

Итак, чтобы начать сканировать страницы с обработкой JavaScript:

  1. В настройках программы перейдите во вкладку «Основные».
  2. Отметьте чекбокс «Включить рендеринг JavaScript и установить AJAX timeout, c».

Netpeak Spider 3.2: включение рендеринга JavaScript в настройках

Параметр «AJAX timeout» определяет количество времени, отведённое на выполнение скриптов после загрузки страницы. По умолчанию данное значение составляет две секунды, которых в большинстве случаев хватает для полного выполнения JS. Однако могут возникать ситуации, когда двух секунд недостаточно, и поэтому вы можете задать иное значение самостоятельно.

Давайте рассмотрим основные особенности рендеринга JavaScript в Netpeak Spider:

  • Выполнение JS-скриптов будет происходить только на HTML-страницах, возвращающих код ответа 200 ОК.
  • Используется ограничение в 25 потоков. Вы всё ещё можете использовать до 100 потоков для сканирования документов, но рендеринг будет производиться лишь на 25 HTML-страницах одновременно.
  • Используется тот User Agent, который вы изначально выбрали в настройках программы.
  • Блокируются все запросы к сервисам аналитики (Google Analytics, Яндекс.Метрика и т.д.), чтобы предотвратить искажение данных.
  • Поддерживается базовая аутентификация.
  • Не загружаются iframe и изображения.
  • Поддерживается список прокси.
  • Учитываются cookie-файлы.

Мы настоятельно рекомендуем сканировать сайты с включённой функцией рендеринга JavaScript только в случаях прямой необходимости. Помните, что данный процесс увеличивает длительность сканирования и затраты ресурсов вашего компьютера.

2. Экспресс-аудит качества оптимизации (PDF)

Мы поставили себе за цель добиться визуализации данных в нашем десктопном краулере на уровне самых продвинутых онлайн-инструментов. Так и появилась новая функция — экспорт PDF-отчёта с экспресс-аудитом качества оптимизации.

Сам отчёт является расширенной версией дашборда программы с детальной информацией для аудита сайта. Он содержит только те данные, которые программа нашла в ходе сканирования, поэтому вы не увидите пустые таблицы, если какие-то данные были не найдены. А также вместо бесконечного списка URL на несколько десятков страниц вы получите показательные примеры для анализа данных.

В первую очередь в отчёте собраны данные для работы SEO-команд. Однако он также поможет специалистам по продажам быстро оценить сильные и слабые стороны проекта. Отчёт можно дополнять собственными рекомендациями и отправлять клиентам и/или коллегам для внедрения изменений.

Сохранение отчёта происходит в два клика: необходимо открыть меню «Экспорт» и выбрать первый пункт.

Netpeak Spider 3.2: экспорт экспресс-аудита качества оптимизации

Структура экспресс-аудита основана на данных из таблицы «Все результаты». Файл с отчётом содержит следующие разделы:

  1. Заглавная страница. Здесь отображается скриншот контента начальной страницы и домен просканированного сайта.
  2. Сводка. Содержит основные данные аудита в цифрах, а также данные о типе контента внутренних и внешних URL и основных хостах.
  3. Структура URL. Тут отображаются главные хосты, сегменты, а также данные по документам, которые находятся в корне сайта.
  4. Коды ответа сервера. Здесь стоит обратить внимание на недоступные страницы, возвращающие код ответа 4xx и выше.
  5. Сканирование и индексация. Здесь приведены данные о настройках и инструкциях, которые влияют на сканирование и индексирование ресурса.
  6. Глубина и вложенность URL. Поможет обратить внимание на URL с глубиной и вложенностью более «4».
  7. Скорость загрузки. В этом отчёте представлены два важных показателя: время ответа сервера внутренних и внешних HTML.
  8. Протоколы HTTP/HTTPS. С помощью отчёта будет проще обнаружить ресурсы со смешанным содержимым.
  9. Оптимизация контента. Отображаются следующие данные:
    • уникальность, наличие и длина тега title, метатега description и заголовка H1;
    • количество символов на странице;
    • размер изображений.
  10. Ошибки. В этом разделе выводится количество страниц с ошибками разной критичности, топ самых губительных для продвижения ошибок и полный список найденных проблем на сайте с примерами.
  11. Термины в отчёте. Здесь вы увидите описание важных терминов, которыми мы оперируем в отчёте.
  12. Настройки. В последнем разделе перечислены настройки и параметры, которые были использованы при формировании отчёта.

Мы записали короткое видео, чтобы показать вам, как выглядит наш экспресс-аудит. Советуем развернуть его на весь экран, чтобы рассмотреть в деталях.

3. Детальное описание ошибок с возможностью экспорта

Для облегчения восприятия информации в Netpeak Spider ошибки поделены на группы исходя из их критичности, а также описан каждый параметр программы. В этом обновлении мы пошли ещё дальше и добавили детальное описание к каждой ошибке.

Кликнув на любую ошибку боковой панели программы, на панели «Информация» вы увидите следующую информацию:

  • чем грозит эта ошибка;
  • как её исправить;
  • подборка полезных ссылок на материалы, которые помогут глубже разобраться в проблеме.

Netpeak Spider 3.2: расширенное описание ошибок

Теперь новичкам будет ещё проще разобраться, как устранять SEO-ошибки на сайте. А чтобы это нововведение было полезно и опытным специалистам, мы внедрили возможность экспорта сводки по всем обнаруженным ошибкам, где также есть описание каждой из них.

Netpeak Spider 3.2: экспорт отчётов с раширенным описанием ошибок

Данный отчёт называется «Сводка по ошибкам + описания». Вы можете его найти в меню «Экспорт» → «Отчёты по ошибкам», а также в пакетных выгрузках:

  • «Набор основных отчётов»,
  • «Все ошибки»,
  • «Все доступные отчёты (основные + XL)».

Надеемся, он поможет вам быстрее и проще готовить план действий для клиентов и техническое задание для разработчиков.

4. Изменения в ошибках и параметрах

Мы изменили названия некоторых ошибок:

  • Canonical URL → Канонический URL;
  • Дубликаты Canonical URL → Одинаковые канонические URL;
  • Canonical, заблокированный в robots.txt → Канонический URL, заблокированный в robots.txt;
  • Цепочка Canonical → Цепочка канонических URL;
  • Битые ссылки → Битые страницы.

Также был изменён уровень критичности у следующих ошибок.

Высокая → низкая:

  • Неправильный формат тега Base;
  • Макс. длина URL.

Средняя → низкая:

  • Несколько заголовков H1.

Средняя → высокая:

  • 5xx ошибки: Server Error;
  • Цепочка канонических URL;
  • Дубликаты H1;
  • Неправильный формат AMP HTML.

Изменения коснулись также логики определения и сортировки ошибок:

  • Ошибка «Неправильный формат тега Base»: ранее, если данный тег содержал относительный URL, это считалось ошибкой. Сейчас ошибка выводится, если атрибут href содержит URL с неправильным форматом.
  • Параметр «Канонический URL»: по умолчанию теперь учитывается только абсолютный URL в инструкции canonical, как требует этого Google. Если указан относительный → в таблице будет указано значение (NULL). Однако на вкладке продвинутых настроек вы можете включить сканирование относительных канонических URL.
  • Мы изменили сортировку ошибок: самые важные и распространенные ошибки теперь занимают более видные места.

5. Другие изменения

  • Так как для разработки функции выполнения JavaScript мы воспользовались версией фреймворка .NET 4.5.2, новый Netpeak Spider работает только на ОС Windows не ниже версии 7 SP1 (более старые версии ОС не поддерживают этот фреймворк).
  • Изменён алгоритм определения внутренних адресов для списка URL → адреса с одинаковым доменом считаются внутренними. Если хотя бы один URL содержит другой домен — программа относит его к внешним. Раньше при сканировании списка страниц все ссылки считались внешними.
  • Улучшен шаблон параметров «По умолчанию».
  • Оптимизация работы с robots.txt → один запрос к файлу для каждого хоста при запуске сканирования. Ранее при установке множества потоков могло отправляться несколько запросов к одному robots.txt.
  • Добавлены настройки «Рендеринг JavaScript» и «Ajax Timeout» на дашборде.
  • Изменение сортировки результатов → теперь сортировка сохраняется только на момент сессии.
  • Новая логика наименования сохранённых проектов и отчётов → в названиях будет содержаться хост начального URL или первого адреса в таблице.
  • Дефолтная настройка «Разрешить cookies» → это позволит избежать проблем со сканированием сайта по причине неучёта cookies.
  • Улучшение уведомлений → теперь окно отображается в течение 60 секунд и не перебивает фокус с других программ.

Коротко о главном

Netpeak Spider в версии 3.2 пополнился новым функционалом, и теперь вы можете выполнять ещё больше задач с помощью нашего краулера. Теперь инструмент выполняет JavaScript, делает экспресс-аудит качества оптимизации в PDF, даёт детальное описание каждой ошибки и позволяет экспортировать их для постановки ТЗ.

Читайте все детали о 50 улучшениях последней версии Netpeak Spider в в посте о релизе на блоге Netpeak Software.

Обнаружили ошибку? Выделите ее и нажмите Ctrl + Enter.

Комментарии (0 )

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое

Этот сайт использует куки-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.