;
beginBody(); ?>

SEO

Краткий обзор Netpeak Checker 3.0: парсинг выдачи поисковых систем

65
2

Друзья, команда Netpeak Software рада поделиться с вами новостью о долгожданном обновлении Netpeak Checker, которое мы готовили больше года. В этом посте мы расскажем о том, что ждёт вас в новом Netpeak Checker 3.0, а также как изменялся функционал программы за последний год. Спойлер: теперь с его помощью вы сможете выполнять ещё больше задач ;)

1. Парсер ПС (поисковых систем)

Благодаря новому инструменту, который мы прозвали «Парсер ПС», и без того внушительный функционал Netpeak Checker стал ещё шире. Парсер позволяет получить развёрнутые данные из выдачи поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.

1.2. Какие данные можно получить:

  • URL → конечный адрес результата;
  • Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС.
  • Тип сниппета → обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
  • Заголовок → название страницы в сниппете поисковой выдачи, может быть запросозависимым.
  • Описание → описание страницы под заголовком в сниппете поисковой выдачи. Аналогично, является запросозависимым параметром.
  • Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы выделяют точное совпадение запроса или похожие термины (синонимы).
  • Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата.
  • Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи.
  • Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
  • Хост → например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
  • Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.

2. Настройки «Поисковые системы»

Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого local SEO) и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».

Netpeak Checker 3.0: вкладка с настройками поисковых систем

Итак, вот какие настройки были реализованы:

  • Google:
    • геолокация (город / регион),
    • страна,
    • язык,
    • дата и время (результаты за час, за 24 часа, за неделю, за месяц или за год).
  • Bing:
    • параметр «Страна» либо «Страна / Язык»,
    • дата и время (результаты за 24 часа, за неделю или за месяц).
  • Yahoo:
    • дата и время аналогично Bing.
  • Яндекс:
    • геолокация,
    • язык,
    • дата и время (за 24 часа, за неделю, за месяц или за год).

3. Новый алгоритм «Антибан Прокси»

Эта фишка Netpeak Checker 3.0 тоже призвана помочь эффективнее работать с поисковыми системами. Прокси позволяют быстрее получать данные от Alexa, Google SERP, Bing SERP, Yahoo SERP, Яндекс SERP, Wayback Machine, Facebook, Pinterest и On-Page параметры, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов.

Мы придумали, как свести к минимуму вероятность попадания прокси в бан:

  • Определили временные задержки и количество прокси, которые могут одновременно использоваться для каждого сервиса;
  • Улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки;
  • Если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.

4. Кастомные шаблоны

Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.

Netpeak Checker 3.0: Шаблоны параметров, фильтров, сохранение шаблона

4.1. Шаблоны параметров

Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:

  • Все бесплатные → подключение платных сервисов не потребуется;
  • Линкбилдинг → для оценки ссылочных доноров мы учли базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape (можно заменить на платный сервис по желанию);
  • Дропы: упрощённый → самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов;
  • Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу;
  • Поиск контактов → код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей, все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).

4.2. Шаблоны фильтров

Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».

5. Фильтрация и поиск

5.1. Обновлённые «Отфильтрованные результаты»

Теперь на вкладке «Отфильтрованные результаты» показывается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).

Netpeak Checker 3.0: вкладка с применённым фильтром

Вызвать окно с настройками фильтра можно тремя способами:

  • нажав кнопку «Фильтр» на панели управления;
  • через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
  • с помощью комбинации клавиш Ctrl+F.

5.2. Функция «Фильтровать по значению»

Новая функция позволит вам быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:

Netpeak Checker 3.0: фильтровать по значению

5.3. Быстрый поиск по таблице

Во всех таблицах программы (влючая инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:

Netpeak Checker 3.0: быстрый поиск по таблице

6. Оптимизация потребления оперативной памяти (×2)

В новой версии Netpeak Checker мы применили все свои последние наработки по оптимизации потребления оперативной памяти, в результате чего удалось уменьшить его более чем в 2 раза.

7. Изменения в интерфейсе и юзабилити

7.1. Параметры:

  • Вкладка со всеми параметрами переехала в боковую панель справа;
  • Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
  • Клик по параметру позволит промотать текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица промотается до первого параметра этого сервиса.

7.2. Добавление списка URL для анализа:

  • Вручную,
  • Из файла (это могут быть файлы с расширениями .txt, .xlsx, .csv, .xml, .nspj и .ncpj),
  • Из XML Sitemap (XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы),
  • Из буфера обмена,
  • Drag and Drop.

7.3. Сохранение текущего списка URL в TXT-файл.

7.4. Перепроверка данных в таблицах «Все результаты» и «Отфильтрованные результаты»:

  • перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
  • перепроверить строки → повторно анализирует все параметры только у выбранных URL;
  • перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.

Netpeak Checker 3.0: контекстное меню

7.5. Улучшенная генерация отчётов

  • В экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
  • Отныне если при экспорте результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобъёт массив данных на несколько файлов и пронумерует их.

8. Проверка работоспособности прокси

Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к сети Интернет, Google, Bing, Yahoo, Яндекс.

Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.

Netpeak Checker 3.0: настройки списка прокси

9. Отображение лимитов и баланса

В настройках программы на сооветствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам Serpstat, Ahrefs, Majestic, SEMrush, anti-captcha.com. Теперь вам будет ещё удобнее следить за балансом, чтобы вовремя его пополнять.

10. Изменения в параметрах для анализа

Были реализованы новые параметры:

  • Новый показатель от Яндекс «ИКС» → индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса.
  • On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1.
  • Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).

Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.

Также были полностью удалены параметры следующих сервисов:

  • LinkedIn → API для получения данных по запросу было закрыто;
  • Twitter → аналогичная ситуация;
  • StumbleUpon → сервис переехал на Mix.com (мы с командой пока что думаем о необходимости интеграции с этим сервисом).

11. Специальные статус-коды

Мы реализовали новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:

  • Disallowed → данный URL заблокирован в файле robots.txt;
  • Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL;
  • Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке), указывающий на другой URL;
  • Noindex / Nofollow → данный URL содержит инструкции (в HTTP-заголовках ответа сервера или в блоке), запрещающие индексацию и/или переход по ссылкам соответственно.

Иными словами, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:

Netpeak Checker 3.0: статус-коды

12. Остальные изменения этого релиза

  • Добавлена функция «Рестарт» (клавиша F6) — при нажатии будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
  • При сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S).
  • Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
  • Мониторинг лимита оперативной памяти → реализована проверка объёма свободной оперативной памяти: для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
  • Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
  • В контекстном меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу.
  • Также в контекстном меню появился пункт «Открыть robots.txt», который открывает файл robots.txt в корневой папке выбранного хоста.
  • Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
  • При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
  • Полностью ликвидирована отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
  • Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
  • Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».
  • По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
  • Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
  • Существенно улучшен алгоритм добавления списка URL вручную. Теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]); также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол). Помимо этого, реализована поддержка экранирования #! для Ajax.
  • Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.

Коротко о главном

Netpeak Checker в версии 3.0 обзавёлся мощным встроенным инструментом для парсинга выдачи поисковых систем, а также стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач линкбилдеров, SEO и PPC-специалистов, вебмастеров, маркетинг и контент-команд, блогеров и sales-менеджеров.

Более детальную информацию о конкретных задачах, а также всех внедрённых изменениях читайте на блоге Netpeak Software.

Обнаружили ошибку? Выделите ее и нажмите Ctrl + Enter.

Комментарии (0 )

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое

Этот сайт использует куки-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.