SEO

Что такое граббер сайтов и как с ним работать

Граббер сайтов — программа, которая собирает контент с других ресурсов и переносит на собственный проект в автоматическом режиме. Грабберы позволяют сэкономить время при создании нового сайта, а также оптимизировать процесс обновления информации на существующем ресурсе. Для сайтов, содержащих сведения, которые быстро теряют актуальность, постоянное ручное редактирование данных слишком трудоемко и нецелесообразно.

Для чего нужны грабберы контента

Грабберы контента применяют следующим образом:

при создании интернет-магазина для автоматического переноса описаний товаров с сайтов-конкурентов;
для создания информационных сайтов, содержащих рецензии, обзоры, рецепты, рефераты и пр.;
при создании новостных порталов;
для создания сайтов-сателлитов, предназначенных для «серого» SEO-продвижения собственного проекта;
для получения определенного мультимедийного контента — фотографий, картинок и видео;
при сборе URL-адресов внешних ссылок на ресурсе;
для получения контента из RSS-ленты;
для автоматизированного сбора e-mail-адресов;
для получения адресов подключаемых JS и CSS-файлов;
для сбора постов в социальных сетях;
для автоматического обновления быстро изменяющейся информации на сайте: о прогнозе погоды, котировках валют и акций, пробках на дорогах и т.д.

Принцип работы грабберов

Создать граббер можно с помощью использования регулярных выражений — специальных кодов, в которых указан шаблон необходимых данных, например, e-mail-адреса, определенного текста, номера мобильного телефона и т.д. Регулярные выражения позволяют находить, менять и удалять заданные с помощью маски данные.Грабберы создают на C++, PHP, JavaScript, .Net, Java и других современных языках программирования.

Для получения контента с других сайтов, кроме грабберов, применяют парсеры. Часто эти понятия используют как синонимы. Однако в отличие от граббера, парсер только собирает необходимую информацию с других ресурсов, не публикуя ее на собственном проекте. Парсер также отличается от граббера более продвинутыми настройками фильтрации и синонимайзинга контента.

Преимущества грабберов

быстрый просмотр и анализ большого количества страниц указанного сайта;
разделение контента на нужные типы — картинки, видео, email, ссылки и т.д.;
сохранение полученных данных в базу данных либо автоматический постинг на свой сайт или в группу в соцсетях;
поиск информации определенного типа, например, цен на товары в интернет-магазине.

Недостатки грабберов

не все грабберы универсальны, некоторые разрабатываются под определенные проекты. В таком случае, если требуется сбор информации из различных источников, придется использовать несколько грабберов;
у грабберов достаточно сложные настройки, в которых тяжело разобраться неопытному пользователю;
в информации, скопированной с помощью граббера, текст часто бывает нечитабельным и содержит ошибки;
полученный текстовый контент — неуникальный. При его использовании на сайте без предварительного редактирования возможны санкции поисковых систем.

Какой граббер купить или скачать бесплатно

WPGrabber Plus — граббер постов для WordPress

WpGrabber Plus для проектов на WordPress — плагин, который позволяет получать контент с других ресурсов и автоматически добавлять на собственный сайт:

Функционал граббера:

автоматическое определение ссылок и заголовков в тексте;
сбор картинок в указанный каталог;
возможность изменения названий и размеров картинок;
сохранение и публикация записей в указанной рубрике в определенное время;
автоматический перевод контента с помощью подключения Яндекс-переводчика.

FDE Grabber — граббер картинок и новостей

FDE Grabber — это граббер для публикации новостей в различных CMS с минимальными требованиями к серверу хостинга:

Программа совместима с такими CMS:

DLE;
Joomla;
WordPress;
Drupal.

Функционал граббера:

сбор кратких и полных текстов новостей, сохранение картинок и автоматическая публикация статей с помощью планировщика заданий;
две системы настройки парсинга — с использованием регулярных выражений и простая;
автоматическая авторизация на сайте-источнике;
изменение размеров и кадрирование изображений, добавление водяных знаков на картинки;
автоматический синонимайзер на английском и русском языках;
добавление тегов для закрытия индексации ссылок на сторонние сайты;
переводчик, основанный на Яндекс API.

Пример работы граббера:

Стоимость программы:

Datacol — граббер email-адресов, интернет-магазинов, объявлений и новостей

Datacol — комплекс программ для сбора и публикации различных типов контента:

Программа совместима с такими CMS:

WordPress;
OpenCart;
WebAsyst;
DLE;
Joomla;
Virtuemart.

Функционал граббера:

сбор информации с различных онлайн-магазинов — Яндекс.Маркета, aliexpress, prom.ua, rozetka.ua и др.;
парсинг данных с порталов объявлений — OLX, Авито и пр.;
граббинг новостных и информационных статей с Википедии, Кинопоиска, блогов, форумов и т.п.;
копирование контента из постов в ВКонтакте, Instagram и Facebook;
граббер видео YouTube;
сбор баз данных e-mail-адресов и номеров телефонов;
автоматический перевод текста;
уникализация контента с помощью использования синонимайзера и прочие функции.

Стоимость программы:

Parsers — бесплатное расширение Chrome

Parsers — расширение для браузера Chrome, предназначенное для граббинга контента:

Данный парсер позволяет извлекать контент с различных типов сайтов за исключением социальных сетей. Полученная информация копируется в файл с выбранным расширением.

Функционал граббера:

анализ товаров и динамики цен на сайтах конкурентов;
сохранение каталогов с товарами, содержащими изображения и характеристики;
сбор новостей, включая заголовки и даты публикаций;
копирование информационного контента и отзывов;
сбор информации об интернет-пользователях: ФИО, адреса, e-mail, фотографии и пр.

WP Syndicate — бесплатный граббер для сайтов на WordPress

WP Syndicate — плагин для копирования информации с других сайтов и RSS-ленты для последующей публикации на своем проекте:

Программа совместима с версиями WordPress от 4.3 до 4.9.10.

Mybot Grabber — граббер ВК бесплатно

Программа Mybot Grabber предназначена для автоматического создания постов в группах ВКонтакте:

Граббер позволяет постить одно изображение и текст с ссылками. Публикация осуществляется практически в онлайн-режиме — с задержкой в две минуты. Возможно использование нескольких аккаунтов ВКонтакте одновременно.

Запомнить

Грабберы — программы, позволяющие автоматизировать процесс сбора и публикации контента.
С помощью грабберов, помимо парсинга контента, осуществляют перевод и уникализацию текстов.
Грабберы позволяют гибко настроить поиск информации по заданному шаблону, чтобы быстро обновлять данные на своем проекте, отображая актуальный прогноз погоды, курсы валют и котировки акций.
Грабберами пользуются для автоматического постинга в социальных сетях, сборах баз данных контактов интернет-пользователей, мониторинга цен конкурентов и прочего.