Как собрать семантическое ядро и расширить структуру сайта: пошаговое руководство

Я подготовил универсальное руководство, которое позволит правильно собрать и кластеризовать семантическое ядро, а также расширить структуру сайта с помощью дополнительных посадочных страниц.

1. Формируем черновую структуру сайта

Первым делом мы готовим черновую структуру сайта, которую в дальнейшем будем расширять на основании собранной семантики и анализа конкурентов.

Если сайт в разработке:

• просим описать в брифе особенности бизнеса;
• просим отправить выгрузку товаров в табличном формате (.xls или Google Таблицы).

После получения брифа и выгрузки товаров мы изучаем полученные данные и готовим черновую структуру сайта с учетом служебных страниц: «О нас», «Контакты», «Доставка и оплата», «Вопросы и ответы».

Если сайт готов:

• переносим текущую структуру сайта в рабочий документ (Google Таблицы);
• изучаем продукцию сайта, создаем дополнительные категории, подкатегории и фильтры на основе названий товаров.

Например, на одном из проектов в категории «Защита от бытовых вредителей» мы обнаружили разные типы товаров:

Поэтому для них создали дополнительные категории:

• cпирали от комаров:
• москитные сетки;
• липкие ленты;
• липкие листы;
• палочки от комаров;
• мухобойки;
• ловушки.

При работе со структурой существующего сайта мы выделяем новые категории зеленым цветом. Так лучше видны новые категории и масштабы расширения структуры.

При создании черновой структуры кроме категорий / подкатегорий мы также добавляем типы и значения фильтров. Хорошо проработанную черновую структуру легче и быстрее расширить, чем кластеризовать «сырые» данные.

1.1. Составляем список конкурентов

Если работаем с существующим сайтом, определяем его основных конкурентов с помощью сервиса Serpstat:

1.1.1. В строке поиска указываем сайт.

1.1.2. Выбираем поисковую систему и регион.

1.1.3. Переходим в раздел «SEO-анализ» — «Конкуренты».

1.1.4. Сортируем по количеству общих фраз.

В итоге получаем список основных конкурентов:

Если оптимизируем новый сайт или по сайту еще нет достаточного количества информации в Serpstat, переходим к анализу лидеров в отдельных категориях. Для этого вместо домена в Serpstat задаем поисковую фразу. Например, список конкурентов для категории «Удобрения»:

Эти данные пригодятся при работе с существующим сайтом, потому что мы будем знать лидеров в отдельных нишах.

Все полученные данные сохраняем для дальнейшей обработки. Для этого выгружаем данные через «Экспорт»:

После выгрузки конкурентов исключаем все информационные сайты и оставляем только коммерческие:

1.2. Анализируем структуру конкурентов

На этом этапе мы детально изучаем структуру конкурентов: их категории и фильтры. Если у них есть интересные элементы, добавляем в структуру для дальнейшего изучения.

Например, на сайте одного из конкурентов в категории «Инсектициды» были обнаружены фильтры:

• для защиты от;
• для защиты культуры.

Эти фильтры также добавили в черновую структуру:

2. Собираем семантическое ядро

На данном этапе мы собираем максимально большое количество поисковых запросов, распределяем их по категориям и при необходимости создаем дополнительные категории и фильтры.

Для каждой категории готовим базовые ключевые запросы на основании названий категорий, а также расширяем их с помощью синонимов. Для этого мы используем:

• Serpstat;
• Яндекс.Вордстат;
• Планировщик ключевых слов Google Рекламы;
• KeyCollector;
• Внутреннюю разработку Netpeak.

Для эффективной работы с большим объемом данных почти все операции по сбору семантического ядра выполняем в KeyCollector.

2.1. Настраиваем KeyCollector

Перед началом работы с KeyCollector:

• добавляем прокси (чем больше, тем лучше);
• добавляем аккаунты Яндекс.Директ;
• добавляем аккаунты Google Рекламы;
• подключаем сторонние API;
• указываем ключ для распознавания капчи;
• указываем нужный регион для Яндекс.Вордстат и Яндекс.Директ.

При этом лучше использовать платные персональные прокси, потому что при совместном использовании вероятность бана в сервисах очень большая.

Для удобства работы со сбором и кластеризацией семантического ядра в KeyCollector мы используем группы. Для каждой категории, подкатегории и значению фильтров создаем папку на основании черновой структуры:

2.2. Формируем базовые запросы

Для начала мы анализируем название категории и содержимое страницы — нам необходимо придумать несколько поисковых запросов, которые могут описать содержимое страницы. Например, ключевые фразы для категории «Средства защиты растений»:

• сзр;
• средства защиты растений.

Затем расширяем количество базовых фраз с помощью синонимов. Один из инструментов, которые мы используем — «Похожие фразы» в Serpstat:

С помощью инструмента можно найти еще несколько синонимов для каждого базового запроса.

Далее проводим анализ конкурентов: в строке поиска Serpstat указываем конкретные страницы конкурента (например, страницу категории «средства защиты растений»):

По каждому конкуренту мы получили список ключевых фраз, по которым он ранжируется в топ–100. Для получения большего количества данных мы анализируем несколько поисковых систем, а если в регионе нет хороших конкурентов — анализируем сайты в других регионах. Все полученные запросы переносим в KeyCollector.

Чтобы не переносить каждый раз фразы из Serpstat в KeyCollector, мы используем функцию сбора ключевых фраз по домену / URL прямо из Serpstat. Она позволяет указать сразу несколько URL и добавить все ключевые фразы в проект. А это экономия времени:

2.3. Используем дополнительные сервисы для поиска синонимов

Если у вас нет доступа к Serpstat, можно проанализировать правую колонку в Вордстат.

Кроме поиска синонимов в Serpstat, можно использовать планировщик ключевых слов в Google Рекламе.

2.3.1. Открываем инструмент «Планировщик ключевых слов».

2.3.2. Выбираем «Поиск новых ключевых слов по фразе, сайту или категории».

2.3.3. Указываем базовые запросы.

2.3.4. Указываем регион и язык.

2.3.5. Нажимаем «Получить варианты».

После этих манипуляций получаем список похожих ключевых слов:

2.4. Собираем расширения поисковых фраз из разных источников

Для этих целей мы используем инструменты Serpstat и Яндекс, Вордстат в KeyCollector, а также собираем подсказки в Google и Яндекс. Для сбора расширений поисковых фраз вышеуказанных инструментов вполне достаточно.

2.5. Формируем стоп-слова

Перед непосредственным сбором семантики составляем список стоп-слов. Использование стоп-слов очень важно: с их помощью мы отсекаем все мусорные фразы, а в будущем при обновлении семантического ядра нам не придется делать двойную работу.

Также список стоп-слов пригодится специалистам контекстно-медийной рекламы. В зависимости от тематики стоп-слова могут быть разными. Обычно в список стоп-слов добавляем:

• информационные приставки (что, это, как, фото, видео, смотреть, инструкция, схема, своими руками);
• города (которые не соответствуют маркетинговым целям);
• фразы, которые предполагают бесплатное получение товара (скачать, бесплатно, дешево);
• субъективные понятия (лучший, самый);
• популярные сайты / бренды (olx, олх, пром).

По мере сбора семантического ядра список стоп-слов постоянно расширяется и может составлять сотни строк. Для удобства работы со стоп-словами мы используем встроенный одноименный инструмент в KeyCollector:

2.6. Собираем расширения в Serpstat

После добавления стоп-слов переходим к сбору расширений ключевых фраз с помощью Serpstat. Для этого в KeyCollector выбираем «Serpstat» — «Сбор расширений ключевых фраз»:

Указываем фразы, и получаем список расширений фраз из Serpstat:

2.7. Собираем расширения в Вордстат

Далее собираем расширения в Яндекс.Вордстат. Для этого используем инструмент «Пакетный сбор» слов из левой колонки Яндекс.Вордстат:

Перед сбором расширений в Яндекс.Вордстат включаем применение стоп-слов при составлении запроса к Вордстат (при условии, что список стоп-слов не превышает 7000 символов):

Таким образом, отсекая ненужные фразы, мы тратим меньше ресурсов. Если список стоп-слов превышает 7000 символов, пропускаем этот шаг и возвращаемся к нему после сбора данных.

2.8. Собираем поисковые подсказки

После сбора фраз в Serpstat и Вордстат собираем подсказки в Google и Яндекс, используя поисковые подсказки в Serpstat и KeyCollector.

Для получения поисковых в Serpstat:

• указываем фразу, по которой необходимо собрать подсказки;
• выбираем поисковую систему;
• переходим в раздел «Поисковые подсказки»;
• экспортируем полученные данные.

Чтобы ускорить процесс получения подсказок из Serpstat, мы используем API Serpstat. Используя специальную таблицу, делаем так:

2.8.1. Указываем токен для доступа к Serpstat.

2.8.2. Указываем список ключевых фраз, для которых хотим получить поисковые подсказки.

2.8.3. Выбираем поисковую систему, из которой нужно собрать подсказки.

2.8.4. Выбираем в меню Serpstat > Get Suggestions By Keyword.

2.8.5. Переходим во вкладку Suggestions By Keyword и получаем список поисковых подсказок.

Также при использовании «Пакетного экспорта» можно массово выгрузить подсказки. Для этого необходимо:

• в Serpstat перейти в раздел «Поисковые подсказки»;
• выбрать инструмент «Пакетный экспорт»;
• указать фразы, по которым мы хотим получить подсказки;
• выгрузить поисковые подсказки.

Результаты переносим в KeyCollector и повторяем процедуру с другими поисковыми системами / регионами.

Если у вас нет аккаунта Serpstat, можно использовать встроенный инструмент в KeyCollector «Пакетный сбор поисковых подсказок» и собирать поисковые подсказки в Яндекс или Google:

3. Чистим запросы

После сбора расширений ключевых фраз необходимо очистить семантическое ядро от «мусорных» запросов — неподходящих или низкоэффективных фраз.

Если мы не использовали опцию «Применение стоп-слов при обращению к Яндекс.Вордстат», необходимо очистить запросы с помощью инструмента «Стоп-слова»:

Далее собираем частотность по всем фразам:

3.1. Выбираем инструмент «Сбор статистики Яндекс.Директ».

3.2. Собираем статистику за год, потому что собирая статистику за последний месяц, мы привязываемся к сезонности в этот период.

3.3. Ставим галочку «Целью сбора статистики является заполнение колонок частот Яндекс.Вордстат.

3.4. Нажимаем на кнопку «Получить данные».

После получения статистики по всем необходимым запросам переходим к инструменту «Анализ неявных дублей» и задаем настройки:

• ищем дубли во всех группах;
• отмечаем все фразы, кроме самой высокочастотной;
• если не все неявные дубли имеют частоту, то снимаем отметку со всех дублей;
• если несколько фраз имеют одинаково высокую частотность, оставляем одну из них;
• выбираем, на основании какой колонки частотностей анализировать неявные дубли.

После выполнения всех настроек нажимаем на «Выполнить поиск дублей повторно» и получаем отмеченные неявные дубли, которые нужно удалить:

После очистки неявных дублей переходим к инструменту «Анализ групп»:

С помощью инструмента быстро удаляем ненужные фразы, которые остались. Для этого отмечаем все неподходящие группы. В контекстном меню выбираем пункт «Отправить все слова из определений групп, в которых хотя бы одна фраза отмечена, в окно стоп-слов»:

На данном этапе мы отправляем все неподходящие слова в список стоп-слов. Это могут быть города, бренды или типы товаров, которые сайт не продает или не планирует продавать.

Далее очищаем все фразы, у которых фразовая частотность («») за год равна или меньше 10. В зависимости от тематики минимальный порог может быть разным. Такие фразы будут нести в себе только информационный шум, поэтому мы их удаляем при помощи фильтров в KeyCollector:

3.1. Группируем ключевые фразы

Последний этап создания семантического ядра — группировка ключевых фраз. После очистки всех запросов от мусорных фраз мы переходим к кластеризации.

Это можно делать как в ручном, так и полуавтоматическом режиме. Мы используем встроенный инструмент группировки ключевых фраз в KeyCollector, который группирует фразы на основе выдачи поисковых систем, затем группируем фразы вручную.

В качестве выбора поисковой системы для анализа топа используем выдачу Google.ru, потому что он реже банит прокси. Выбор поисковой системы для кластеризации не критичен, так как наша цель — не подстроиться под топ, а определить близкие фразы, которые в дальнейшем мы будем проверять вручную.

Выбираем инструмент «Получить данные для ПС Google» в разделе «Вычисление KEI»:

Далее переходим к инструменту «Анализ групп» и настраиваем группировку:

• тип группировки: по составу фраз и поисковой выдаче;
• сила по составу: 1;
• сила по SERP: 5;
• поисковая система: зависит от того, какую ПС мы спарсили;
• топ: «все имеющиеся».

Напоследок вручную проходим по всем группам запросов, объединяем, создаем новые и распределяем фразы по текущим.

Подробнее о группировке фраз читайте в статье.

После ручной сортировки у нас уже получается почти готовая структурированная семантика. Вот как выглядит часть структуры групп нового сайта в KeyCollector для категории «Ножи и инструменты»:

4. Формируем структуру сайта

После сбора семантического ядра мы переходим к созданию структуры сайта. На данном этапе мы окончательно формируем:

• категории;
• подкатегории;
• блоки фильтров.

Все ранее собранные данные анализируем и переносим в таблицу. В документе видно примерно 20% структуры, которая получается в итоге.

Естественно, на всеобщее обозрение мы не будем выставлять всю структуру, ведь мы потратили много часов на ее создание. Но вы можете понять, что в результате выходит:

• структура сайта в таблице с названиями урлов;
• структура сайта в Mind Map;
• семантическое ядро с частотностью;
• список стоп-слов.

Вывод

В этой статье мы детально рассмотрели, как увеличить охват и видимость сайта за счет сбора семантического ядра и расширения структуры с помощью различных инструментов.

Для привлечения трафика на сайт за счет создания дополнительных страниц:

1. Создайте черновую структуру сайта.
2. Соберите и кластеризуйте семантическое ядро.
3. Создайте новые категории, подкатегории и фильтры на основании семантического ядра.

Если при выполнении описанных в статье действий вы столкнулись со сложностями, делитесь в комментариях — попробуем разобраться вместе.

С радостью возьмем в работу еще несколько проектов.