168
9
59
10
16
74
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта. Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования». Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt.
2. Используйте операторы в поисковых запросах
Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».
Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.
Например, сайт cubing.com.ua находится под фильтром АГС.
Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:
3. Используйте плагины и букмарклеты
Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.
Это делают плагины и скрипты:
На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать :)
Букмарклет «Проверка индексации». Перетащите эту ссылку на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google и нужными данными в выдаче.
4. Установите сервисы для проверки индексации
Это маленькие помощники SEO-специалистов. Их множество. Например, Netpeak Spider.
Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также сервис предупреждает об ошибках в этих данных.
Почему не индексируется сайт?
1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.
2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.
3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.
4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:
5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:
User-agent: * Disallow: /
- дубли страниц;
- неуникальный контент;
- проблемы с доступностью и скоростью загрузки.
Выводы
Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:
- В панелях вебмастеров Google и Яндекс.
- С помощью поискового оператора «site:».
- С помощью плагинов, вроде RDS bar, и буркмарклетов.
- В специальных сервисах, а ля Netpeak Spider.
Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.
Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?
- Сделать копию.
- Выбрать доменную зону.
- Загрузить в столбец А список URL-адресов.
- Подождать результатов (чем больше адресов, тем дольше надо ждать).
В итоге получаем приблизительно такую картину:
Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:
- Выбрать доменную зону.
- Выбрать регион.
- Ввести запрос (адрес сайта).
- Поставить «1», если хотите получить адрес и заголовок.
- Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).
С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.
Комментарии (37)
Добрый день! Подскажите, пожалуйста, в чем может быть проблема.
В search console указано, что индексируются 63 страницы (раньше было 121). При этом в поиске с использованием site: гугл находит 209 страниц (из них 102 дублированных). Откуда такое расхождение и каким сведениям верить?(
Приветствую!
Есть предположение, что у вас на сайте 63 полезные проиндексированные страницы (плюс-минус). Хотя Google знает и еще хранит в базе инфу о 209 страницах. И отдает их по запросу site.
И, как вы и написали, там много дублей. Они не участвуют в результатах выдачи.
Именно поэтому Search Console отдает 63 страницы.
Это предположение, чтобы подтвердить или опровергнуть нужно больше данных и доступов:)
Еще из идей: это могут быть баги или фичи Search Console. У них последнее время такое случается всё чаще и чаще.
Во-первых хочу сказать спасибо за статью "Как быстро проверить индексацию сайта в Google и Яндекс"
Во-вторых спасибо за таблички
Прошу помочь с второй табличкой - сделал всё по инструкции ( моя гугл табличка ), но она не показывает вообще не чего с яндекса. Что я не верно сделал?
Спасибо за фидбек.
Да, сейчас Яндекс поменял формат выдачи и, судя по всему, тестирует разные варианты. Он начал подмешивать по запросу site в результаты соцсети. Выводить по 15-20 результатов вместо 10.
В условиях динамически меняющейся выдачи сложно сделать универсальный инструмент в таблицах.
Но я попробую исправить и отпишу о результатах.
Свершилось!
Яндекс устаканил свои нововведения. Теперь выдача по 15 результатов.
Таблицу обновил в посте. На всякий случай дублирую сюда: https://goo.gl/5AcFwq
Но сильно я её не тестил (с выходом нового Netpeak Checker юзаю только его), так что если будут ошибки в таблице – пишите, разберемся.
скопировал себе табличку один в один.
Не работает -
http://prntscr.com/eh0uzs
http://prntscr.com/eh0vm7
что я сделал не так?
Добрый день.
Всё так. Проверил. Табличка в норме и актуальна.
Бывают такие дни у Гугла. Он не дает себя парсить.
Попробуйте завтра.
Артем, добрый день!
Подскажите, пожалуйста, как можно ускорить индексацию на сайте новых страниц с новинками товаров. К примеру в феврале добавила 60 новинок, а только 5-6 страниц проиндексированы по результатам полученным с помощью site.
Если добавлять ссылки на новинки сюда https://www.google.com/webmasters/tools/submit-url это поможет? И как часто можно пользоваться этим сервисом?
Добрый день, Татьяна.
Для начала надо разобраться, действительно ли этих новинок нет в индексе? Как показывает практика, есть много технических проблем, которые вводят в заблуждение в вопросе индексации. Например, если на сайте есть проблема с дублями, то можно искать в индексе просто не ту копию страницы.
Если проблема с индексацией таки есть, то тут важен коплексый подход:
1. Качество контента.
2. Частота обновления контента на сайте.
3. Техническая оптимизация.
4. Хорошая внутренняя перелинкова.
5. Хороший внешний ссылочный профиль.
Если с этими пунктами проблем нет, то все страницы будут максимально быстро попадать в индекс.
В любом случае можно и нужно использовать инструменты, которые нам предоставляют поисковые системы.
Но оба эти инструмента точечно решают проблему.
"Посмотреть как GoogleBot" разрешает добавлять 500 страниц и 10 страниц+прямые ссылки в месяц.
А "submit-url" вручную через капчу. И чем больше добавлять, тем больше капчи.
И еще важный момент: с помощью этих инструментов можно загнать страницу в индекс, но как долго она там продержится и будет ли приносить трафик – неизвестно.
– Есть ли еще способы?
– Да!
1. Перелинковка.
Робот уже проводит какое-то время на вашем сайте, сканируя страницы, уже известные ему.
Разместите ссылки на новики на этих страницах – чем ближе к главной (популярной) тем лучше.
2. Внешние ссылки и соц. сигналы.
Попробуйте Google+.
3. Карты сайта.
Есть методика добавлять в карту сайта только новые страницы или только не проиндексированные.
Повторюсь, если на страницах технические или качественные проблемы, то страницы или не будут попадать в индекс или будут там совсем не долго.
И еще вопрос о Search Console - может новые странички лучше через сканирование добавлять http://prntscr.com/eam28i?
Приветствую, Елена!
Таблички могут давать сбои и это нормально.
Часто Google или Яндекс могут не позволять парсить себя. И тогда в табличке появится пометка "Нет".
На всякий случая я проверил и кое-что актуализировал.
Теперь должно всё рабоать.
Возможно надо дать время табличке проверить.
Если не исправится – пишите, попробуем как-то еще решить вопрос.
Артем, здравствуйте.
Получается у меня какая-то ерунда.
Вот страница новой коллекции, которую я залила относительно недавно:
http://atelier.kharkov.ua/katalogi/collection-new-ladies-2017/category/61/svadebnie-platya-2017---kollektsiya-new-ladies.html?limit=20&start=40
При вводе в поисковике с оператором site: я получаю: 2 результата в Гугле и 0 в Яндексе.
При вводе через табличку я получаю Нет и в Гугле, и в Яндексе.
Тогда пробую проверить старую статью, которая - я это точно знаю - не только в индексе - она в самом что ни на есть топе, и даже, - вместе со статьей по моде барокко, уже давно гуляет по учебникам!
http://atelier.kharkov.ua/vse-o-svadbe/history-rococo.html
Проверка через site: - Гугл и Яндекс - "да", табличка - однозначное "нет".
Но Яндекс позволяет парсить только после проверки через капчу. Так что он при проверке более чем одного адреса однозначно не работает.
Еще. Я вчера попробовала также скопировать полученные данные в другой столбец, чтобы сохранить сведения и наблюдать затем динамику, но ничего путного из этого не вышло. Там ведь везде абсолютная адресация, так что у меня получилось одно сплошное "нет" везде. Вероятно, нужно вставлять просто как данные - без формул, через Специальную вставку.
И еще: обращение и search идет сразу автоматически? По открытии таблицы? Или нужно каждый урл вручную обновить, чтобы получить свежие данные? Или это вообще перманентный процесс и боты сканируют адрес постоянно?
Спасибо.Добрый вечер, Елена.
Проверил ваши данные.
Вот итог:
1. Да действительно, приведённого вами первого url нет в выдаче, так как он содержит get-параметры. В данном случае это 3я страница пагинации. Её нет в индексе поисковых систем.
2. По поводу второй ссылки, приведенной вами.
Табличка отдала правильные значения.
3. Насколько я понял, вы используете оператор "site" при проверке вручную. Табличка же проверяет по оператору "info" для Google и "url" для яндекс.
В чем отличие операторов?
site – отдает информации обо всем сайте (начиная от текучего url).
info/url – об это и только этом url.
Если рассмотреть ваш пример, то вводя адрес 3-й страницы с оператором site, получаем результат, что в индексе есть первая страница (без параметров) и вторая (с параметром start=20).
4. Капча. К сожалению, эта проблема есть.
Чем больше автоматических запросов в поисковые системы отправляется с вашего IP, тем больше вероятность капчи.
Так что проверять сотни и тысячи страниц постоянно будет сложно.
По этой причине таблица может отдавать неверные данные.
5. Чтобы получать результаты точнее постарайтесь:
5.1. Разбить список проверяемых url на несколько частей и разместить в разных копиях таблицы.
5.2. Хранить таблицы, без формулы (обращение и парсинг происходит все время, пока таблица открыта).
5.3. Запускать проверку только по надобности и не более одной таблицы за раз, растянув формулу из 4 строки на все url.
5.4. Когда результаты готовы, выделить столбцы B, C и скопировать данные (ctrl+C) и вставить специальной вставкой, как вы и говорили – ctrl+shift+V, на соседние столбцы. Тогда вставятся только значения.
Из колонок B и C данные можно опять удалить, но оставить только первые строки в качестве шаблона.
P.S.
Вам надо бы оптимизировать страницы пагинации, как можно скорее:
1. Убрать параметры из ссылки на первую страницу.
2. Внедрить атрибуты next и prev.
3. Внедрить на все страницы пагинации, кроме первых страниц, мета-тег с name="yandex" и с содержимым "noindex".
4. Текст оставить только на первой станице.
Кроме этого на сайте много других проблем. Рекомендую уделить особое внимание технической оптимизации;)
Помоему в статье путаются понятия "индексация роботом" и наличие в поиске.
Индексирующий робот и выдача поисковой машины это разные механизмы, хотя и тесно связаны.
Если сайт наполнен мусорными страницами и гугл выбросит их из индекса, то это положительно скажется на трафике, хотя выглядит как "проблема" на скрине в статье.
Приветствую, Дмитрий.
Спасибо за замечание. Да. На самом деле нужно эти понятия различать. И в статье я говорю о проверке индексации, а не о поисковой выдаче (которая формируется именно из проиндексированных страниц).
"Если сайт наполнен мусорными страницами" – это проблема и не может положительно сказаться на трафике. Проблема, с которой надо работать. Определив это, можно исправить страницы. Сделать их полезными.
В этом и есть цель статьи.
при переходе на https, страницы не индексируется! Что это может быть?
Подробно о переходе на https читайте здесь:
http://blog.netpeak.ua/kak-pereyti-na-https-za-12-chasov-i-sohranit-trafik/
Переход на https – это отдельная тема. Есть очень много пунктов, почему может не индексироваться.
Вы уверены, что переход выполнен корректно?
Как определить, что перенос был корректен?
Вот пару статей: />
http://blog.netpeak.ua/kak-pereyti-na-https-i-ne-ostatsya-nevidimkoy-v-google-analytics/ />
Ознакомьтесь внимательно. Проверьте, все ли пункты выполнены? Можно еще найти информацию в сети, например:
http://blog.netpeak.ua/kak-pereyti-na-https-za-12-chasov-i-sohranit-trafik/
https://devaka.ru/articles/moving-to-https
у вас все ссылки в комментах с тегами на конце, поэтому отдают 404. уже не в первой статье замечаю. или так надо...?)
делал по Вашим статьям! Все поменял, все страницы переходят на https
Что делать с sitemap, его добавить в webmastera и достаточно?
"делал по Вашим статьям! Все поменял, все страницы переходят на https"
Если вы уверены, что выполнили все пункты и выполнили правильно, без ошибок – тогда надо ждать. В зависимости от разных факторов переиндесация может занять много времени.
"Что делать с sitemap, его добавить в webmastera повторно и все?"
Актуализировать sitemap согласно новому протоколу и да, добавить его в панели вебмастеров.
Зачем мудрить с таблицами, есть копеечный сервис (но до 1000 урлов парсит в выдаче) - СеоБюджет, 8 руб за парсинг берет, с Гуглом не работает. Второй вариант - программа от Алаича, Компарсер, 1.5к стоит, но универсальный.
Согласен с вами, Андрей. Об этом я и написал в 4 пункте.
Но все же помудрить с таблицами бывает интересно, особенно когда из этого получается что-то полезное.
А я верю, что эти таблички оказались полезными для читателей.
Кстати, Компарсер уже стоит 2К в противовес бесплатной табличке:)
Скажите, а можно ли парсить позиции сайта в google spreadsheet с помощью IMPORTXML и XPath Expression?
Просто парсить не получится. Так как IMPORTXML выгружает данные, но никак не обрабатывает. Это могут сделать функции Google Spreadsheet.
В теории можно выгрузить топ по фразе и проверять соответствие нужному домену. Но в больших объемах это не сработает. И даже в средних. Для более чем 10 запросов выгоднее воспользоваться готовыми сервисами парсинга.
"Букмарклет «Проверка индексации»" кажется в ссылке ошибка, не работает
Спасибо, что заметили. Иногда Javascript шалит. Исправили ссылку.
все круто, но есть одно, индексация не до конца проверяет так как скорее всего где-то попадается капча(((
Олег, вы о таблице проверки индексации или о Netpeak Spider?
В случае с таблицей, Да. Но! Я обычно не загружаю туда сотни тысяч страниц. Только основные. И подождать. Можно оставить на пару дней. Точечно проверяю результаты вручную. Если ок – фиксирую. Если нет – жду еще.
я писал о таблице, Netpeak Spider не умеет к сожалению проверять список ссылок на индексацию(((
Не расстраивайтесь, Олег!
Netpeak Checker работает со списком ссылок. Пока что он больше для анализа доменов. Но там работают толковые ребята и постоянно улучшают продукт. Так что скоро будет всё очень круто:)
Чтобы оставить комментарий, необходимо авторизироваться