166961
166717
85
159
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:
Наши подписчики всегда получают больше.
2. Используйте операторы в поисковых запросах
Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».
Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.
Например, сайт cubing.com.ua находится под фильтром АГС.
Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:
3. Используйте плагины и букмарклеты
Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.
Это делают плагины и скрипты:
На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать :)
Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.
4. Установите сервисы для проверки индексации
Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.
Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.
Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.
Почему не индексируется сайт?
1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.
2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.
3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.
4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:
5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:
User-agent: * Disallow: /
- дубли страниц;
- неуникальный контент;
- проблемы с доступностью и скоростью загрузки.
Выводы
Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:
- В панелях вебмастеров Google и Яндекс.
- С помощью поискового оператора «site:».
- С помощью плагинов, вроде RDS bar, и буркмарклетов.
- В специальных сервисах, например, Netpeak Spider.
Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.
Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?
- Сделать копию.
- Выбрать доменную зону.
- Загрузить в столбец А список URL-адресов.
- Подождать результатов (чем больше адресов, тем дольше надо ждать).
В итоге получаем приблизительно такую картину:
Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:
- Выбрать доменную зону.
- Выбрать регион.
- Ввести запрос (адрес сайта).
- Поставить «1», если хотите получить адрес и заголовок.
- Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).
С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.
Комментарии (56 )
Артем, перерыл кучу всего, ответа в гугле так и не нашел ответа((( подскажите пожалуйста:
1. сайт https://amper-group.dp.ua (у меня сайте переезжал с платной платформы на отдельный движок, отсюда и проблемы)
в гугл webmasters непонятная штука: в sitemap подготовлено 600 ссылок, скормлено гуглу. судя по печальному графику в "Статус индексирования", за 1 месяц сайт проиндексировал 233 ссылки, в течение 5 месяцев гугл оставил только 83 и график падает. В разделе Сканирования, "Файлы Sitemap" 600 страниц отправлено, 60 проиндексировано... Далее в гугле вводим site:amper-group.dp.ua где получаем выдачу в 792 ссылки?!?
Для сбора статистики о своем сайте, скажем на a.pr-cy.ru, получаем, что в индексе у гугла все ок и там 650 ссылок есть. Впрочем, я разными сервисами пользовался для мониторинга и все около 600+ ссылок выдают.
Вопросище: как? Кому верить? математика - это же точная наука, но данные от самого гугла отличаются в 10 раз.... Инструменты нужны, чтобы мониторить, следить и исправлять ошибки. Что можно исправлять, если инструменты врут.
2. При переезде со старого движка было около 550 ссылок на сайте. Все было отловлено (ссылки поменялись) и запихано в "Удалить URL-адреса" в том же Search Console потому ,как все ссылки стали ЧПУ и все стало лучше. Но в разделе Ошибки сканирования - "Не найдено страниц с таким адресом 78 шт". Как говорит гугл, если страницы нет, то он из выдачи удалится, если мы используем их инструмент и 90 дней будет там, при повторном сканировании сайта, из кэша удалятся эти битые URL. Уже по 3-ю кругу вынужден скрывать эти ссылки от бота потому, что выдает опять, что ссылки не может найти? Как это работает? Гугл молчит... При чем, если бот нашел эти ссылки и они 404, то при переходе, мы попадаем на нормальную страницу моего сайта, где любезно сообщается, что можно перейти на главную и все будет ок.
Берем эту ссылку 404 и тем же способом смотрим, в индексе ли она в гугле (раз бот ее находит снова и снова). site:...... и ЕЕ просто там нет, выдает, что результата нет. То есть бот находит то, чего в выдачи нет и в кэше гугла не осталось? Это как так? Но в личном кабинете, мне у меня 78 ошибок каким-то образом возникают снова и снова... Я искренне не понимаю, как это работает... Инструкции от гугла - полная чушь и, написаны не для людей, там ничего не понятно.
Если бы вы могли дать ответы на эти 2 вопроса, я бы был безгранично благодарен)))
Александр, спасибо за комментерий.
К сожалению, гугл и другие поисковые системы не общаются с нами прямо. Но суть их ответов одна: делайте хорошо.
Конкретно по вопросам и вашему сайту.
1.1. Печальный график индексирования говорит о проблемах с качеством. Падает график? Проблема. Надо искать причину. О причинах будет ниже.
1.2. В выдаче 792 страницы. Это показатель которому верить надо частично.
Если бы по запросу "site" выводилась стопроцентная инфа, то в этой статье не было бы смысла:)
Но одно точно: гугл знает минимум о 792 страницах вашего сайта. Возможно больше.
2. Тут у меня вопрос, зачем вы удаляли адреса при переезде?
Я не слышал о таких методах. Обычно ставят редирект со старого адреса на новый. Так мы сообщаем гуглу что инфа переехала, а не исчезла.
Если гугл находит ссылку на 404 и постоянно говорит об этой ошибке, значит где-то есть такая ссылка. Страницы в индексе нет. Но ссылка на неё где-то есть. Может это ваш сайт, а может какой-то сторонний. Это надо изучать.
По сути, ошибки в разделе "Ошибки" не критичны, если их внезапно не стало очень много или что-то другое неорганическое не произошло. Есть отдельная статья на эту тему: анализ ошибок в GSC.
Проблемы amper-group.
Просканировав сайта я нашёл 1419 страниц. Часть из них дубли.
Сайт доступен по двум протоколам https и http. И на сайте есть ссылки на две версии.
Это дублирует весь сайт. И из-за этого может быть плохое сканирование. И индексирование. И ранжирование. И конверсии. И т.д.
Это важнейшее что надо исправить. Дальше есть средние и мелкие проблемы в виде спама в метатегах, перепутанных keywords и description местами, не юзер-френдли фильтры и другое.
Кстати, Google Search Console у вас какой версии сайта: http или https? Может быть остальные данные в другое версии?
С переездом на https мы можем помочь. Тут акция до 29 июня, может будет интересно.
Выводы:
1. Количество страниц определяете только вы. На основе того, сколько есть на сайте. Сколько из них качественных — о стольких должен знать гугл.
2. Google слабо сканирует и индексирует — лезем на сайт и ищем проблемы внутри.
Александр, рад буду ответить на вопросы, если они появятся.
Артем, спасибо, что откликнулись.
1.1. Делать хорошо - это и делаем, проблема в том, что граница "хорошо" - размыта, увы!
У нас 80-100% уникальный текст от статей, до описания товаров, никакой кописпасты, все с нуля писалось и проверялось
на плагиат. Далее, все тайтлы, дискрипшены и H1 все прописано, о чем говорят сервисы, которые проверяют страницы на
релевантность или соответствие. Ничего не заспамлено и (как могли) сео-птимизировали.
ГЛАВНОЕ: статисткиа не падает посещаемости. У нас как было 6-9 средняя посещаемость в сутки, так и осталась.
2. Изменяли ссылки по 2-м причинам: 1. Они не были ЧПУ, у нас было более 3-4 подкаталогов, что портило картину "имей
максимум 1-2 подкаталога и будет тебе счастье"; 2. Это был Пром.юа... где результат за год был таким же или чуть еще
хуже + ссылки их были типа "/p23422235-rozetki". Не думаю, что для СЕО очень полездно иметь мусор в виде набора цифр
(из-за движка). Поэтому мы изменили структуру сайты на нашем движке и уменьшили с 4-х подкаталогов до 1-2.
"Если гугл находит ссылку на 404 и постоянно говорит об этой ошибке, значит где-то есть такая ссылка. Страницы в
индексе нет. Но ссылка на неё где-то есть. Может это ваш сайт, а может какой-то сторонний" - вот не мог додуматься
сам, а вы подсказали, скорей всего вагон тех ссылок осталось на самом проме... но их убрать у нас нет возможности.
Они же не будут чистить свой мусор от нас, когда мы ушли. НАоборот звонят каждый месяц и умоляют вернуться и
заплатить им по новой.Спасибо за ссылку на статью, поизчаю, успокоили.
"Сайт доступен по двум протоколам https и http. И на сайте есть ссылки на две версии.
Это дублирует весь сайт" - значит нужно выходит вручную посмотреть перелинковку внутреннюю и поисправлять, скажем, все на https и тогда станет легче, верно?
По фильтрам СПАСИБО! скрин хороший, нужно это исправить... не дружелюбно, согласен на 100%.
Google Search Console: я когда регистрировал было "https://amper-group.dp.ua/" (исправлено) - это сейчас в личном кабинете есть. И я только сейчас вспомнил, что месяцем позже у хостера-то я сменил протокол на https, я ей богу не знал, что это может повлиять, это ведь не доменное имя и не www, а лишь протокол. Нужно изменить все, скажем и везде на https, чтобы привести к одному знаменателю? Тогда исчезнут дубли и статистика будет полная по сайту, а не по его клону?
Вы мне подсказали очень много интересного, о чем я только догадывался. Изучу вашу акцию потому, что мне нужно продвинутся по гуглу, а не сидеть на его задворках.
"значит нужно выходит вручную посмотреть перелинковку внутреннюю и поисправлять, скажем, все на https и тогда станет легче, верно?"
Не только. Да, все внутренние ссылки надо исправить на актуальные. Внешние, какие можно, тоже. И сами страницы должны редиректить на https. Это очень важно.
Вот статья о переезде, может будет полезно.
"Нужно изменить все, скажем и везде на https, чтобы привести к одному знаменателю? Тогда исчезнут дубли и статистика будет полная по сайту, а не по его клону?"
Да, надо создать новую консоль и привязать её к https версии. Все проблемы это не решит, но картина будет более актуальная.
просто отпишусь, чтобы читатели видели, чем закончилась моя история. Я продел все, что мне порекомендовали и разобрался шаг за шагом, как перейти с http на https. Итог: из 600 поданных страниц на индекс - уже 546 в индексе за неделю. Парочка ошибок вылезли (search console), но я теперь знаю, как их устранить. Ключ в том, что для поисковиков - это разные сайты и он видит их как дубли. А еще редирект, который был на хостинге выбран, а в .htaccess не прописан! Не путайте, люди, это не одно и то же) Поэтому, рейтинги сайта стремительно падали.
В результате самостоятельные действия увеличивают сейчас посещаемость и показы. Индексируются те страницы, которые в принципе не попадали ранее в индекс. Буду работать дальше над улучшением СЕО. Сейчас по некоторым ключевым запросам мы уже в ТОП 10 и это первые две недели....
Да, табличка хороша, но уже не на столько под Гугл( Досадно.
Спасибо за статью, было полезно =)
Спасибо!
Вы проверяйте иногда. Может Google поубавит строгости и табличка снова будет работать. Так иногда происходит.
Хоть по конкретной моей ситуации не помогло, но спасибо за табличку.
Долго не мог понять почему не индексируется страницы в blogger. В тестах "Инструмент проверки файла robots.txt" всё зелено. noindex тоже не ставил. До тех пор пока не разобрался в перенаправлении на мобильные страницы, с добавочным адресом "/?m=". Его то я и заблочил robots, расчитывая, что это дубль)
Видимо гугл считает, раз мобильная версия страницы блокируется, значит она и вовсе индексироваться не должна.Похоже нужна статья, что делать с мобильной версией в связи с Mobile-first.
Вы же убрали блокировку и поставили canonical?
Как я понимаю сейчас уже почему-то IMPORTXML не хочет вытягивать данные из страниц типа https://www.google.com/search?q=site:website.com ???
Вытягивает, но не очень активно. И судя по всему, лучше ситуация не будет.
Раньше можно было по 1000 адресов закидывать и проверять. Сейчас сервисы гугл ставят более жесткие лимиты на это. Так что рекомендую пользоватья другими методами проверки индексации.
Доброго времени суток Артем. Большое Вам спасибо за статью. Но у меня все таки остались вопросы. Помогите разобраться, мой сайт индексируется или нет? https://rockwheel.com.ua
Дело в том что в поисковой строке Гугл когда вписываю site:rockwheel.com.ua, то инфо какую-то выдает аж десять страниц, а вот в Гугл Консоль пусто и глухо как в танке. Заранее спасибо. После ответа можете скрыть либо удаль мой вопрос.
Привет!
Спасибо за отзыв.
Можно скрин из GSC? Может что-то неправильно настроено. Или это GSC не того сайта (да, так бывает).
Есть ли органический трафик на сайт из поисковых систем? Если есть, то скорее всего ваш сайт индексируется.
Долго мучилась с проверкой индексации сайта через разные платформы, пока не нашла эту статью https://ifish2.ru/kak-proverit-indeksatsiyu-sajta/ !
Они показали действительно удобный способ как проверить индексацию сайта и контролировать любые изменения с моим сайтом)))
Отличный рерайт:)
Есть пару косячков, но в общем не плохо.Конечно можно заморозить.
Для этого надо скопировать ячейку и вставить её в виде значений (без формул – ctrl+shift+v).
Это можно сделать со всей строкой или даже со всей таблицей.
Чтобы не потерять саму формулу, её можно скопировать на соседний столбец:
Добрый день! Подскажите, пожалуйста, в чем может быть проблема.
В search console указано, что индексируются 63 страницы (раньше было 121). При этом в поиске с использованием site: гугл находит 209 страниц (из них 102 дублированных). Откуда такое расхождение и каким сведениям верить?(
Приветствую!
Есть предположение, что у вас на сайте 63 полезные проиндексированные страницы (плюс-минус). Хотя Google знает и еще хранит в базе инфу о 209 страницах. И отдает их по запросу site.
И, как вы и написали, там много дублей. Они не участвуют в результатах выдачи.
Именно поэтому Search Console отдает 63 страницы.
Это предположение, чтобы подтвердить или опровергнуть нужно больше данных и доступов:)
Еще из идей: это могут быть баги или фичи Search Console. У них последнее время такое случается всё чаще и чаще.
Во-первых хочу сказать спасибо за статью "Как быстро проверить индексацию сайта в Google и Яндекс"
Во-вторых спасибо за таблички
Прошу помочь с второй табличкой - сделал всё по инструкции ( моя гугл табличка ), но она не показывает вообще не чего с яндекса. Что я не верно сделал?
Спасибо за фидбек.
Да, сейчас Яндекс поменял формат выдачи и, судя по всему, тестирует разные варианты. Он начал подмешивать по запросу site в результаты соцсети. Выводить по 15-20 результатов вместо 10.
В условиях динамически меняющейся выдачи сложно сделать универсальный инструмент в таблицах.
Но я попробую исправить и отпишу о результатах.
Свершилось!
Яндекс устаканил свои нововведения. Теперь выдача по 15 результатов.
Таблицу обновил в посте. На всякий случай дублирую сюда: https://goo.gl/5AcFwq
Но сильно я её не тестил (с выходом нового Netpeak Checker юзаю только его), так что если будут ошибки в таблице – пишите, разберемся.
скопировал себе табличку один в один.
Не работает -
http://prntscr.com/eh0uzs
http://prntscr.com/eh0vm7
что я сделал не так?
Добрый день.
Всё так. Проверил. Табличка в норме и актуальна.
Бывают такие дни у Гугла. Он не дает себя парсить.
Попробуйте завтра.
Артем, добрый день!
Подскажите, пожалуйста, как можно ускорить индексацию на сайте новых страниц с новинками товаров. К примеру в феврале добавила 60 новинок, а только 5-6 страниц проиндексированы по результатам полученным с помощью site.
Если добавлять ссылки на новинки сюда https://www.google.com/webmasters/tools/submit-url это поможет? И как часто можно пользоваться этим сервисом?
Добрый день, Татьяна.
Для начала надо разобраться, действительно ли этих новинок нет в индексе? Как показывает практика, есть много технических проблем, которые вводят в заблуждение в вопросе индексации. Например, если на сайте есть проблема с дублями, то можно искать в индексе просто не ту копию страницы.
Если проблема с индексацией таки есть, то тут важен коплексый подход:
1. Качество контента.
2. Частота обновления контента на сайте.
3. Техническая оптимизация.
4. Хорошая внутренняя перелинкова.
5. Хороший внешний ссылочный профиль.
Если с этими пунктами проблем нет, то все страницы будут максимально быстро попадать в индекс.
В любом случае можно и нужно использовать инструменты, которые нам предоставляют поисковые системы.
Но оба эти инструмента точечно решают проблему.
"Посмотреть как GoogleBot" разрешает добавлять 500 страниц и 10 страниц+прямые ссылки в месяц.
А "submit-url" вручную через капчу. И чем больше добавлять, тем больше капчи.
И еще важный момент: с помощью этих инструментов можно загнать страницу в индекс, но как долго она там продержится и будет ли приносить трафик – неизвестно.
– Есть ли еще способы?
– Да!
1. Перелинковка.
Робот уже проводит какое-то время на вашем сайте, сканируя страницы, уже известные ему.
Разместите ссылки на новики на этих страницах – чем ближе к главной (популярной) тем лучше.
2. Внешние ссылки и соц. сигналы.
Попробуйте Google+.
3. Карты сайта.
Есть методика добавлять в карту сайта только новые страницы или только не проиндексированные.
Повторюсь, если на страницах технические или качественные проблемы, то страницы или не будут попадать в индекс или будут там совсем не долго.
И еще вопрос о Search Console - может новые странички лучше через сканирование добавлять http://prntscr.com/eam28i?
Приветствую, Елена!
Таблички могут давать сбои и это нормально.
Часто Google или Яндекс могут не позволять парсить себя. И тогда в табличке появится пометка "Нет".
На всякий случая я проверил и кое-что актуализировал.
Теперь должно всё рабоать.
Возможно надо дать время табличке проверить.
Если не исправится – пишите, попробуем как-то еще решить вопрос.
Артем, здравствуйте.
Получается у меня какая-то ерунда.
Вот страница новой коллекции, которую я залила относительно недавно:
http://atelier.kharkov.ua/katalogi/collection-new-ladies-2017/category/61/svadebnie-platya-2017---kollektsiya-new-ladies.html?limit=20&start=40
При вводе в поисковике с оператором site: я получаю: 2 результата в Гугле и 0 в Яндексе.
При вводе через табличку я получаю Нет и в Гугле, и в Яндексе.
Тогда пробую проверить старую статью, которая - я это точно знаю - не только в индексе - она в самом что ни на есть топе, и даже, - вместе со статьей по моде барокко, уже давно гуляет по учебникам!
http://atelier.kharkov.ua/vse-o-svadbe/history-rococo.html
Проверка через site: - Гугл и Яндекс - "да", табличка - однозначное "нет".
Но Яндекс позволяет парсить только после проверки через капчу. Так что он при проверке более чем одного адреса однозначно не работает.
Еще. Я вчера попробовала также скопировать полученные данные в другой столбец, чтобы сохранить сведения и наблюдать затем динамику, но ничего путного из этого не вышло. Там ведь везде абсолютная адресация, так что у меня получилось одно сплошное "нет" везде. Вероятно, нужно вставлять просто как данные - без формул, через Специальную вставку.
И еще: обращение и search идет сразу автоматически? По открытии таблицы? Или нужно каждый урл вручную обновить, чтобы получить свежие данные? Или это вообще перманентный процесс и боты сканируют адрес постоянно?
Спасибо.Добрый вечер, Елена.
Проверил ваши данные.
Вот итог:
1. Да действительно, приведённого вами первого url нет в выдаче, так как он содержит get-параметры. В данном случае это 3я страница пагинации. Её нет в индексе поисковых систем.
2. По поводу второй ссылки, приведенной вами.
Табличка отдала правильные значения.
3. Насколько я понял, вы используете оператор "site" при проверке вручную. Табличка же проверяет по оператору "info" для Google и "url" для яндекс.
В чем отличие операторов?
site – отдает информации обо всем сайте (начиная от текучего url).
info/url – об это и только этом url.
Если рассмотреть ваш пример, то вводя адрес 3-й страницы с оператором site, получаем результат, что в индексе есть первая страница (без параметров) и вторая (с параметром start=20).
4. Капча. К сожалению, эта проблема есть.
Чем больше автоматических запросов в поисковые системы отправляется с вашего IP, тем больше вероятность капчи.
Так что проверять сотни и тысячи страниц постоянно будет сложно.
По этой причине таблица может отдавать неверные данные.
5. Чтобы получать результаты точнее постарайтесь:
5.1. Разбить список проверяемых url на несколько частей и разместить в разных копиях таблицы.
5.2. Хранить таблицы, без формулы (обращение и парсинг происходит все время, пока таблица открыта).
5.3. Запускать проверку только по надобности и не более одной таблицы за раз, растянув формулу из 4 строки на все url.
5.4. Когда результаты готовы, выделить столбцы B, C и скопировать данные (ctrl+C) и вставить специальной вставкой, как вы и говорили – ctrl+shift+V, на соседние столбцы. Тогда вставятся только значения.
Из колонок B и C данные можно опять удалить, но оставить только первые строки в качестве шаблона.
P.S.
Вам надо бы оптимизировать страницы пагинации, как можно скорее:
1. Убрать параметры из ссылки на первую страницу.
2. Внедрить атрибуты next и prev.
3. Внедрить на все страницы пагинации, кроме первых страниц, мета-тег с name="yandex" и с содержимым "noindex".
4. Текст оставить только на первой станице.
Кроме этого на сайте много других проблем. Рекомендую уделить особое внимание технической оптимизации;)
Помоему в статье путаются понятия "индексация роботом" и наличие в поиске.
Индексирующий робот и выдача поисковой машины это разные механизмы, хотя и тесно связаны.
Если сайт наполнен мусорными страницами и гугл выбросит их из индекса, то это положительно скажется на трафике, хотя выглядит как "проблема" на скрине в статье.
Приветствую, Дмитрий.
Спасибо за замечание. Да. На самом деле нужно эти понятия различать. И в статье я говорю о проверке индексации, а не о поисковой выдаче (которая формируется именно из проиндексированных страниц).
"Если сайт наполнен мусорными страницами" – это проблема и не может положительно сказаться на трафике. Проблема, с которой надо работать. Определив это, можно исправить страницы. Сделать их полезными.
В этом и есть цель статьи.
при переходе на https, страницы не индексируется! Что это может быть?
Подробно о переходе на https читайте здесь:
http://blog.netpeak.ua/kak-pereyti-na-https-za-12-chasov-i-sohranit-trafik/
Переход на https – это отдельная тема. Есть очень много пунктов, почему может не индексироваться.
Вы уверены, что переход выполнен корректно?
Как определить, что перенос был корректен?
Вот пару статей:
http://blog.netpeak.ua/kak-pereyti-na-https-za-12-chasov-i-sohranit-trafik/
http://blog.netpeak.ua/kak-pereyti-na-https-i-ne-ostatsya-nevidimkoy-v-google-analytics/
Ознакомьтесь внимательно. Проверьте, все ли пункты выполнены? Можно еще найти информацию в сети, например:
https://devaka.ru/articles/moving-to-https
у вас все ссылки в комментах с тегами на конце, поэтому отдают 404. уже не в первой статье замечаю. или так надо...?)
делал по Вашим статьям! Все поменял, все страницы переходят на https
Что делать с sitemap, его добавить в webmastera и достаточно?
"делал по Вашим статьям! Все поменял, все страницы переходят на https"
Если вы уверены, что выполнили все пункты и выполнили правильно, без ошибок – тогда надо ждать. В зависимости от разных факторов переиндесация может занять много времени.
"Что делать с sitemap, его добавить в webmastera повторно и все?"
Актуализировать sitemap согласно новому протоколу и да, добавить его в панели вебмастеров.
Зачем мудрить с таблицами, есть копеечный сервис (но до 1000 урлов парсит в выдаче) - СеоБюджет, 8 руб за парсинг берет, с Гуглом не работает. Второй вариант - программа от Алаича, Компарсер, 1.5к стоит, но универсальный.
Согласен с вами, Андрей. Об этом я и написал в 4 пункте.
Но все же помудрить с таблицами бывает интересно, особенно когда из этого получается что-то полезное.
А я верю, что эти таблички оказались полезными для читателей.
Кстати, Компарсер уже стоит 2К в противовес бесплатной табличке:)
Скажите, а можно ли парсить позиции сайта в google spreadsheet с помощью IMPORTXML и XPath Expression?
Просто парсить не получится. Так как IMPORTXML выгружает данные, но никак не обрабатывает. Это могут сделать функции Google Spreadsheet.
В теории можно выгрузить топ по фразе и проверять соответствие нужному домену. Но в больших объемах это не сработает. И даже в средних. Для более чем 10 запросов выгоднее воспользоваться готовыми сервисами парсинга.
"Букмарклет «Проверка индексации»" кажется в ссылке ошибка, не работает
Спасибо, что заметили. Иногда Javascript шалит. Исправили ссылку.
все круто, но есть одно, индексация не до конца проверяет так как скорее всего где-то попадается капча(((
Олег, вы о таблице проверки индексации или о Netpeak Spider?
В случае с таблицей, Да. Но! Я обычно не загружаю туда сотни тысяч страниц. Только основные. И подождать. Можно оставить на пару дней. Точечно проверяю результаты вручную. Если ок – фиксирую. Если нет – жду еще.
я писал о таблице, Netpeak Spider не умеет к сожалению проверять список ссылок на индексацию(((
Не расстраивайтесь, Олег!
Netpeak Checker работает со списком ссылок. Пока что он больше для анализа доменов. Но там работают толковые ребята и постоянно улучшают продукт. Так что скоро будет всё очень круто:)
Чтобы оставить комментарий, необходимо авторизироваться