10670611
10670405
104
102
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:
Наши подписчики всегда получают больше.
2. Используйте операторы в поисковых запросах
Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».
Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.
Например, сайт cubing.com.ua находится под фильтром АГС.
Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:
3. Используйте плагины и букмарклеты
Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.
Это делают плагины и скрипты:
На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать :)
Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.
4. Установите сервисы для проверки индексации
Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.
Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.
Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.
Почему не индексируется сайт?
1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.
2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.
3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.
4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:
5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:
User-agent: * Disallow: /
- дубли страниц;
- неуникальный контент;
- проблемы с доступностью и скоростью загрузки.
Выводы
Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:
- В панелях вебмастеров Google и Яндекс.
- С помощью поискового оператора «site:».
- С помощью плагинов, вроде RDS bar, и буркмарклетов.
- В специальных сервисах, например, Netpeak Spider.
Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.
Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?
- Сделать копию.
- Выбрать доменную зону.
- Загрузить в столбец А список URL-адресов.
- Подождать результатов (чем больше адресов, тем дольше надо ждать).
В итоге получаем приблизительно такую картину:
Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:
- Выбрать доменную зону.
- Выбрать регион.
- Ввести запрос (адрес сайта).
- Поставить «1», если хотите получить адрес и заголовок.
- Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).
С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.
Комментарии (63 )
Немного с автором не согласен. Я конечно не большой специалист, но если не закрывать доступ к некоторым страницам в робот тхт, то гугл будет долго и нудно сканировать все ваши страницы, в том числе и админки и копии основных страниц. А потом гугл скажит, что нашел 5 одинаковых страниц и считает их копиями и в выдачу не выадет.
Например:
https://shop.lightstyle.com.ua/katalog/obogrevateli/keramicheskie-obogrevateli-/obogrevatel-keramicheskij-optilux--rk-700-nv
https://shop.lightstyle.com.ua/obogrevatel-keramicheskij-optilux--rk-700-nv
гугл считает их копиями.
А еще возможны варианты таких страниц с аброкадаброй в конце урла.
Чем это грозит?
1. Много страниц для сканирования и индексации. Гугл посылает вас подальше и заходит пореже.
2. Для гугла это копии и он их не выдает в выдачу, хотя одна из страниц является основной.
Это сугубо мое мнение и оно не является оксиомой.
Спасибо
Спасибо за ваше несогласие:) В споре истину мы зародим.
1. Для начала, не нужно допускать наличие у вас на сайте дублей. Лучше чтобы их просто не было.
2. Админки и прочие технические страницы надо закрывать логином. Такую страницу робот точно не просканирует.
3. Ваш пример. Да. Гугл тут совершенно прав. Страницы то одинаковые. Ни в robots.txt ни как-то иначе они не закрыты.
4. "Аброкадабра" в конце.
4.1. Конструкции с параметрами /? — канонкал на страницу без.
4.2. Конструкции просто текст в конце url — 404.
5. Много страниц для сканирования. Это проблема только если у вас миллионник. Ну или если у вас бесполезных страниц больше чем полезных. Тут смотрим пункт 1.
Взять сайт, приведённый вами в пример. В индексе полно страниц, закрытых в robots.txt. При этом, на страницах других вариантов не реализовано. Мало того, вы прямо говорите, что страница каноническая.
Итого. Ваш пример идеально подтверждает мои тезисы.
Что думаете по этому поводу, Александр?
Написал актуальный гайд по индексации сайта + советы как ускорить индексацию, проверенные на практике - http://alexbrush.com/index-page.html
Отличный гайд.
Средний по актуальности, а кое-где неактуальный. Но в общем достаточно годный.
Хотя людям, которые прочитали статью выше и дошли до комментариев будет не интересно. Ничего нового там не описано. Уж простите меня, Alex, за это.
Советы.
Советов маловато. Советы размытые и не чёткие. Новичок не поймёт что такое "аддурилка", а опытному не нужно об этом читать. Ну и писать что G+ "отлично показал себя на практике" на сегодняшний день уже совсем промах :)
Статья крутая, спасибо Артем! Вопрос, есть например киносайт https://zombie-film.com . На страницах серий сериалов прописан рел каноникл соответствующего сезона (т.к. описание и весь контент дублируется), увидел что в индекс гугла попали страницы серий несмотря на, то что страницы не канонические. Есть идея создать отдельный сайтмап с сериями и отправить на индексацию. Что вы думаете на счет этой идеи?
Добрый день, Рома.
Гугл иногда
плевать хотелзакрывает глаза на каноникал. Это происходит, если гугл считает страницу таки полезной и уникальной. К слову, иногда происходит и наоборот.У вас много страниц серий в гугле. Плюс, у них уже сейчас уникальные тайтлы. Идеально было бы добавить дескрипшн и описание серии, кратко. Это сильно уникализирует страницы. Да, можно будет убрать каноникал, сделать отдельную карту и собирать трафик запросов вида "[сериал][сезон][серия]". Ну а с описанием сюжета серии можно добрать остальной траф из разряда "подскажите серию где...".
В общем, вам работы непочатый край:)
Добрый день!
у нас такая проблема и даже не знаю как её решить
сайт для России, виден хорошо а вот для Украины и Беларусии, Казахстана выдает только Яндекс а Гугл вообще не видит. Таргетинг по странам - отключен был месяц назад.
Приветствую.
Чтобы помочь вам с вашим вопросом, мне нужны ответы на несколько моих:
1. Что вы имеете в виду под "Таргетинг по странам - отключен был месяц назад."? Вы удалили региональные страницы? Или что-то сделали в панелях вебмастеров? В каких и что?
2. "Выдаёт только Яндекс" — вы о позициях или о трафике? У вас нет трафика из этих регионов/поисковых систем? Или в чём проблема?
3. Какая итоговая ваша цель (кроме ссылки с блога Нетпик:)?
Если не хотите афишировать, можно написать лично на почту: a.melikian@netpeak.net
Артем, перерыл кучу всего, ответа в гугле так и не нашел ответа((( подскажите пожалуйста:
1. сайт https://amper-group.dp.ua (у меня сайте переезжал с платной платформы на отдельный движок, отсюда и проблемы)
в гугл webmasters непонятная штука: в sitemap подготовлено 600 ссылок, скормлено гуглу. судя по печальному графику в "Статус индексирования", за 1 месяц сайт проиндексировал 233 ссылки, в течение 5 месяцев гугл оставил только 83 и график падает. В разделе Сканирования, "Файлы Sitemap" 600 страниц отправлено, 60 проиндексировано... Далее в гугле вводим site:amper-group.dp.ua где получаем выдачу в 792 ссылки?!?
Для сбора статистики о своем сайте, скажем на a.pr-cy.ru, получаем, что в индексе у гугла все ок и там 650 ссылок есть. Впрочем, я разными сервисами пользовался для мониторинга и все около 600+ ссылок выдают.
Вопросище: как? Кому верить? математика - это же точная наука, но данные от самого гугла отличаются в 10 раз.... Инструменты нужны, чтобы мониторить, следить и исправлять ошибки. Что можно исправлять, если инструменты врут.
2. При переезде со старого движка было около 550 ссылок на сайте. Все было отловлено (ссылки поменялись) и запихано в "Удалить URL-адреса" в том же Search Console потому ,как все ссылки стали ЧПУ и все стало лучше. Но в разделе Ошибки сканирования - "Не найдено страниц с таким адресом 78 шт". Как говорит гугл, если страницы нет, то он из выдачи удалится, если мы используем их инструмент и 90 дней будет там, при повторном сканировании сайта, из кэша удалятся эти битые URL. Уже по 3-ю кругу вынужден скрывать эти ссылки от бота потому, что выдает опять, что ссылки не может найти? Как это работает? Гугл молчит... При чем, если бот нашел эти ссылки и они 404, то при переходе, мы попадаем на нормальную страницу моего сайта, где любезно сообщается, что можно перейти на главную и все будет ок.
Берем эту ссылку 404 и тем же способом смотрим, в индексе ли она в гугле (раз бот ее находит снова и снова). site:...... и ЕЕ просто там нет, выдает, что результата нет. То есть бот находит то, чего в выдачи нет и в кэше гугла не осталось? Это как так? Но в личном кабинете, мне у меня 78 ошибок каким-то образом возникают снова и снова... Я искренне не понимаю, как это работает... Инструкции от гугла - полная чушь и, написаны не для людей, там ничего не понятно.
Если бы вы могли дать ответы на эти 2 вопроса, я бы был безгранично благодарен)))
Александр, спасибо за комментерий.
К сожалению, гугл и другие поисковые системы не общаются с нами прямо. Но суть их ответов одна: делайте хорошо.
Конкретно по вопросам и вашему сайту.
1.1. Печальный график индексирования говорит о проблемах с качеством. Падает график? Проблема. Надо искать причину. О причинах будет ниже.
1.2. В выдаче 792 страницы. Это показатель которому верить надо частично.
Если бы по запросу "site" выводилась стопроцентная инфа, то в этой статье не было бы смысла:)
Но одно точно: гугл знает минимум о 792 страницах вашего сайта. Возможно больше.
2. Тут у меня вопрос, зачем вы удаляли адреса при переезде?
Я не слышал о таких методах. Обычно ставят редирект со старого адреса на новый. Так мы сообщаем гуглу что инфа переехала, а не исчезла.
Если гугл находит ссылку на 404 и постоянно говорит об этой ошибке, значит где-то есть такая ссылка. Страницы в индексе нет. Но ссылка на неё где-то есть. Может это ваш сайт, а может какой-то сторонний. Это надо изучать.
По сути, ошибки в разделе "Ошибки" не критичны, если их внезапно не стало очень много или что-то другое неорганическое не произошло. Есть отдельная статья на эту тему: анализ ошибок в GSC.
Проблемы amper-group.
Просканировав сайта я нашёл 1419 страниц. Часть из них дубли.
Сайт доступен по двум протоколам https и http. И на сайте есть ссылки на две версии.
Это дублирует весь сайт. И из-за этого может быть плохое сканирование. И индексирование. И ранжирование. И конверсии. И т.д.
Это важнейшее что надо исправить. Дальше есть средние и мелкие проблемы в виде спама в метатегах, перепутанных keywords и description местами, не юзер-френдли фильтры и другое.
Кстати, Google Search Console у вас какой версии сайта: http или https? Может быть остальные данные в другое версии?
С переездом на https мы можем помочь. Тут акция до 29 июня, может будет интересно.
Выводы:
1. Количество страниц определяете только вы. На основе того, сколько есть на сайте. Сколько из них качественных — о стольких должен знать гугл.
2. Google слабо сканирует и индексирует — лезем на сайт и ищем проблемы внутри.
Александр, рад буду ответить на вопросы, если они появятся.
Артем, спасибо, что откликнулись.
1.1. Делать хорошо - это и делаем, проблема в том, что граница "хорошо" - размыта, увы!
У нас 80-100% уникальный текст от статей, до описания товаров, никакой кописпасты, все с нуля писалось и проверялось
на плагиат. Далее, все тайтлы, дискрипшены и H1 все прописано, о чем говорят сервисы, которые проверяют страницы на
релевантность или соответствие. Ничего не заспамлено и (как могли) сео-птимизировали.
ГЛАВНОЕ: статисткиа не падает посещаемости. У нас как было 6-9 средняя посещаемость в сутки, так и осталась.
2. Изменяли ссылки по 2-м причинам: 1. Они не были ЧПУ, у нас было более 3-4 подкаталогов, что портило картину "имей
максимум 1-2 подкаталога и будет тебе счастье"; 2. Это был Пром.юа... где результат за год был таким же или чуть еще
хуже + ссылки их были типа "/p23422235-rozetki". Не думаю, что для СЕО очень полездно иметь мусор в виде набора цифр
(из-за движка). Поэтому мы изменили структуру сайты на нашем движке и уменьшили с 4-х подкаталогов до 1-2.
"Если гугл находит ссылку на 404 и постоянно говорит об этой ошибке, значит где-то есть такая ссылка. Страницы в
индексе нет. Но ссылка на неё где-то есть. Может это ваш сайт, а может какой-то сторонний" - вот не мог додуматься
сам, а вы подсказали, скорей всего вагон тех ссылок осталось на самом проме... но их убрать у нас нет возможности.
Они же не будут чистить свой мусор от нас, когда мы ушли. НАоборот звонят каждый месяц и умоляют вернуться и
заплатить им по новой.Спасибо за ссылку на статью, поизчаю, успокоили.
"Сайт доступен по двум протоколам https и http. И на сайте есть ссылки на две версии.
Это дублирует весь сайт" - значит нужно выходит вручную посмотреть перелинковку внутреннюю и поисправлять, скажем, все на https и тогда станет легче, верно?
По фильтрам СПАСИБО! скрин хороший, нужно это исправить... не дружелюбно, согласен на 100%.
Google Search Console: я когда регистрировал было "https://amper-group.dp.ua/" (исправлено) - это сейчас в личном кабинете есть. И я только сейчас вспомнил, что месяцем позже у хостера-то я сменил протокол на https, я ей богу не знал, что это может повлиять, это ведь не доменное имя и не www, а лишь протокол. Нужно изменить все, скажем и везде на https, чтобы привести к одному знаменателю? Тогда исчезнут дубли и статистика будет полная по сайту, а не по его клону?
Вы мне подсказали очень много интересного, о чем я только догадывался. Изучу вашу акцию потому, что мне нужно продвинутся по гуглу, а не сидеть на его задворках.
"значит нужно выходит вручную посмотреть перелинковку внутреннюю и поисправлять, скажем, все на https и тогда станет легче, верно?"
Не только. Да, все внутренние ссылки надо исправить на актуальные. Внешние, какие можно, тоже. И сами страницы должны редиректить на https. Это очень важно.
Вот статья о переезде, может будет полезно.
"Нужно изменить все, скажем и везде на https, чтобы привести к одному знаменателю? Тогда исчезнут дубли и статистика будет полная по сайту, а не по его клону?"
Да, надо создать новую консоль и привязать её к https версии. Все проблемы это не решит, но картина будет более актуальная.
просто отпишусь, чтобы читатели видели, чем закончилась моя история. Я продел все, что мне порекомендовали и разобрался шаг за шагом, как перейти с http на https. Итог: из 600 поданных страниц на индекс - уже 546 в индексе за неделю. Парочка ошибок вылезли (search console), но я теперь знаю, как их устранить. Ключ в том, что для поисковиков - это разные сайты и он видит их как дубли. А еще редирект, который был на хостинге выбран, а в .htaccess не прописан! Не путайте, люди, это не одно и то же) Поэтому, рейтинги сайта стремительно падали.
В результате самостоятельные действия увеличивают сейчас посещаемость и показы. Индексируются те страницы, которые в принципе не попадали ранее в индекс. Буду работать дальше над улучшением СЕО. Сейчас по некоторым ключевым запросам мы уже в ТОП 10 и это первые две недели....
Да, табличка хороша, но уже не на столько под Гугл( Досадно.
Спасибо за статью, было полезно =)
Спасибо!
Вы проверяйте иногда. Может Google поубавит строгости и табличка снова будет работать. Так иногда происходит.
Хоть по конкретной моей ситуации не помогло, но спасибо за табличку.
Долго не мог понять почему не индексируется страницы в blogger. В тестах "Инструмент проверки файла robots.txt" всё зелено. noindex тоже не ставил. До тех пор пока не разобрался в перенаправлении на мобильные страницы, с добавочным адресом "/?m=". Его то я и заблочил robots, расчитывая, что это дубль)
Видимо гугл считает, раз мобильная версия страницы блокируется, значит она и вовсе индексироваться не должна.Похоже нужна статья, что делать с мобильной версией в связи с Mobile-first.
Вы же убрали блокировку и поставили canonical?
Как я понимаю сейчас уже почему-то IMPORTXML не хочет вытягивать данные из страниц типа https://www.google.com/search?q=site:website.com ???
Вытягивает, но не очень активно. И судя по всему, лучше ситуация не будет.
Раньше можно было по 1000 адресов закидывать и проверять. Сейчас сервисы гугл ставят более жесткие лимиты на это. Так что рекомендую пользоватья другими методами проверки индексации.
Доброго времени суток Артем. Большое Вам спасибо за статью. Но у меня все таки остались вопросы. Помогите разобраться, мой сайт индексируется или нет? https://rockwheel.com.ua
Дело в том что в поисковой строке Гугл когда вписываю site:rockwheel.com.ua, то инфо какую-то выдает аж десять страниц, а вот в Гугл Консоль пусто и глухо как в танке. Заранее спасибо. После ответа можете скрыть либо удаль мой вопрос.
Привет!
Спасибо за отзыв.
Можно скрин из GSC? Может что-то неправильно настроено. Или это GSC не того сайта (да, так бывает).
Есть ли органический трафик на сайт из поисковых систем? Если есть, то скорее всего ваш сайт индексируется.
Конечно можно заморозить.
Для этого надо скопировать ячейку и вставить её в виде значений (без формул – ctrl+shift+v).
Это можно сделать со всей строкой или даже со всей таблицей.
Чтобы не потерять саму формулу, её можно скопировать на соседний столбец:
Добрый день! Подскажите, пожалуйста, в чем может быть проблема.
В search console указано, что индексируются 63 страницы (раньше было 121). При этом в поиске с использованием site: гугл находит 209 страниц (из них 102 дублированных). Откуда такое расхождение и каким сведениям верить?(
Приветствую!
Есть предположение, что у вас на сайте 63 полезные проиндексированные страницы (плюс-минус). Хотя Google знает и еще хранит в базе инфу о 209 страницах. И отдает их по запросу site.
И, как вы и написали, там много дублей. Они не участвуют в результатах выдачи.
Именно поэтому Search Console отдает 63 страницы.
Это предположение, чтобы подтвердить или опровергнуть нужно больше данных и доступов:)
Еще из идей: это могут быть баги или фичи Search Console. У них последнее время такое случается всё чаще и чаще.
Во-первых хочу сказать спасибо за статью "Как быстро проверить индексацию сайта в Google и Яндекс"
Во-вторых спасибо за таблички
Прошу помочь с второй табличкой - сделал всё по инструкции ( моя гугл табличка ), но она не показывает вообще не чего с яндекса. Что я не верно сделал?
Спасибо за фидбек.
Да, сейчас Яндекс поменял формат выдачи и, судя по всему, тестирует разные варианты. Он начал подмешивать по запросу site в результаты соцсети. Выводить по 15-20 результатов вместо 10.
В условиях динамически меняющейся выдачи сложно сделать универсальный инструмент в таблицах.
Но я попробую исправить и отпишу о результатах.
Свершилось!
Яндекс устаканил свои нововведения. Теперь выдача по 15 результатов.
Таблицу обновил в посте. На всякий случай дублирую сюда: https://goo.gl/5AcFwq
Но сильно я её не тестил (с выходом нового Netpeak Checker юзаю только его), так что если будут ошибки в таблице – пишите, разберемся.
скопировал себе табличку один в один.
Не работает -
http://prntscr.com/eh0uzs
http://prntscr.com/eh0vm7
что я сделал не так?
Добрый день.
Всё так. Проверил. Табличка в норме и актуальна.
Бывают такие дни у Гугла. Он не дает себя парсить.
Попробуйте завтра.
Артем, добрый день!
Подскажите, пожалуйста, как можно ускорить индексацию на сайте новых страниц с новинками товаров. К примеру в феврале добавила 60 новинок, а только 5-6 страниц проиндексированы по результатам полученным с помощью site.
Если добавлять ссылки на новинки сюда https://www.google.com/webmasters/tools/submit-url это поможет? И как часто можно пользоваться этим сервисом?
Добрый день, Татьяна.
Для начала надо разобраться, действительно ли этих новинок нет в индексе? Как показывает практика, есть много технических проблем, которые вводят в заблуждение в вопросе индексации. Например, если на сайте есть проблема с дублями, то можно искать в индексе просто не ту копию страницы.
Если проблема с индексацией таки есть, то тут важен коплексый подход:
1. Качество контента.
2. Частота обновления контента на сайте.
3. Техническая оптимизация.
4. Хорошая внутренняя перелинкова.
5. Хороший внешний ссылочный профиль.
Если с этими пунктами проблем нет, то все страницы будут максимально быстро попадать в индекс.
В любом случае можно и нужно использовать инструменты, которые нам предоставляют поисковые системы.
Но оба эти инструмента точечно решают проблему.
"Посмотреть как GoogleBot" разрешает добавлять 500 страниц и 10 страниц+прямые ссылки в месяц.
А "submit-url" вручную через капчу. И чем больше добавлять, тем больше капчи.
И еще важный момент: с помощью этих инструментов можно загнать страницу в индекс, но как долго она там продержится и будет ли приносить трафик – неизвестно.
– Есть ли еще способы?
– Да!
1. Перелинковка.
Робот уже проводит какое-то время на вашем сайте, сканируя страницы, уже известные ему.
Разместите ссылки на новики на этих страницах – чем ближе к главной (популярной) тем лучше.
2. Внешние ссылки и соц. сигналы.
Попробуйте Google+.
3. Карты сайта.
Есть методика добавлять в карту сайта только новые страницы или только не проиндексированные.
Повторюсь, если на страницах технические или качественные проблемы, то страницы или не будут попадать в индекс или будут там совсем не долго.
И еще вопрос о Search Console - может новые странички лучше через сканирование добавлять http://prntscr.com/eam28i?
Приветствую, Елена!
Таблички могут давать сбои и это нормально.
Часто Google или Яндекс могут не позволять парсить себя. И тогда в табличке появится пометка "Нет".
На всякий случая я проверил и кое-что актуализировал.
Теперь должно всё рабоать.
Возможно надо дать время табличке проверить.
Если не исправится – пишите, попробуем как-то еще решить вопрос.
Артем, здравствуйте.
Получается у меня какая-то ерунда.
Вот страница новой коллекции, которую я залила относительно недавно:
http://atelier.kharkov.ua/katalogi/collection-new-ladies-2017/category/61/svadebnie-platya-2017---kollektsiya-new-ladies.html?limit=20&start=40
При вводе в поисковике с оператором site: я получаю: 2 результата в Гугле и 0 в Яндексе.
При вводе через табличку я получаю Нет и в Гугле, и в Яндексе.
Тогда пробую проверить старую статью, которая - я это точно знаю - не только в индексе - она в самом что ни на есть топе, и даже, - вместе со статьей по моде барокко, уже давно гуляет по учебникам!
http://atelier.kharkov.ua/vse-o-svadbe/history-rococo.html
Проверка через site: - Гугл и Яндекс - "да", табличка - однозначное "нет".
Но Яндекс позволяет парсить только после проверки через капчу. Так что он при проверке более чем одного адреса однозначно не работает.
Еще. Я вчера попробовала также скопировать полученные данные в другой столбец, чтобы сохранить сведения и наблюдать затем динамику, но ничего путного из этого не вышло. Там ведь везде абсолютная адресация, так что у меня получилось одно сплошное "нет" везде. Вероятно, нужно вставлять просто как данные - без формул, через Специальную вставку.
И еще: обращение и search идет сразу автоматически? По открытии таблицы? Или нужно каждый урл вручную обновить, чтобы получить свежие данные? Или это вообще перманентный процесс и боты сканируют адрес постоянно?
Спасибо.Добрый вечер, Елена.
Проверил ваши данные.
Вот итог:
1. Да действительно, приведённого вами первого url нет в выдаче, так как он содержит get-параметры. В данном случае это 3я страница пагинации. Её нет в индексе поисковых систем.
2. По поводу второй ссылки, приведенной вами.
Табличка отдала правильные значения.
3. Насколько я понял, вы используете оператор "site" при проверке вручную. Табличка же проверяет по оператору "info" для Google и "url" для яндекс.
В чем отличие операторов?
site – отдает информации обо всем сайте (начиная от текучего url).
info/url – об это и только этом url.
Если рассмотреть ваш пример, то вводя адрес 3-й страницы с оператором site, получаем результат, что в индексе есть первая страница (без параметров) и вторая (с параметром start=20).
4. Капча. К сожалению, эта проблема есть.
Чем больше автоматических запросов в поисковые системы отправляется с вашего IP, тем больше вероятность капчи.
Так что проверять сотни и тысячи страниц постоянно будет сложно.
По этой причине таблица может отдавать неверные данные.
5. Чтобы получать результаты точнее постарайтесь:
5.1. Разбить список проверяемых url на несколько частей и разместить в разных копиях таблицы.
5.2. Хранить таблицы, без формулы (обращение и парсинг происходит все время, пока таблица открыта).
5.3. Запускать проверку только по надобности и не более одной таблицы за раз, растянув формулу из 4 строки на все url.
5.4. Когда результаты готовы, выделить столбцы B, C и скопировать данные (ctrl+C) и вставить специальной вставкой, как вы и говорили – ctrl+shift+V, на соседние столбцы. Тогда вставятся только значения.
Из колонок B и C данные можно опять удалить, но оставить только первые строки в качестве шаблона.
P.S.
Вам надо бы оптимизировать страницы пагинации, как можно скорее:
1. Убрать параметры из ссылки на первую страницу.
2. Внедрить атрибуты next и prev.
3. Внедрить на все страницы пагинации, кроме первых страниц, мета-тег с name="yandex" и с содержимым "noindex".
4. Текст оставить только на первой станице.
Кроме этого на сайте много других проблем. Рекомендую уделить особое внимание технической оптимизации;)
Помоему в статье путаются понятия "индексация роботом" и наличие в поиске.
Индексирующий робот и выдача поисковой машины это разные механизмы, хотя и тесно связаны.
Если сайт наполнен мусорными страницами и гугл выбросит их из индекса, то это положительно скажется на трафике, хотя выглядит как "проблема" на скрине в статье.
Приветствую, Дмитрий.
Спасибо за замечание. Да. На самом деле нужно эти понятия различать. И в статье я говорю о проверке индексации, а не о поисковой выдаче (которая формируется именно из проиндексированных страниц).
"Если сайт наполнен мусорными страницами" – это проблема и не может положительно сказаться на трафике. Проблема, с которой надо работать. Определив это, можно исправить страницы. Сделать их полезными.
В этом и есть цель статьи.
при переходе на https, страницы не индексируется! Что это может быть?
Подробно о переходе на https читайте здесь:
http://blog.netpeak.ua/kak-pereyti-na-https-za-12-chasov-i-sohranit-trafik/
Переход на https – это отдельная тема. Есть очень много пунктов, почему может не индексироваться.
Вы уверены, что переход выполнен корректно?
Как определить, что перенос был корректен?
Вот пару статей:
http://blog.netpeak.ua/kak-pereyti-na-https-za-12-chasov-i-sohranit-trafik/
http://blog.netpeak.ua/kak-pereyti-na-https-i-ne-ostatsya-nevidimkoy-v-google-analytics/
Ознакомьтесь внимательно. Проверьте, все ли пункты выполнены? Можно еще найти информацию в сети, например:
https://devaka.ru/articles/moving-to-https
у вас все ссылки в комментах с тегами на конце, поэтому отдают 404. уже не в первой статье замечаю. или так надо...?)
делал по Вашим статьям! Все поменял, все страницы переходят на https
Что делать с sitemap, его добавить в webmastera и достаточно?
"делал по Вашим статьям! Все поменял, все страницы переходят на https"
Если вы уверены, что выполнили все пункты и выполнили правильно, без ошибок – тогда надо ждать. В зависимости от разных факторов переиндесация может занять много времени.
"Что делать с sitemap, его добавить в webmastera повторно и все?"
Актуализировать sitemap согласно новому протоколу и да, добавить его в панели вебмастеров.
Зачем мудрить с таблицами, есть копеечный сервис (но до 1000 урлов парсит в выдаче) - СеоБюджет, 8 руб за парсинг берет, с Гуглом не работает. Второй вариант - программа от Алаича, Компарсер, 1.5к стоит, но универсальный.
Согласен с вами, Андрей. Об этом я и написал в 4 пункте.
Но все же помудрить с таблицами бывает интересно, особенно когда из этого получается что-то полезное.
А я верю, что эти таблички оказались полезными для читателей.
Кстати, Компарсер уже стоит 2К в противовес бесплатной табличке:)
Скажите, а можно ли парсить позиции сайта в google spreadsheet с помощью IMPORTXML и XPath Expression?
Просто парсить не получится. Так как IMPORTXML выгружает данные, но никак не обрабатывает. Это могут сделать функции Google Spreadsheet.
В теории можно выгрузить топ по фразе и проверять соответствие нужному домену. Но в больших объемах это не сработает. И даже в средних. Для более чем 10 запросов выгоднее воспользоваться готовыми сервисами парсинга.
"Букмарклет «Проверка индексации»" кажется в ссылке ошибка, не работает
Спасибо, что заметили. Иногда Javascript шалит. Исправили ссылку.
все круто, но есть одно, индексация не до конца проверяет так как скорее всего где-то попадается капча(((
Олег, вы о таблице проверки индексации или о Netpeak Spider?
В случае с таблицей, Да. Но! Я обычно не загружаю туда сотни тысяч страниц. Только основные. И подождать. Можно оставить на пару дней. Точечно проверяю результаты вручную. Если ок – фиксирую. Если нет – жду еще.
я писал о таблице, Netpeak Spider не умеет к сожалению проверять список ссылок на индексацию(((
Не расстраивайтесь, Олег!
Netpeak Checker работает со списком ссылок. Пока что он больше для анализа доменов. Но там работают толковые ребята и постоянно улучшают продукт. Так что скоро будет всё очень круто:)
Чтобы оставить комментарий, необходимо авторизироваться