Блог про интернет-маркетинг для бизнеса

SEO

Netpeak Spider — бесплатный помощник при составлении технического аудита сайта

166
112
12
12

Мы решили поделиться еще одной программой, которая была написана нашим секретным подразделением программистов и ранее использовалась только внутри компании. Программа называется Netpeak Spider и она помогает составить технический аудит сайта. А конкретнее:

  • сканировать сайты с помощью собственного робота;
  • искать ошибки на сайтах (битые ссылки, неправильные редиректы, дублирование Title, Keywords и Description);
  • анализировать входящие и исходящие внутренние ссылки для каждой страницы;
  • рассчитывать внутренний PageRank;
  • экспортировать данные в Excel.

Внешний вид главного окна программы выглядит так:

В настройках можно гибко настраивать количество потоков парсера, т.к. можно ненароком "уронить" сайты на некоторых хостингах. Есть возможность просканировать только определенный раздел сайта. То есть, если какая-то категория на сайте подверглась изменениям, то можно проверить на ошибки только ее.

Ошибки, найденные на сайте, вынесены в отдельный список:

В настройках сканирования можно включать/отключать подсветку ошибок, сканирование поддоменов, использование robots.txt и т.д.: Интересной функцией является расчет внутреннего PR с учетом и без учета сквозных внутренних ссылок на сайте: Вряд ли найдется человек, который хочет, чтобы интернет был завален сайтами, у которых есть технические проблемы. Поэтому и отдаем данную программу вебмастерам, интернет-маркетологам и другим заинтересованным людям совершенно бесплатно. Надеемся, что Netpeak Spider станет полезным инструментом и в вашем арсенале. Вся подробная информация о возможностях и обновлениях программы находится на этой странице.

Комментарии (89)

  1. 0
    год назад

    Добрый день! ИНтересует вопрос или при расчете веса pr программа использует данные nofollow? так как столкнулся с проблемой ссылки по закрывал а вес не изменился. Спасибо

    • 1
      Олег
      год назад

      Здравствуйте, Олег!

      В текущей версии Netpeak Spider (т.е. до 2.0) параметр nofollow в ссылках вообще никак не учитывается, даже для сканирования; я уже не говорю о расчёте внутреннего PageRank.

      Однако могу вас порадовать: мы уже почти доработали версию 2.0 для выпуска в паблик (сейчас проводится финальное тестирование) и совсем скоро вы увидите новую программу, в которой атрибут nofollow в ссылках будет учитываться, исходя из ваших потребностей (для этого будет отдельная настройка). Сразу скажу, что расчёт внутреннего PR мы будет основательно переделывать, потому именно в 2.0 версии вашу проблему решить не удастся, однако вы дали интересную идею, которую мы должны будем учесть при дальнейшей разработке, за что отдельное спасибо :)

      Потому подытожу: ждите новую версию, а дальше будем держаться на связи и вместе делать лучший кроулер в мире!

  2. 0
    год назад

    Программа супер) Спасибо всем за труды.
    Но в последней версии, как мне кажется, сканирование по гуглу не работает =(

    • 0
      Evhen
      год назад

      Спасибо за приятный отзыв! :) Мы готовимся к запуску новой версии нашего продукта, в котором постараемся решить проблему с пробивкой в Google: если не в первой версии, то в последующих точно. Ждите, будет круто!

  3. 0
    год назад

    Подскажите, а что означает ответ сервера: "11 ServerProtocolViolation"?

    • 0
      Alexandr Suhorukov
      год назад

      Александр, здравствуйте!

      Наши пользователи иногда сталкиваются с подобной проблемой → её причина в неправильной структуре HTTP ответа вашего сервера.

      Например, у одного из наших пользователей была проблема, связанная с высокими нагрузками на сервер, из-за чего начиная с N-ого результата сканирования у него появлялись подобные ошибки. Если поставить сканирование в 1 поток с задержкой между запросами, к примеру, 2 секунды, то такие ошибки появляются значительно реже.

      Как бы там ни было, сервер отдаёт информацию неправильно, потому нужно решать эту проблему: пускай она связана нагрузками, HTTPS-протоколом или другими вещами.

      Если у вас возникнут ещё какие-нибудь вопросы, пожалуйста, обращайтесь к нам на сайте http://community.netpeak.net/ → это более быстрый и чёткий способ связи с нами.

  4. 0
    год назад

    Не могу зайти в программу. Требует регистрацию. При попытке регистрации выдает ошибку. -

    User: Anonymous
    Application version: 1.0.13.2
    ---
    System.ServiceModel.EndpointNotFoundException: There was no endpoint listening at http://188.40.70.205:50023/PublicRegistrationService.svc that could accept the message. This is often caused by an incorrect address or SOAP action. See InnerException, if present, for more details. ---> System.Net.WebException: Unable to connect to the remote server ---> System.Net.Sockets.SocketException: Сделана попытка доступа к сокету методом, запрещенным правами доступа 188.40.70.205:50023
    at System.Net.Sockets.Socket.DoConnect(EndPoint endPointSnapshot, SocketAddress socketAddress)
    at System.Net.ServicePoint.ConnectSocketInternal(Boolean connectFailure, Socket s4, Socket s6, Socket& socket, IPAddress& address, ConnectSocketState state, IAsyncResult asyncResult, Int32 timeout, Exception& exception)
    --- End of inner exception stack trace ---
    at System.Net.HttpWebRequest.GetRequestStream(TransportContext& context)
    at System.Net.HttpWebRequest.GetRequestStream()
    at System.ServiceModel.Channels.HttpOutput.WebRequestHttpOutput.GetOutputStream()
    --- End of inner exception stack trace ---

    Server stack trace:
    at System.ServiceModel.Channels.HttpOutput.WebRequestHttpOutput.GetOutputStream()
    at System.ServiceModel.Channels.HttpOutput.Send(TimeSpan timeout)
    at System.ServiceModel.Channels.HttpChannelFactory.HttpRequestChannel.HttpChannelRequest.SendRequest(Message message, TimeSpan timeout)
    at System.ServiceModel.Channels.RequestChannel.Request(Message message, TimeSpan timeout)
    at System.ServiceModel.Dispatcher.RequestChannelBinder.Request(Message message, TimeSpan timeout)
    at System.ServiceModel.Channels.ServiceChannel.Call(String action, Boolean oneway, ProxyOperationRuntime operation, Object[] ins, Object[] outs, TimeSpan timeout)
    at System.ServiceModel.Channels.ServiceChannelProxy.InvokeService(IMethodCallMessage methodCall, ProxyOperationRuntime operation)
    at System.ServiceModel.Channels.ServiceChannelProxy.Invoke(IMessage message)

    Exception rethrown at [0]:
    at System.Runtime.Remoting.Proxies.RealProxy.HandleReturnMessage(IMessage reqMsg, IMessage retMsg)
    at System.Runtime.Remoting.Proxies.RealProxy.PrivateInvoke(MessageData& msgData, Int32 type)
    at Spider.Services.PublicRegistration.IPublicRegistrationService.Register(UserInfo info, String locale)
    at Spider.Services.RegistrationServiceProxy.Register(String name, String email, String phone, String company, String locale)
    at Spider.Views.Register.RegisterView.b__0()
    at System.Runtime.Remoting.Messaging.StackBuilderSink._PrivateProcessMessage(IntPtr md, Object[] args, Object server, Int32 methodPtr, Boolean fExecuteInContext, Object[]& outArgs)
    at System.Runtime.Remoting.Messaging.StackBuilderSink.AsyncProcessMessage(IMessage msg, IMessageSink replySink)

    Exception rethrown at [1]:
    at System.Runtime.Remoting.Proxies.RealProxy.EndInvokeHelper(Message reqMsg, Boolean bProxyCase)
    at System.Runtime.Remoting.Proxies.RemotingProxy.Invoke(Object NotUsed, MessageData& msgData)
    at System.Action.EndInvoke(IAsyncResult result)
    at Spider.Views.Register.RegisterView.b__1(IAsyncResult arg)
    at System.Runtime.Remoting.Messaging.AsyncResult.SyncProcessMessage(IMessage msg)
    at System.Runtime.Remoting.Messaging.StackBuilderSink.AsyncProcessMessage(IMessage msg, IMessageSink replySink)
    at System.Runtime.Remoting.Proxies.AgileAsyncWorkerItem.DoAsyncCall()
    at System.Runtime.Remoting.Proxies.AgileAsyncWorkerItem.ThreadPoolCallBack(Object o)
    at System.Threading.QueueUserWorkItemCallback.WaitCallback_Context(Object state)
    at System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean ignoreSyncCtx)
    at System.Threading.QueueUserWorkItemCallback.System.Threading.IThreadPoolWorkItem.ExecuteWorkItem()
    at System.Threading.ThreadPoolWorkQueue.Dispatch()
    at System.Threading._ThreadPoolWaitCallback.PerformWaitCallback()

  5. 0
    2 года назад

    Запустили его собирать данные на выходные, в понедельник выяснилось, что он завис и все коту под хвост :(

    • 0
      Alexandr Yaroslavtsev
      2 года назад

      Александр, здравствуйте!

      1. Если у вас возникают какие-то проблемы в работе наших программ, пожалуйста, пишите не сюда, а на специализированное комьюнити → http://community.netpeak.net/

      2. А теперь про зависание: в данный момент Netpeak Spider работает исключительно с оперативной памятью, сохраняя в неё все данные, которые были просканированы. В такой реализации есть свои плюсы (скорость пробивки и анализа данные) и минусы (невозможность работы с большими сайтами, например, с >30000 страниц, откуда и зависания). Мы об этой проблеме знаем, потому готовим новую версию Netpeak Spider, которая будет работать по новому, уникальному для рынка подобных программ, алгоритму.

      Пока вы не дождались этой версии, я советую использовать Netpeak Spider для сканирования до 10000 страниц → разумеется, если сайт состоит из, к примеру, 1 млн. страниц, то вы все ошибки не увидите, но, поверьте, на этих 10000 страниц вы увидите самые распространённые шаблоны ошибок на вашем сайте (битые ссылки, неправильные редиректы, отсутствие нужных тегов, мета-тегов или их дублирование и т.д.). Исправив именно шаблонные ошибки, вы сможете с большой вероятностью быть уверены, что их не будет на остальных 990000 страниц.

  6. 0
    2 года назад

    Доброго времени! Отличная программа. Но есть один вопрос - при прогоне сайта показывает некоторые страницы с ошибкой 403, однако страницы работают и проиндексированы яндексом. В чем может быть причина?

    • 0
      Алексей Романьков
      2 года назад

      Здравствуйте, Алексей!
      Одной из причин может быть то, что у вас стоит определённая "защита от роботов", которая при большом количестве запросов, запрещает доступ к контенту. Если вы не являетесь разработчиком сайта, а просто пользуетесь готовыми CMS, то, возможно, такая защита вшита в данную CMS.

      Попробуйте снизить до минимума количество потоков в Netpeak Spider и проверить, будет ли снова появляться эта ошибка.

  7. 0
    3 года назад

    доброго времени суток. не могу опробовать, а по отзывам очень достойный софт, т.к. при регистрации вылетает с ошибкой... win7 64. что может служить проблемой?

  8. 1
    3 года назад

    Спасибо за прогу, хорошо работает, интуитивно понятная ))) Создавайте еще...

    • 0
      Олег.
      3 года назад

      Спасибо за отзыв! У нас наработки есть, вопрос только во времени появления в паблике)

  9. 0
    3 года назад

    Ребята подскажите может кто сталкивался программа перестала работать и постоянная ошибка после реинстала "Прекращена работа программы Spider" при запуске

    • 0
      Дмитрий
      3 года назад

      Прошу прощения, Дмитрий.
      В старых версиях приложения имела место проблема которую вы наблюдаете.
      Дистрибутив приложения на сайте обновлён. Пожалуйста, скачайте с сайта дистрибутив приложения и переустановите его - это должно решить проблему.

  10. 0
    3 года назад

    Еще раз здравствуйте.
    На этот раз я с предложениями по функционалу программы. К сожалению, http://community.netpeak.ru/ не открылся, поэтому пишу тут.

    Мне лично не хватает таких еще функций:
    1. Анкор-лист страницы,
    2. Анкор-лист сайта,
    3. ТОП используемых слов на страницах сайта,

    4. Проверка alt изображений: заполнено - кул, не заполнено или нет атрибута - ошибка.

    Этот функционал есть в других утилитах и было бы здорово, если бы все совмещалось в одной программе :)

  11. 0
    3 года назад

    Спасибо за программу! Пользуюсь регулярно.

    Заметил такой баг: при использовании robots.txt программа игнорирует инструкции вида
    Disallow: */somefilename.php

    • 0
      Максим Петров
      3 года назад

      Здравствуйте, Максим.

      Если вам не сложно - предоставьте пожалуйста пример сайта на котором вы наблюдаете данную проблему.

      Так же, рекомендую вам использовать для отзывов и баг-репортов наш сайт - http://community.netpeak.ua/

  12. 0
    3 года назад

    А я сегодня установила,но программа попросила меня зарегистрироваться для обнолений:указать емайл. Вот сижу жду,когда придет код активации к программе на мою почту. В комментах ни у кого такого не было. Почему так персонально для меня получилось?

    • 0
      Галина
      3 года назад

      Скачивала версию 1.0.11.8, а на компьютер установила версию 1.012.6. Может в этом проблема,что в новой версии не убрали регистрацию?

      • 0
        Галина
        3 года назад

        Здравствуйте, Галина.

        С версии [1.0.12.5] от 03.01.2014 регистрация стала обязательной.
        Данные на сайте (номер версии, список изменений), к сожалению, устарели, мы работаем над исправлением данного недочёта.
        Что касается кода активации - письмо могло попасть в "спам", попробуйте проверить. Если же и в спаме не окажется письма, то попробуйте повторить отправку кода активации на почту из приложения.

  13. 1
    3 года назад

    1 день ровно проработала ))) Отличная штука! Какие могут быть решения такой ошибки ? Версию качал тут, два дня назад.

    • 0
      Solid
      3 года назад

      аналогичная проблема на Win 7

      У Вас заработало? Поделитесь решением.

    • 0
      Solid
      3 года назад

      У меня таже ошибка. Отчет ошибки: Сигнатура проблемы:
      Имя события проблемы: CLR20r3
      Сигнатура проблемы 01: spider.exe
      Сигнатура проблемы 02: 1.0.11.9
      Сигнатура проблемы 03: 524ede90
      Сигнатура проблемы 04: ServiceStack.Text
      Сигнатура проблемы 05: 3.9.14.0
      Сигнатура проблемы 06: 505fd83a
      Сигнатура проблемы 07: 29b
      Сигнатура проблемы 08: 45
      Сигнатура проблемы 09: System.IndexOutOfRangeException
      Версия ОС: 6.1.7601.2.1.0.256.1
      Код языка: 1058
      Дополнительные сведения 1: 74ad
      Дополнительные сведения 2: 74ad5febf9fe0ed56e19fe45e07455ec
      Дополнительные сведения 3: 5af5
      Дополнительные сведения 4: 5af544f9fac892e83e37d8878ae3398d

      Ознакомьтесь с заявлением о конфиденциальности в Интернете:
      http://go.microsoft.com/fwlink/?linkid=104288&clcid=0x0419

      Если заявление о конфиденциальности в Интернете недоступно, ознакомьтесь с его локальным вариантом:
      C:\Windows\system32\ru-RU\erofflps.txt

    • 0
      Solid
      3 года назад

      Здравствуйте.

      Для диагностирования проблемы нам необходимы
      дополнительные данные. Пожалуйста, напишите нам на
      soft@netpeak.ua и приложите скриншот данного окна в развернутом
      состоянии (чтобы было видно подробности).

  14. 0
    3 года назад

    Тип сканирования: по Google - это сканирования страниц, которые находятся в индексе Google?

    Экспорт в Excel не очень удобно сохраняет данные.

  15. 0
    3 года назад

    Не запускается на Visty...пишет ошибка:CLR:80004005...что может быть?

    • 0
      Валерий
      3 года назад

      Здравсвуйте!
      Попробуйте установить или переустановить .NET Framework 4.0

  16. 0
    3 года назад

    Не помешало бы увеличить максимальное значение в поле таймаут, например до 3000

  17. 0
    3 года назад

    Что означает тип сканирования "По Google"?

    • 1
      Саша
      3 года назад

      Это означает, что вы в таблице увидите то, что видит Google на вашем сайте - то есть страницы из индексной базы Google на данный момент. К сожалению, у Google есть ограничение на несколько сотен страниц, потому если у вас сайт с 1 млн страниц, то вы увидите только первые несколько сотен.

      Крайне удобно, когда вы исправили все ошибки на сайте и при пробивке "По сайту" уже всё в порядке, а вот Google у себя в индексе держит ещё старые "плохие страницы" - вы это сразу же увидите и пойдёте удалять через Google Webmaster Tools )))

  18. 0
    3 года назад

    Сильно не хватает функции сохранения проекта и, соответственно открытия проекта, данные функции необходимы при работе с разными задачами в разные дни (к примеру, мне потребовалось выявить технические ошибки и составить список исправлений в первый день, закончил довольно поздно, во второй день я решил проверить входящие ссылки на ряд страниц, для этого мне пришлось снова запустить паука, что довольно-таки неудобно

    • 0
      Юрий
      2 года назад

      Этой функции действительно не хватает. Планируется ли подобная доработка?

  19. 3
    3 года назад

    отличный софт

  20. 0
    4 года назад

    Доброго времени суток! Оставлял на почте небольшой репорт на почту soft@netpeak.ua 5 дней назад. Ответа так и не получил.
    Пожалуйста.

  21. 0
    4 года назад

    Благодарю! надеюсь сослужит полезную службу!

  22. 0
    4 года назад

    Не распознает на некоторых сайтах кодировку.

    Вот фрагмент html кода страницы

    Вот пример сайта
    http://www.officetime.com.ua/goods-detskij-chemodan-na-kolesah-dinozavr-krasnyj.htm

    Я пробовал уже на других сайтах где есть такая же кодировка. И сканиться и распознается нормально. А эта не хочет.

    Причина может быть в странице или программе?

    • 0
      Алексей
      4 года назад

      Здравствуйте, Алексей.
      Спасибо за ваш комментарий, после проверки я вынужен сообщить, что в текущей версии приложения действительно присутствует проблема с опредлением кодировки из тега meta. Данная проблема будет исправлена в следующем обновлении.

  23. 1
    4 года назад

    Классный инструмент. Еще и бесплатно. Спасибо!

  24. 1
    4 года назад

    А где же версия на mac?

    • 0
      Shark
      4 года назад

      На данный момент у нас нет планов относительно выпуска версии для MAC.

  25. 0
    4 года назад

    Наглухо виснет на больших проектах, у меня с 4ГБ оперативки не смогло просканить сайт на 40 тыш. страниц, после 20 тыш начало безбожно лагать, а потом после нажатия кнопки стоп повисло на минут 10 и так и не отвисло.
    Оптимизируйте работу с RAM

    • 0
      roterQ
      4 года назад

      А можно поинтересоваться, что это был за сайт, если не секрет?

      • 0
        Ryogo
        4 года назад

        зачем ?

        • 0
          roterQ
          4 года назад

          Наверное, для того, чтобы понять, почему виснет :)

          У меня тоже 4GB оперативки и после 20 тысяч тоже может зависнуть, но развисает за секунды и дальше работаешь с данными как угодно.

          Главный вопрос - зачем сканить сайт на 1 млн страниц, если можно просканить 10 тысяч страниц и основные ошибки вы уже увидите?

          Просканили на 10 тысяч и ничего не нашли - попробуйте воспользоваться типом сканирования "По разделу" - он будет спускаться по категориям только начиная с введённого урла - и выше подниматься не будет, и в другие категории лазить тоже не будет.

          Короче говоря, программа достаточно универсальна, чтобы один раз приучиться работе с ней и легко выходить из разных ситуаций.

          В любом случае, спасибо, что написали!)

  26. 3
    4 года назад

    Спасибо, ребята, за замечательный софт!

  27. 0
    4 года назад

    Хорошая штука, но требует для запуска права админа - не очень хорошо, если узаешь ее в компании, где на рабочих компах стоят обычные права пользователей.
    И это печалька.

    • 1
      AImAlive
      4 года назад

      Этот вопрос в данный момент решается, так что ждите в ближайших обновлениях исправление этого, так сказать, "бага" :)

  28. 4
    4 года назад

    Screaming Frog, Page Weight + свои фишки в одном флаконе и бесплатно. Спасибо.

  29. 2
    4 года назад

    У меня нортон не дает скачать, говорит файл опасен и удален

    • 1
      Василий Ткачев
      4 года назад

      Очень странно: файл проверялся 47 антивирусами и ни один из них не счёл его опасным :(

    • 1
      Василий Ткачев
      4 года назад

      Здраствуйте, Василий!
      Послали запрос в Symantec на добавление программы в white-list. Причиной удаления файла являлось достаточно новая сборка(менее недели), а также малое количество пользователей, использовавших программу(имеющих данный антивирус). В данный момент антивирус добавляет файл на карантин, поэтому его можно восстановить и исключить из анализа.
      Как восстановить описано на официальном сайте нортона: http://community.norton.com/t5/Norton-Internet-Security-Norton/Clarification-on-WS-Reputation-1-detection/td-p/232155

  30. 0
    4 года назад

    Спасибо за бесплатный инструмент! Поюзал, работает нормально, хорошая альтернатива Xenu. Пока нашел один минус - нет правил на запрет индексирования определенных страниц либо категорий сайта, надеюсь в следующей версии это появится.

    • 1
      Aleksandr Nikolaev
      4 года назад

      Александр, а это не наводит вас на мысли о том, что PageRank сливается на вот такие страницы/разделы, которые вы так хотите закрыть от индексации?

      • 1
        Алекс Вайс
        4 года назад

        Смысл в том, что на одном из сайтов есть рубрика "Афиша", а в ней календарь событий до бесконечности, и программа уходит в цикл. Роботам я могу поставить запрет по правилу, а программе нет. По поводу PageRank там можно не беспокоится.

        • 1
          Aleksandr Nikolaev
          4 года назад

          В данный момент поставленная галочка "использовать robots.txt" носит чисто информативный характер. Появляется колонка robots.txt в которой отображается разрешено ли роботу ПС проходится по данным страницам, но робот спайдера проходит по всем страницам без исключения. В ближайшее время мы планируем внедрить фильтр поиска, вместе с ним обязательно добавим возможность включать спайдер в режим робота, аналогичного роботу ПС :)

          • 0
            Александр Стойловский
            4 года назад

            Вот еще одна просьба - когда индексируешь например от гугла и находит страницы с редиректом 301, то просто выдает url на который ведет этот редирект, но после не проверяет ответ сервера в случае перехода после редиректа на эту страницу.

            Вот пример:
            www.site.ru/old.php 301 -> www.site.ru/new.php -> ответ сервера?

            Иногда можно средиректить страницу неправильно на ошибочную, а программа это не показывает, а было бы неплохо чтобы она это определяла, таким образом можно будет подправить ошибочные редиректы.

            • 0
              Aleksandr Nikolaev
              4 года назад

              Александр,
              возможно я не до конца понял ваш комментарий, но в версии 1.0.6.0 от 18.07.2013 в поле "Ответ" всё работает именно так, как вы описали
              http://i.imm.io/1fFFr.png

              • 0
                Ryogo
                4 года назад

                ? странно у меня в этой версии просто показывает редирект без последующего ответа сервера. На вашем скриншоте красиво выглядит так и должно быть.

                • 0
                  Aleksandr Nikolaev
                  4 года назад

                  Александр, попробуйте, может быть, растянуть колонку по ширине - я раньше сам не знал, что там такая интересная информация, пока не потянул :)

          • 0
            Александр Стойловский
            4 года назад

            Ок, будем ждать.

        • 0
          Aleksandr Nikolaev
          4 года назад

          А я ещё раз намекаю на то, что, если на рубрику стоят ссылки, то они забирают тот "бесценный" PageRank, сколько бы вы не закрывали страницу/разделы от индексации.

          Не зря написано в кратком описании "сканирование сайтов с помощью собственного робота" - из-за этого программа ценнее, чем кажется на первый взгляд. Она позволяет посмотреть на сайт с точки зрения роботов: стоит ссылка - получает вес; нет ссылки - нет веса (под "весом" имеется в виду PageRank).

          • 0
            Алекс Вайс
            4 года назад

            Спасибо, я все прекрасно понял насчет PageRank, но я не могу ей проиндексировать сайт - уходит в цикл (смотрите выше почему). Потому определить PageRank для страниц этого сайта не представляется возможным.

            • 0
              Aleksandr Nikolaev
              4 года назад

              Всё, я вас понял. Попробуйте эту афишу закрыть от индексации с помощью правила в файле robots.txt и затем просканировать сайт с включённой опцией "Использовать robots.txt".

              Проблема может быть только в том, что у вас очень много всего закрыто в этом файле - тогда, разумеется, сканирование нельзя будет считать репрезентативным. Но попробовать стоит!

              • 0
                Алекс Вайс
                4 года назад

                Пробовал, не помогает. В роботе правило есть и корректно понимается Гуглом и Яндексом, но программа его не видит... и шурует по всем запрещенным страницам.

                • 0
                  Aleksandr Nikolaev
                  4 года назад

                  В таком случае это баг программы, который нужно будет исправить - а за его выявление спасибо вам! :)

                  • 3
                    Алекс Вайс
                    4 года назад

                    Не за что, спасибо вам за отличный инструмент!, пользуюсь вторые сутки нарадоваться не могу. Xenu забросил в ящик.

  31. 4
    4 года назад

    Отличный софт, спасибо! Утерли нос некоторым коммерческим аналогам.

  32. 1
    4 года назад

    Так інструмент корисний! Вже давно кристуюсь) Вже знайшов деякі баги, та й доробки по ньому потрібні.

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое