Ботовете на търсачките, при обхождане на страниците, в началото виждат кода на отговора на сървъра, а след това вече пристъпват към проверка на съдържанието на документа. Например, несъществуващите страници винаги трябва да дават 404 код. Защо? Google твърди, че страниците с код на отговор, различен от 404 и 410, ще се сканират. Така че, ако не знаете какви кодове дават страниците на Вашия сайт и как да ги проверите, поставяте под заплаха бъдещето на целия проект.
Какво е това «код на отговор от сървъра»
Това е трицифрено число, което сървърът връща на заявка от посетителя и благодарение на което се коригира бъдещата обработка на искания документ. След числото винаги има кратко пояснение на кода на английски език, разделено е с интервал, — първична инструкция към клиента при посещаване на страница или документ на сайта.
Кода на отговор от сървъра при обръщане към страница най-вече проверяват браузерите и ботовете на търсачките.
Как да проверим кода на отговор от сървъра
За да видите кода при работа с Google Chrome, използвайте таба Network на панела с инструменти на разработчика (за да отидете там, натиснете F12). След отваряне на панела, обновете страницата.
Също така може да използвате разширения за браузери: Live HTTP Headers за Firefox, HTTP Headers за Chrome. С тяхна помощ може с един клик да получите информация за отделните страници. А за масова проверка по списък с URL-и може да използвате Netpeak Spider, Netpeak Checker или онлайн-инструмента Urlitor (анализ до 150 URL-адреса).
Какво е това «класове на състояния»
Това са групи от кодове, обединени по определени признаци. Класът на състояние е означен от първата цифра в кода.
Съществуват пет класа:
- 1xx — информационни кодове. Те отговарят за процеса на предаване на данни. Това са временни кодове, те информират за това, че заявката е приета и обработката ще продължи.
- 2xx — успешна обработка. Заявката е била получена и успешно е обработена от сървъра.
- 3xx — пренасочване (редирект). Тези отговори от сървъра сочат, какво трябва да се предприеме в бъдещите действия за изпълняване на заявката. Например, да се направи заявка към друг адрес.
- 4xx — грешка на потребителя. Това значи, че заявката не може да бъде изпълнена по негова вина.
- 5xx — грешка на сървъра. Тези кодове възникват заради грешки на страната на сървъра. В този случай потребителят е направил всичко правилно, но сървърът не може да изпълни заявката. За кодовете от този клас, сървърът задължително показва съобщение, че не може да обработи заявка и по каква причина.
Основни отговори от сървъра
200 ОК
Най-популярния и важен статус. Означава, че заявката е изпълнена успешно в съответствие с очакванията на потребителя — поисканите данни или страница съществуват и са достъпни за преглед. Всички страници, които искаме да видим в индекса на търсачките, трябва да показват код 200 OK.
301 Moved Permanently
Този отговор показва, че документът или страницата са били преместени на друг адрес завинаги. Ако страницата, която вече е била в резултатите на търсачките, има променен адрес, за да се съхрани трафикът и линк тежестта, се препоръчва да се настройва 301 редирект от стария URL-адрес към новия. В резултат на това търсачката ще «слепи» тези адреси.
302 Found
Документът е временно пренесен на друг адрес. Този код е сигнал, че страницата не трябва да се премахва от индекса. Според заявлението на Gary Illyes от Google, както и от нашата практика знаем, че 302 пренасочването прехвърля тежестта към другия адрес.
304 Not Modified
Важен код от гледна точка натоварването на сървъра и количеството предавани данни. Сървърът връща 304 код, ако в HTTP-заглавието датата на последното обновяване (Last-Modified) е по-стара, отколкото в заявка със заглавие If-Modified-Since. Тоест, ако документът не е променян след посочената дата, сървърът връща код 304 Not Modified. Тогава ботовете не зареждат този документ повторно: той не се е променил, откакто са го посетили последния път. Фактически, те получават само http-заглавията и продължават нататък.
403 Forbidden
Отказан достъп. Този отговор се връща, ако на потребителя е забранен достъп до този документ. В този случай става на дума за HTTP автентификация (за такива случаи се използват 401 и 407 кодове). 403 код се показва, например, при влизане от забранени IP или опит за преглед на системния файл .htaccess.
404 Not Found
Вероятно всеки потребител се е сблъсквал с този отговор. Той означава, че на този URL нищо не е намерено — документът не съществува. Този код трябва да се дава при опит да се отиде до несъществуващи документи. Ако страница на заявения адрес е съществувала, но е била изтрита, и Вие искате да съобщите за това, използвайте код 410.
Страница със съобщение 404 File Not Found не винаги предава код 404. Много уебмастери не обръщат внимание на това, и в резултат може негативно да се отрази на класирането на целия сайт. Това са така наречените страници «Soft 404». Те възникват, ако несъществуваща страница предава код на отговор, различен от 404 и 410. Към «Soft 404» могат да бъдат причислени страниците, които трябва да дават код 200, но на тях няма съдържание (празна страница). Решението на въпроса е да се намерят тези страници и задължително да се настрои за тях 404 код.
В изкуството на оформяне на 404-страници има доста креативни решения, отвлечете се за секунда и преценете:
- Разговорчиви строители - https://okostroy.ru/404/ ;
- Ти не трябва да си тук - https://hakim.se/404;
- А пък тук може малко и да се поиграе - https://heyzap.com/404.
410 Gone
Този отговор казва, че документът е бил окончателно премахнат и вече е недостъпен. Въпреки че кодовете 404 и 410 еднакво сочат към това, че страницата е недостъпна, при тяхната обработка има различия. Обръщайки се към 404 страница, ботът на търсачката няма да я отбелязва като премахната и след време отново ще се обръща към нея за уточняване на информация. Това обаче не важи за 410 код. В този случай ботът отбелязва, че тази страница или документ са премахнати завинаги от сървъра. Като се доверява на уебмастъра, ботът няма да проверява тази страница отново.
451 Unavailable For Legal Reasons
Напоследък този код се среща все по-често. Това означава, че достъпът до сървъра е затворен заради забрана на държавно ниво или по решение на съда, в случай на нарушаване на авторски права. Грешка 451 е уточняващ вариант на отговор с код 403.
500 Internal Server Error
Това е произволна вътрешна грешка на сървъра, която не е описана в останалите грешки от този клас. Възниква, ако сървърът се е сблъскал с проблем, който не позволява да се изпълни заявката. Например, тази грешка може да възникне заради грешки в настройката на файла на конфигурацията.
503 Service Unavailable
Сървърът временно не може да обработва заявки по технически причини. Ако към сървъра постъпват прекалено много заявки и той не е в състояние да се справя с тях, ние виждаме именно този отговор.
504 Gateway Timeout
Сървъра не отговаря. Отговорът се появява, ако сървърът е работил в качеството на прокси и не дочаква отговор от главния сървър за приключване на заявката.
За предотвратяване на появата на страници в индекса на търсачките, се препоръчва да се използва на страницата метатаг robots с атрибут noindex: <meta name="robots" content="noindex">.
Ако трябва да се махне документ от резултатите от търсене, може да се подават 404 или 410 кодове. При използване на метатага noindex страницата ще бъде периодично сканирана, а при използване на код на отговор 410 роботите ще смятат, че страницата вече я няма и не е нужно нейното сканиране.
Изводи
- Съществуват пет групи от кодове на отговори от сървъра — класове на състояния, показващи различни етапи на процеса на предаване на данни: от успешна обработка до грешки на сървъра.
- Всички страници, които искаме да видим в индекса на търсачките, трябва да дават код 200 OK.
- Ако на страница, която вече е била в резултатите на търсачките, се е променил адресът, се препоръчва да се настрои 301 редирект от стария URL-адрес към новия.
- Ако несъществуваща страница дава код на отговор, различен от 404 и 410, възниква грешка «Soft 404». Към такива страници могат да се причислят страници, които трябва да дават код 200, но на тях няма контент.
Правилното разпределение на отговори от сървъра позволява на търсачките да спестят ресурси при работата със сайта. Ботовете ще получават само необходимата информация — това е много важно за SEO.
Накрая, въпрос от обща култура: защо за отговор от сървъра Unavailable For Legal Reasons са избрали числото 451?