История обхода в вебмастере - http коды ошибок

Сегодня мы рассмотрим "Историю обхода" в вебмастере в разделе "Свобдка". Специально для этой статьи мы с эмитировали ошибку доступа N / a→301. Сделано было специально, т.к. технически на движке UMI.CMS это практически не возможная ситуация при исправном железе. Мы сделали дубль страницы, и отправили в индекс, а после страницу удалили. И когда робот повторно обходит, он идет по адресу которого не существует, и через какое-то время попадает на страницу которую мы дублировали. Естественно время затраченное для получения даных ушло больше. Пример истории обхода:

В идеальном варианте все страницы должны индексироваться N / a→200. На практикте же бывает всякое, с надо с этим вовремя реагировать. Грубо говоря робот зашел на ваш сайт тут задержка, там задержка, вообще данных нет и пошел дальше. А если все будет быстро отвечать на его запросы, это только позитивно отразиться для Вашего сайта.

Ошибка N / a→404. Сервер не смог получить доступ к странице, либо ее вообще не существует, либо были технические работы у Вашего сайта, оборудование, не работал интернет и прочее.

В нашем случае эти страницы реально отстуствуют на сайте, мы их удалили. В таких ситуациях об этом надо сообщить роботу. Ранее мы это расматривали в статье - Удаление страниц из поисква в вебмастере.

Ошибка N / a→301. Робот долго получал доступ к странице.  В нашем случае это искуственная проблема. Но если вдруг, у вас такая же проблема. То тут сначала надо настроить robot.txt, а потом уже удалять страницу из поиска. Как поменять robot.txt вы можете ознакомится в нашей статье Работа с robot.txt на примере UMI.CMS