Работа с robot.txt на примере UMI.CMS
Чтобы в индексирование не попадали служебные страницы необходимо об этом сообщить поисковой системой. Один из таких способов использовать файл robot.txt . На примере UMI.CMS мы покажем как легко это можно сделать. Для начала надо зайти в панель администрирования Вашего сайта.
Заходим Модули - SEO
Переходим на закладку - robot.txt . Выбираем нужный сайт (ставим галочку напротив сайта) и переходим в редактирование файла. Смотри скриншот ниже.
Пример наш robot.txt в UMI.CMS.
User-Agent: Googlebot
Disallow: /?
%disallow_umi_pages%
User-Agent: Yandex
Disallow: /?
%disallow_umi_pages%
Disallow: /webforms/posted/138
Disallow: /blogs20/postsByTag/Umi/
Disallow: /users/settings/
Disallow: /emarket/cart/
Disallow: /users/forget/
Disallow: /blogs20/postsByTag/%D0%A1%D0%B0%D0%B9%D1%82/
Disallow: /blogs20/postsByTag/
User-Agent: *
Disallow: /?
Disallow: /webforms/posted/138/
%disallow_umi_pages%
Host: %host%
Sitemap: %host%/sitemap.xml
Crawl-delay: %crawl_delay%
А вот так эту запись расшифровывает яндекс. Можно посмотреть в вебмастере Яндекса.
User-Agent: Googlebot
Disallow: /?
Disallow: /catalog_search/
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /emarket/gateway
Disallow: /go-out.php
Disallow: /cron.php
Disallow: /filemonitor.php
Disallow: /search
Disallow: /captcha.php
Disallow: /counter.php
Disallow: /license_restore.php
Disallow: /packer.php
Disallow: /save_domain_keycode.php
Disallow: /session.php
Disallow: /standalone.php
Disallow: /static_banner.php
Disallow: /updater.php
Disallow: /users/login_do
Disallow: /autothumbs.php
Disallow: /~/
Disallow: /install.php
Disallow: /installer.php
User-Agent: Yandex
Disallow: /?
Disallow: /catalog_search/
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /emarket/gateway
Disallow: /go-out.php
Disallow: /cron.php
Disallow: /filemonitor.php
Disallow: /search
Disallow: /captcha.php
Disallow: /counter.php
Disallow: /license_restore.php
Disallow: /packer.php
Disallow: /save_domain_keycode.php
Disallow: /session.php
Disallow: /standalone.php
Disallow: /static_banner.php
Disallow: /updater.php
Disallow: /users/login_do
Disallow: /autothumbs.php
Disallow: /~/
Disallow: /install.php
Disallow: /installer.php
Disallow: /webforms/posted/138
Disallow: /blogs20/postsByTag/Umi/
Disallow: /users/settings/
Disallow: /emarket/cart/
Disallow: /users/forget/
Disallow: /blogs20/postsByTag/%D0%A1%D0%B0%D0%B9%D1%82/
Disallow: /blogs20/postsByTag/
User-Agent: *
Disallow: /?
Disallow: /webforms/posted/138/
Disallow: /catalog_search/
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /emarket/gateway
Disallow: /go-out.php
Disallow: /cron.php
Disallow: /filemonitor.php
Disallow: /search
Disallow: /captcha.php
Disallow: /counter.php
Disallow: /license_restore.php
Disallow: /packer.php
Disallow: /save_domain_keycode.php
Disallow: /session.php
Disallow: /standalone.php
Disallow: /static_banner.php
Disallow: /updater.php
Disallow: /users/login_do
Disallow: /autothumbs.php
Disallow: /~/
Disallow: /install.php
Disallow: /installer.php
Host: https://ereshilin.ru
Sitemap: https://ereshilin.ru/sitemap.xml
Crawl-delay: 3
Рекомендуем ознакомится со статьей - Знакомство с вебмастером от Яндекса