Сопутствующие настройки: Файл robots.txt, теги noindex и nofollow, а также настройка sitemap.xml (карты сайта)
Опубликовано: 23.05.2017
Файл robots.txt
Файл robots.txt – это текстовый файл, который находится в корневой директории сайта и используется для того, чтобы управлять страницами, индексируемыми поисковым роботом. Robots.txt может запрещать поисковому роботу двигаться по сайту и индексировать содержимое сайта.
Работа с данным файлом требует определенных знаний, но отказываться от его использования нельзя. Роботы поисковых систем обычно следуют директивам, расположенным в robots.txt, поэтому они проверяют наличие данного файла при первом заходе на сайт и перепроверяют его от случая к случаю. Некоторые поисковые роботы могут столкнуться с трудностями при индексации сайта, если данный файл не существует, либо вместо него выдается страница Not Found («Не найдено»).
Как сделать сайт на DLE. Настраиваем подвал и карту сайта
Чтобы проверить наличие файла robots.txt, наберите в браузере следующий URL (вместо site.ru – название вашего домена):
Если по этому адресу выдается какое-либо другое содержание, помимо текстового файла с директивами для поисковых роботов, это означает, что файл отсутствует на сайте и следует загрузить файл robots.txt в корневую директорию сайта, прописав для него корректное содержание.
Пример формирования расчетной модели в SCAD Качественный просмотр от 480pix!!!
Неграмотно составленный файл robots.txt ограничивает поисковому роботу доступ к релевантной информации и сокращает количество проиндексированного контента на сайте, что противоречит основной цели оптимизации: позволить роботу проиндексировать как можно больше полезного и качественного контента.
Самый простой способ закрыть сайт от индексации – прописать в файле robots.txt «Disallow: /». Часто данной конструкцией пользуются при редизайне или создании сайта, когда не нужно, чтобы поисковый робот проиндексировал недоделанные страницы. Но обязательно после завершения всех работ нужно снять это ограничение. Чтобы проверить свой сайт на предмет запрета индексации, необходимо зайти по адресу www.site.ru/robots.txt (вместо site.ru ваш сайт) и посмотреть содержание директивы Disallow.