Создаем правильный файл robots.txt - настраиваем индексацию, директивы

Опубликовано: 02.06.2017

видео Создаем правильный файл robots.txt - настраиваем индексацию, директивы

Файл Robots txt - настройка, директивы и популярные ошибки
Зачем robots.txt в SEO? Создаем robots самостоятельно Синтаксис robots.txt Обращение к индексирующему роботу Запрет индексации Disallow Разрешение индексации Allow Директива host robots.txt Sitemap.xml в robots.txt Использование директивы Clean-param Использование директивы Crawl-delay Комментарии в robots.txt Маски в robots.txt Как правильно настроить robots.txt? Проверяем свой robots.txt

Robots — это обыкновенный текстовой файл (.txt), который располагается в корне сайта наряду c index.php и другими системными файлами. Его можно загрузить через FTP или создать в файловом менеджере у хост-провайдера. Создается данный файл как обыкновенный текстовой документ с самым простым форматом — TXT . Далее файлу присваивается имя ROBOTS . Выглядит это следующим образом:



(robots.txt в корневой папке WordPress)

После создание самого файла нужно убедиться, что он доступен по ссылке ваш домен/robots.txt . Именно по этому адресу поисковая система будет искать данный файл.

В большинстве систем управления сайтами роботс присутствует по умолчанию, однако зачастую он настроен не полностью или совсем пуст. В любом случае, нам придется его править, так как для 95% проектов шаблонный вариант не подойдет.


10.1. Как создать правильный файл robots txt

Зачем robots.txt в SEO?

Первое, на что обращает внимание оптимизатор при анализе/начале продвижения сайта — это роботс. Именно в нем располагаются все главные инструкции, которые касаются действий индексирующего робота. Именно в robots.txt мы исключаем из поиска страницы, прописываем пути к карте сайта, определяем главной зеркало сайта, а так же вносим другие важные инструкции.

Ошибки в директивах могут привести к полному исключению сайта из индекса. Отнестись к настройкам данного файла нужно осознано и очень серьезно, от этого будет зависеть будущий органический трафик.

rss