Robots.txt представляет собой расположенный в корне интернет-ресурса текстовый файл, (site.ru/robots.txt). Он необходим для задания тех или директив поисковикам, что и в какое время они должны на сайте делать, так же рекомендуем прочитать об этом интересное здесь. Наиболее простым является разрешающий всем поисковикам всё индексировать Robots.txt, который выглядит следующим образом:
- User-agent: *
- Disallow:
Можно также выбрать директиву, которая запрещает индексацию сайта полностью. В этом случае пишется всё то же самое, только в конце добавляется «/» после двоеточия.
В принципе существуют две основных директивы, которые обозначаются так:
- Allow (разрешение)
- Disallow (запрет)
К примеру, на блоге можно индексировать какую-нибудь одну папку. Но если там есть что-то нужное для индексирования, то нужно использовать специальную схему, чтобы частично разрешить, а частично запретить индексирование.
Порядок применения определённых директив имеет для Яндекса значение в том случае, если они распространены на одни и те же папки и страниц. Но возможны разные комбинации директив, так что всегда можно добиться нужного результата. Поисковик Гугл выполняет любые директивы со стороны robots.txt. при этом не имеет значение их расположение. Нужно помнить, что директивы с наличием слеша и без него, выполняют различную роль. И нужно уметь правильно этим пользоваться.
Особенности robots.txt
Какие встречаются чаще всего регулярные выражения? В первую очередь, это знак «*», который обозначает собой любой порядок символов. Как это понимать? Всё просто. Если упоминается «/about*», то в этом случае обозначается запрет доступа к тем страницам интернет-сайта, в которых есть «about». Но вообще такая директива точно так же будет работать и без обозначения звёздочки. Но иногда такое выражение всё же нужно использовать, поскольку оно является не заменимым. Символ $ способствует обрезанию оставшейся части. Также им обозначают и конец строки.
Существует много всяких директив. К примеру, Host, Sitemap. Так, Host нужен исключительно для Яндекса, так как с помощью данной директивы выявляются главные зеркала интернет-ресурсов.
Для закрытия страницы от индексации используют мета-теги. Есть также и такие директивы, которые помогают задать определённое время, на которое поисковый бот прекращает свои действия.