DLE движок для сайтов
Яндекс: Новые правила обработки директивы Allow файла robots.txt


Яндекс.Поиск опубликовал в Я.РУ новые правила обработки директивы Allow файла robots.txt. А как мы уже знаем, одним из методов управления поведения поисковым роботом на вашем сайте является текстовый файл robots.txt. В нем можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива Allow, о новых правилах её использования читайте в подробностях.

 Источник:DLE, dlepro.com

Источник: smartZone

Перейти на сайт

Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке