Яндекс.Поиск опубликовал в Я.РУ новые правила обработки директивы Allow файла robots.txt. А как мы уже знаем, одним из методов управления поведения поисковым роботом на вашем сайте является текстовый файл robots.txt. В нем можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива Allow, о новых правилах её использования читайте в подробностях.
Источник:DLE, dlepro.com
Источник: smartZone
Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке