Яндекс: Новые правила обработки директивы Allow файла robots.txt
Яндекс.Поиск опубликовал в Я.РУ новые правила обработки директивы Allow файла robots.txt. А как мы уже знаем, одним из методов управления поведения поисковым роботом на вашем сайте является текстовый файл robots.txt. В нем можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива Allow, о новых правилах её использования читайте в подробностях.
Источник:DLE, dlepro.com
💬 Комментарии
В связи с новыми требованиями законодательства РФ (ФЗ-152, ФЗ «О рекламе») и ужесточением контроля со стороны РКН, мы отключили систему комментариев на сайте.
🔒 Важно Теперь мы не собираем и не храним ваши персональные данные — даже если очень захотим.
💡 Хотите обсудить материал?
Присоединяйтесь к нашему Telegram-каналу:
https://t.me/blogssmartzНажмите кнопку ниже — и вы сразу попадёте в чат с комментариями