Яндекс: Новые правила обработки директивы Allow файла robots.txt
Яндекс.Поиск опубликовал в Я.РУ новые правила обработки директивы Allow файла robots.txt. А как мы уже знаем, одним из методов управления поведения поисковым роботом на вашем сайте является текстовый файл robots.txt. В нем можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива Allow, о новых правилах её использования читайте в подробностях.
Источник:DLE, dlepro.com
Похожие новости
- Blitz - шаблон для DLE
- Весь май две лицензии по цене одной
- Rubik - универсальный шаблон
- Telegram Instant View для DLE
- Быстрый поиск новостей только по заголовкам - модуль ModLiveSearch
- DLE: Telegram Instant View
- Весна скидок с DataLife Engine!
- DataLife Engine v.18.0 Final Release
- DataLife Engine v.18.0 Press Release
- Free-Plums на dle 17.3