Составляем правильный Robots.txt для Dle сайта
Здравствуйте, уважаемые читатели блога DleBlog.ru. Речь в сегодняшней статье пойдет от том, как составить правильный Robots.txt на своем Dle сайте, так что бы поисковые машины индексировали именно те страницы сайта, которые Вы хотели видеть в индексе поисковых системах. Robots.txt позволяет правильно направлять поисковые машины по заданному курс, что улучшить индексацию сайта и запретит к индексации те страницы Dle сайта, которые не должны оказываться в публичном доступе. Поисковые машины индексируют все, что предоставляет ему веб - мастер и выдает их в индекс. Только веб - мастер вправе, что то запретить индексировать поисковым системам. Как раз о том, что запретить, а что разрешить индексировать поисковым системам и пойдёт речь в данной статье. Составляем правильный Robots.txt для Dle сайта В связи с последними скандалами с поисковой системой Яндекс, которая предоставляла в публичный доступ конфиденциальную информацию о пользователях магазинов и sms - сообщения, Яндекс выпустила рекомендации веб - мастерам по Robots.txt, которая была направлена на недопущение подобных инцидентов. Вина всей этой шумихи лежала на веб - мастерах, которые не правильно составили Robots.txt и поисковая машина индексировала все, что не было запрещено в Robots.txt. В связи, с чем Вам так же следует знать, как правильно составить Robots.txt под свои Dle сайт, так чтобы в индексе поисковых систем находились нужные страницы Вашего Dle сайта.
Источник: dleblog.ru
Похожие новости
- Blitz - шаблон для DLE
- Весь май две лицензии по цене одной
- Rubik - универсальный шаблон
- Telegram Instant View для DLE
- Быстрый поиск новостей только по заголовкам - модуль ModLiveSearch
- DLE: Telegram Instant View
- Весна скидок с DataLife Engine!
- DataLife Engine v.18.0 Final Release
- DataLife Engine v.18.0 Press Release
- Free-Plums на dle 17.3