Здравствуйте. Раньше на сайте был включен модуль Календаря, но всегда он был закрыт от индексации в robots.txt. Сейчас я в настройках отключил модуль и убрал его с клавной. Но вот беда в том, что совершенно мне ненужные страницы остались и загружаются в яндекс, хотя потом он их не индексирует. Но не очень красиво выглядит, когда робот яндекса загружает 17к страниц и из них 10к отвергает, потому что они закрыты в robots.txt. Разумеется не все страницы пренадлежат календарю, но большая их часть именно от него. Файл sitemap загружал в яндекс недавно (после закрытия Календаря). Скажите, пожалуйста, как можно полностью убрать с сайта эти страницы?
Источник:
dle-faq.pro, DLE
💬 Комментарии
В связи с новыми требованиями законодательства РФ (ФЗ-152, ФЗ «О рекламе») и ужесточением контроля со стороны РКН, мы отключили систему комментариев на сайте.
🔒 Важно Теперь мы не собираем и не храним ваши персональные данные — даже если очень захотим.
💡 Хотите обсудить материал?
Присоединяйтесь к нашему Telegram-каналу:
https://t.me/blogssmartzНажмите кнопку ниже — и вы сразу попадёте в чат с комментариями