Twitter заблокировал поисковых пауков
Twitter в robot.txt запретил индексировать любой контент любым поисковикам.
User-agent: *
Disallow: /
Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть и у Google, и у "Яндекса".
| Подписаться на комментарии | Комментировать
Источник: Roem.ru
💬 Комментарии
В связи с новыми требованиями законодательства РФ (ФЗ-152, ФЗ «О рекламе») и ужесточением контроля со стороны РКН, мы отключили систему комментариев на сайте.
🔒 Важно Теперь мы не собираем и не храним ваши персональные данные — даже если очень захотим.
💡 Хотите обсудить материал?
Присоединяйтесь к нашему Telegram-каналу:
https://t.me/blogssmartzНажмите кнопку ниже — и вы сразу попадёте в чат с комментариями
