Twitter в robot.txt запретил индексировать любой контент любым поисковикам.
User-agent: *
Disallow: /
Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть и у Google, и у "Яндекса".
| Подписаться на комментарии | Комментировать
Источник: Roem.ru
Источник: Roem.ru
Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке