О robots.txt написано уже очень много, советы и примеры как правильно его составить существуют на всех ресурсах для веб-мастеров в сети, но оказывается, что эта тема до сих пор актуальна и веб-мастера снова и снова поднимают топики на seo-форумах рунета. Сегодня попробую обобщить информацию и написать как это сделать правильно для DLE, причем не просто сайта построенного на DataLife Engine, а для СДЛ.
Источник:DLE, dlepro.ru
Источник: smartZone
Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке