robots.txt — текстовый файл, размещенный в корне сайта. В файле дается инструкция поисковым системам для индексирования (какие разделы индексировать, а какие — нет). Также указывается главный домен сайта и адрес до карты сайта.
[Словарь терминов. Сайт-Менеджер. (Электронный ресурс). Режим доступа: http:// sm.su›Помощь›glossary/, свободный.]