Robots.txt (Файл)

Robots.txt — инструкция для поисковых роботов, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности, не разрешает индексировать определенную часть сайта.