Теперь создайте файл robots.txt в корневом каталоге сайта на сервере. Скопируйте указанный выше текст и вставьте этот код в текстовый файл robots.txt