Для корректной индексации сайта, стоит пользоваться файлом robots.txt. Этот файл позволят скрывать от поисковых ботов отдельные папки или файлы вашего сайта. Это уберет из индекса лишнее, а так же увеличит скорость прохождения сайта ботом
Скрытое содержимое могут видеть только пользователь группы: Пользователь