Запрет индексирования папки в robots.txt

Доброго дня. Подскажите, пожалуйста, новичку как правильно запретить индексацию папки И как запретить индексацию файлов изображений имеющих в названии -mini, т.е. всех файлов images-mini.gpg ?

RoInmana написал(а):

Доброго дня. Подскажите, пожалуйста, новичку как правильно запретить индексацию папки

Код:

http://host/images/mini

И как запретить индексацию файлов изображений имеющих в названии -mini, т.е. всех файлов images-mini.gpg ?

Нажмите для раскрытия...

Честно сказать полностью не знаю, но допустим индексация яндекса, в самом кабинете веб мастера там всё очень подробно расписано, с примерами вроде. Более точно чем там врядли кто скажет. По аналогу яндекса и на гугле тоже. Если для гугла, то почитайте на яндексе

Кому запретить?
Обычно robots.txt затачивают под два поисковика: Яндекс и Гугл.

Например под Яндекс:


Это значит, что Яндекс не будет индексировать все файлы в папке images

А если сделать так:


То Яндекс не будет индексировать файлы mini.jpg, но будет ли он учитывать в поиске составляющие mini не знаю. Проверять нужно.
Вот хороший мануальчик по роботсу, почитайте.

Вопрос по карте сайта. Если посмотреть в вебмастере Яндекса и гугла карта хтмл запрещена каким-нибудь правилом, например значки разные или Index.php. Хотя allow для нее прописан. Влияет это на индексацию и как исправить?

Oleg написал(а):

Влияет это на индексацию

Нажмите для раскрытия...

Ну можно же проверить в той же панели вебмастера. Посмотрите действует разрешение или нет.