Как можно запретить папку форума к индексации?

  • Автор темы Milkivey
  • 1771
  • Обновлено
  • 28, Mar 2013
  • #2
Milkivey:
Знает ли Вы как можно скрыть папку от индексации кроме как вписать в robots.txt и если знаете то как это сделать?
Можно. Нужно в той папке создать файл .htaccess (поставить права CHMOD 444) с таким содержимым:
 SetEnvIfNoCase User-Agent "^Yandex" search_bot

SetEnvIfNoCase User-Agent "^Yahoo" search_bot

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot

SetEnvIfNoCase User-Agent "^Robot" search_bot

SetEnvIfNoCase User-Agent "^Googlebot" search_bot

SetEnvIfNoCase User-Agent "^msnbot" search_bot

SetEnvIfNoCase User-Agent "^Aport" search_bot

SetEnvIfNoCase User-Agent "^Mail" search_bot

SetEnvIfNoCase User-Agent "^bot" search_bot

SetEnvIfNoCase User-Agent "^spider" search_bot

SetEnvIfNoCase User-Agent "^php" search_bot

SetEnvIfNoCase User-Agent "^Parser" search_bot

Order Allow,Deny

Allow from all

Deny from env=search_bot
 

Mister1


Рег
02 Mar, 2013

Тем
21

Постов
208

Баллов
418
  • 29, Mar 2013
  • #3
Mister:
Можно. Нужно в той папке создать файл .htaccess (поставить права CHMOD 444) с таким содержимым:
 SetEnvIfNoCase User-Agent "^Yandex" search_bot

SetEnvIfNoCase User-Agent "^Yahoo" search_bot

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot

SetEnvIfNoCase User-Agent "^Robot" search_bot

SetEnvIfNoCase User-Agent "^Googlebot" search_bot

SetEnvIfNoCase User-Agent "^msnbot" search_bot

SetEnvIfNoCase User-Agent "^Aport" search_bot

SetEnvIfNoCase User-Agent "^Mail" search_bot

SetEnvIfNoCase User-Agent "^bot" search_bot

SetEnvIfNoCase User-Agent "^spider" search_bot

SetEnvIfNoCase User-Agent "^php" search_bot

SetEnvIfNoCase User-Agent "^Parser" search_bot

Order Allow,Deny

Allow from all

Deny from env=search_bot
Спасибо, но Вы так делали? И действительно работает на наше время, то читал что яндекс начал игнорировать некоторые такие файлы и все-равно индексирует?
 

Milkivey


Рег
28 Mar, 2013

Тем
8

Постов
64

Баллов
144
  • 29, Mar 2013
  • #4
Milkivey:
Спасибо, но Вы так делали? И действительно работает на наше время, то читал что яндекс начал игнорировать некоторые такие файлы и все-равно индексирует?
Делал. Как по вашему скрыть админку от поисковиков? В robots.txt нет смысла прописывать. C Яндексом все норм.
 

Mister1


Рег
02 Mar, 2013

Тем
21

Постов
208

Баллов
418
  • 29, Mar 2013
  • #5
Mister:
Делал. Как по вашему скрыть админку от поисковиков? В robots.txt нет смысла прописывать. C Яндексом все норм.
Спасибо Вам большое, то не видел бы смысла прописывать адинку и модераторскую папки в roobots.txt, много информации перерыл и ничего не нашел, были только старые темы.
 

Milkivey


Рег
28 Mar, 2013

Тем
8

Постов
64

Баллов
144