robots.txt и sitemap

  • Автор темы werctor
  • 7852
  • Обновлено
  • 02, Nov 2010
  • #2
werctor:
Нормально ли эти два идентификационных файла употреблять одновременно? Или стоит использовать один из вариантов?
Странный вопрос, а разве они конфликтуют? Карта сайта это не просто файл, это карта всего содержимого твоего сайта, а робот.тхт видят только ПС. В роботе прописываются параметры индексации сайта ПС, а карта сайта она для людей, и просто помогает сайту быстрее и полнее индексироваться.
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 03, Nov 2010
  • #3
STRIJ:
Странный вопрос, а разве они конфликтуют? Карта сайта это не просто файл, это карта всего содержимого твоего сайта, а робот.тхт видят только ПС. В роботе прописываются параметры индексации сайта ПС, а карта сайта она для людей, и просто помогает сайту быстрее и полнее индексироваться.
Спасибо. А то не совсем четкое было представление о файле sitemap.
 

werctor


Рег
29 Oct, 2010

Тем
39

Постов
316

Баллов
706
  • 03, Nov 2010
  • #4
werctor, Вот посмотри, как выглядит карта сайта на моем блоге http://cossacks-game.ru/?page_id=212

, в принципе, примерно так же выглядит она и на всех остальных сайтах...
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 03, Nov 2010
  • #5
Я свой составлял в специальном сервисе. Как его можно осуществить в таком же плане?
 

werctor


Рег
29 Oct, 2010

Тем
39

Постов
316

Баллов
706
  • 03, Nov 2010
  • #6
werctor:
Я свой составлял в специальном сервисе. Как его можно осуществить в таком же плане?
Коком таком сервисе? Карта сайта делается с помощью готового плагина или скрипта. Вроде у тебя блог на ВП, поставь модуль - sitemap-generator, настрой и все, на других ЦМС, есть свои компоненты для карты сайта, чтобы е самому писать или делать, я такого не знаю.
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 03, Nov 2010
  • #8
werctor:
Вот здесь http://www.xml-sitemaps.com/

и просто загрузил на сайт. Какая польза от него?
ПС быстрее и полнее индексируют твой сайт, да и пользователю полезен, все записи и разделы сайта в одном месте, как на ладони. Поэтому и называется - КАРТА сайта.
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 03, Nov 2010
  • #9
STRIJ:
ПС быстрее и полнее индексируют твой сайт, да и пользователю полезен, все записи и разделы сайта в одном месте, как на ладони. Поэтому и называется - КАРТА сайта.
Понятно, просто на него ссылку контекстную установить и он сам раскроется.!?
 

werctor


Рег
29 Oct, 2010

Тем
39

Постов
316

Баллов
706
  • 03, Nov 2010
  • #10
werctor:
Понятно, просто на него ссылку контекстную установить и он сам раскроется.!?
Ну да, это ты куда ставишь карту то ?
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 03, Nov 2010
  • #12
werctor:
Я не ставлю пока, но поставлю на этот сайт наверное http://jresi.narod.ru/

Что-то одна реклама... а посреди сайта черный квадрат ek: На что там карту то ставить??? Карта сайта - это страницы сайта...
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 04, Nov 2010
  • #13
Сайт в разработке, он статичный. Очень хочется поработать на статичных и проверить возможен ли заработок. Последнее время обсуждаются все чаще статичные сайты и способы заработка на них.
 

werctor


Рег
29 Oct, 2010

Тем
39

Постов
316

Баллов
706
  • 10, Mar 2011
  • #14
Хелп, нужна помощь, при анализе своего сайта на сервисе яндекса, пишет,что Robot txt запрещает индексацию страниц как его изменить? в смысле робот

 

Константин3


Рег
11 Feb, 2011

Тем
10

Постов
86

Баллов
186
  • 12, Mar 2011
  • #15
Кстати, давно интересует вопрос: у меня в дизе сайта присутствует некая картинка в футере, если я на ней прикручу ссылку на карту сайта (т.е. при клике на картинку переходишь на сайтмап) - будет ли это эффективно с т.зрения поисковых ботов?Они эту ссылку видеть будут (получится сквозная), а пользователи - нет (кроме тех, кто из любопытства кликнет). Есть мысль, что поможет быстрой индексации новых страниц и не захламит меню (ну очень я не люблю карту сайта в меню втискивать).
 

Bat2


Рег
12 Mar, 2011

Тем
0

Постов
5

Баллов
5
  • 12, Mar 2011
  • #16
Карта сайта это сайтмап или человекообразная карта сайта?
 

Wmboard


Рег
01 Jan, 2011

Тем
522

Постов
7188

Баллов
12408
  • 14, Mar 2011
  • #17
Bat, Можно и просто ссылкой без картинки поставить, да и с картинкой плохо не будет.
 

STRIJ1


Рег
30 Jun, 2010

Тем
28

Постов
933

Баллов
1213
  • 11, Nov 2011
  • #18
Уважаемые мэтры, на свой сайт файл robots.txt содрал с интернета, но мне он кажется слишком длинным для моего маленького сайтика.

Может подскажите, что там лишнего и не понимаю почему главная не индексируется, хотя другие страницы гугл проиндексировал, даже те, которые в All in One SEO Pack запретил.
 

Fred Lark


Рег
27 Sep, 2011

Тем
6

Постов
49

Баллов
109
  • 12, Nov 2011
  • #19
Мой сайт указан в подписи: keyin.ru? если не трудно взгляните (моего познания ради, а не счетчика посетителей)
 

Fred Lark


Рег
27 Sep, 2011

Тем
6

Постов
49

Баллов
109
  • 13, Nov 2011
  • #20
Ну вообщем метаполя надо править. У тебя кракозябры вместо слов:
 TITLE: Загляни РІ СЃРІРѕРё желания! | Доход РІ интернете – РЅРѕРІРѕРµ направление!

KEYWORDS: Keyin.ru, пассивный РґРѕС…РѕРґ РІ интернете, пассивный заработок, автомобиль РІ лизинг, РґРѕРј РІ лизинг, пенсия, отдых Рё путеС?ествие, Р·РґРѕСЂРѕРІСЊРµ, купить РґРѕРј-квартиру, лизинг

DESCRIPTION: Keyin.ru, доход-заработок в интернете, социальные программы, обмен валюты
А чего ЧПУ не сделал? Если ЧПУ не будешь делать, а оставишь так как есть, то закидывай вот такой роботс
 User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: www.keyin.ru

Sitemap: http://www.keyin.ru/sitemap.xml
 

Boss3


Рег
19 Jun, 2010

Тем
70

Постов
1220

Баллов
1920
  • 13, Nov 2011
  • #21
Boss, спс, вставил твой вариант, посмотрю на реакцию поисковиков. Хотя грех жаловаться, гугл проиндексировал все страницы, вот с Яшей посложнее. ЧПУ пробовал, но тогда у меня проблемы с исключением страниц в разных виджетах и плагинах, с номерами проще.
 

Fred Lark


Рег
27 Sep, 2011

Тем
6

Постов
49

Баллов
109