robots.txt


Записи с меткой "robots.txt" Файл robots.txt. С чем его едят?

Автор: Soldat · Дата: 7 августа 2009 · Есть 1 комментарий


Приветствую всех. Сегодня хочу поделиться своим мнением о целесообразности использования файла robots.txt для ваших сайтов и персональных блогов. Я думаю что это за robots.txt многим объяснять не надо. Если же кто еще не в курсе, то это текстовый файл, находящийся в корневой директории вашего сайта (http://yuosite/robots.txt) и позволяющий вам запретить к индексации поисковым роботам какие-либо страницы или целые директории. Для чего же их запрещать? Дело в том, что если на вашем сайте множество динамических страниц, глубоких директорий или просто плагиат и вы не хотите, чтобы все это дело было доступно для индексации поисковым роботам, то запрет для индексации вы можете прописать в файле robots.txt. Конечно для запрещения индексации вы всегда можете использовать тег noindex , но насколько я знаю он используется для Яндекса и прописывать его везде просто устанешь. Использование robots.txt просто удобнее. Я, например, всегда закрываю от индексации новостные блоки если они имеют место быть на сайте.
читать далее про файл robots.txt

Не чешись! На RSS подпишись!

Popularity: 47% [?]

Метки:, ,
Также рекомендую почитать по этой теме:

Рубрика: Создание сайтов · Запись имеет метки: , ,


Страница 1 из 11 О сайте

Привет всем! Вы на моем блоге. Блоге любопытного солдата. Почему солдата? В свое время служил в армии и с тех пор очень многие мои друзья с удовольствием меня так называют.
Почему любопытного? Люблю задавать вопросы и очень люблю находить на них правильные ответы!
С некоторых пор меня очень заинтересовала тема сайтостроения в интернете и все что с ней связано. То бишь создание сайтов, оптимизация, Seo, блоггинг и т. д. (Да уж, я явно не первый)) Предлагаю изучать этот вопрос вместе. Будет интересно.
И помните: все мы когда-то были Школьнегами...

Подпишись на RSS

Если Вам нравится этот блог - подпишитесь на RSS ленту. Это даст Вам преимущество - получать все интересные и свежие обновления первее других.

Или же просто на рассылку по e-mail, что намного удобнее...
Также вы можете следовать за мной в twitter!

Поиск Рубрики Наиболее популярные посты
  1. 100% Индексация сайта. Ускорение индексации.
  2. 99% Правильная внутренняя оптимизация и перелинковка сайта.
  3. 81% Анализ сайтов конкурентов.
  4. 61% Воровство контента и как с этим воровством бороться.
  5. 59% Азартная зависимость или от азартных игр нам радостно и больно.
  6. 54% Полезные seo расширения от firefox
  7. 47% Файл robots.txt. С чем его едят?
  8. 42% Личности в блогосфере.
  9. 36% Партнерская программа интернет online магазина Goodbody.
  10. 34% Спортивный покер прекратил свое существование как вид спорта в России.

© 2009 SEO, оптимизация, раскрутка сайтов, партнерские программы.

Тема создана проектом GoodwinPress.Ru При поддержке Depeche Mode Fan Blog
rss