
Приветствую всех. Сегодня хочу поделиться своим мнением о целесообразности использования файла robots.txt для ваших сайтов и персональных блогов. Я думаю что это за robots.txt многим объяснять не надо. Если же кто еще не в курсе, то это текстовый файл, находящийся в корневой директории вашего сайта (http://yuosite/robots.txt) и позволяющий вам запретить к индексации поисковым роботам какие-либо страницы или целые директории. Для чего же их запрещать? Дело в том, что если на вашем сайте множество динамических страниц, глубоких директорий или просто плагиат и вы не хотите, чтобы все это дело было доступно для индексации поисковым роботам, то запрет для индексации вы можете прописать в файле robots.txt. Конечно для запрещения индексации вы всегда можете использовать тег noindex , но насколько я знаю он используется для Яндекса и прописывать его везде просто устанешь. Использование robots.txt просто удобнее. Я, например, всегда закрываю от индексации новостные блоки если они имеют место быть на сайте.
читать далее про файл robots.txt
Анализ сайтов ваших конкурентов является неотъемлемой частью процесса, называемого начало раскрутки и продвижения сайтов. К сожалению (для них) многие уделяют недостаточно внимания конкурентам. Понять их можно. Многие вебмастера и оптимизаторы (особенно начинающие) считают: зачем оглядываться на других? Прежде всего надо работать самим и делать свой сайт интересным и актуальным, а заинтересованные посетители сами потянутся.
Однако если вы решаете делать все сами, как то: интересный востребованный контент по актуальной теме, уникальный дизайн, опросы, комментарии на сайте и т. д… Все это хорошо, даже очень, но рано или поздно возникает вопрос как наш СУПЕР сайт раскрутить, как его вывести в ТОР хотя бы по СЧ и НЧ запросам (пока не замахиваемся на большее), как наконец повысить пузомерки ТИЦ и Pr? Такие вопросы можно встретить повсеместно на форумах, комментариях в блогах или просто вопросах по e-mail и асе. Только никто вам палить ничего не будет, тем более если это работает. Тут нам и поможет анализ сайтов конкурентов.
читать далее про анализ сайтов конкурентов