Правила индексации нашего сайта. Файл robots.txt

вниманиеПриветствую Тебя, Дорогой Друг!

Все мы соблюдаем определенные правилам в жизни. Хотим мы этого или нет приходится мириться с определенными рамками поведения одобренные большинством. И если мы переступаем черту, то незамедлительно нас ждут неприятности.

Так вот и у себя на блоге мы должны создать правила для поисковых систем. Алгоритм как правильно индексировать наш ресурс.

Это свод правил называется файл  robots.txt  Его нужно создать и загрузить в корневой каталог нашего сайта один раз. В зависимости от хостинга корневой каталог это:  «httpdocs» или если это Timeweb, то «public_html»

Заходим в административную панель своего хостинга. Далее в файловый менеджер. И закачиваем файл robots.txt смотри скриншот:

Корневой каталог

Корневой каталог

Корневой каталог

 После этого про него можно забыть.

Теперь поисковик будет точно знать, что нужно индексировать. В процессе нашего творчества будет скапливаться много всякого мусора, повторяющихся страниц, дублированного контента т. п. Зачем это «видеть» поисковому роботу. Тем более он очень не любит всего этого бардака. И наказание может последовать жесткое в виде наложения фильтра. Как только я об этом узнал, срочно занялся изучением этого вопроса. Вот к каким выводам я пришел. Можете сделать как я или пройти свой путь. Чтобы посмотреть как выглядит файл robots.txt на другом сайте, нужно в строке браузера прописать: 

доменное имя / robots.txt

Хоть я и нашел неплохой ресурс с   бесплатным курсом по HTML  которые я изучаю. Но все же не решился написать этот файл самостоятельно. Да и зачем изобретать велосипед. Если правила одни, то на всех ресурсах этот файл должен выглядеть примерно одинаково. Так он и оказалось. Путем определенного анализа, сопоставлений да и просто моего доверия к определенным блогам у меня в корневом каталоге сайта появился такой вот файл robots.txt

robots.txt

Если решите воспользоваться моим вариантом, то не забудьте в пунктах 1 и 2 вписать свое доменное имя.

Скачать файл robots.txt Нет Можно   ЗДЕСЬ

Теперь я думаю мой сайт будет правильно, а главное быстро индексироваться.

 С Уважением, Михаил.

online shop