Щёлкните по одной из них, например, Одноклассники. Введите логин и пароль, войдите, Вам предложат опубликовать ваш сайт. Опубликуйте. На иконке Одноклассники появится цифра 1. Значит счётчик сработал.
Создание и установка файла Robots. txt
Зачем нужен robots. txt
На практике, поисковые движки всё равно будут сканировать ваш сайт, даже если вы не создадите файл robots. txt. Однако, не создавать его является весьма нерациональным шагом. Без этого файла вы оставите роботам для индексации весь контент вашего сайта, и они решат, что можно показывать все части вашего сайта, даже те, которые бы вы хотели скрыть от общего доступа.
robots. txt – служебный файл, предназначенный для поисковых роботов и показывающий им, какие файлы, папки, разделы сайта следует индексировать, а какие нет. Закрытые от индексации в роботе статьи никогда не окажутся в индексе поисковых систем.
Очень важно скрыть от индексирования все ненужные файлы и папки (программную часть движка и прочее), чтобы поисковик не тратил на них силы.
Если у сайта имеются поддомены, для каждого из них формируется отдельный robots. txt.
Яндекс строго следует правилам файла robots. txt, а вот Google нет. Он запросто может проиндексировать запрещённые страницы и выводить их в поиске, особенно если на эту страницу ведут ссылки. В панели вебмастера обеих поисковых систем есть инструмент проверки файла robots. txt, которая показывает, правильно ли он работает.
Важно помнить, что изменения в robots. txt на уже рабочем сайте будут заметны только спустя некоторое время, иногда до месяца.
Где взять robots. txt для WordPress
В любой директории на вашем ПК в блокноте создайте пустой файл robots. txt Откройте его.
Зайдите на сайт https://s3.amazonaws.com/failibaza/robots.txt
Здесь выложено содержание сайта robots. txt для основных поисковых систем.
Скопируйте содержимое файла robots. txt и вставьте в свой файл. Сохраните его.
Если вы любознательны, то на сайте
https://pro-wordpress.ru/chast-2-raskrutka-bloga/pravilnyj-robots-txt-dlya-wordpress.php
узнайте, что значит каждая строчка файла.
– «User-agent: *» означает, что правила, приведённые ниже, будут действовать для всех поисковиков. Во второй части файла мы прописываем правило специально для Яндекса: «User-agent: Yandex».
– «Allow:» – разрешено индексировать. В варианте robots. txt для WordPress мы это не используем.
– «Disallow:» – запрещено индексировать.
– «Host: ваш_сайт.ru» – обязательно нужно указать основное зеркало. Ваш сайт открывается по двум адресам: с www и без www. Но в итоге происходит редирект на один из адресов (часто на блоге без www) – это и есть основное зеркало, которое нужно указать здесь. Эта строчка может быть расположена в любой части файла.
– «Sitemap:» – ссылка на XML-карту сайта. Если файлов с XML-картами несколько, пропишите путь к каждому из них.
– Регулярные выражения: звёздочка * – означает произвольную последовательность символов.
Очень подробно о директивах robots. txt написано в помощи Яндекса, поэтому если что-то не понятно, попробуйте прочитать там.
Архив файла robots. txt