Запрещения на индексацию отслеживаются системой Яndex обычным образом – через файл robots.txt, находящийся в корневом каталоге сервера.
Яndex контролирует намеренное злоупотребление ключевыми словами в заголовках, комментариях и тексте самого документа и при обнаружении подобных фактов снижает место документа на странице результатов. В случаях злостного использования таких приемов администрация Яndex может исключить документы и сайты из базы. Страницы со временем перенаправления на другие страницы, равным нулю, не подлежат индексированию.
Индексация одних и тех же документов, выдаваемых Web-серверами в разных кодировках, лишена особого смысла. При этом русские поисковые системы держат в базах документы только в одной из кодировок, другие рекомендуется исключать из индексирования. Если кодировки распределяются по портам сервером, на разных портах (серверах) следует выдавать разный robots.txt. Это значит, что во всех портах/серверах, кроме основного, должно быть написано:
disallow: /
Если кодировки выдаются, например, по директориям, необходимо сделать один файл robots.txt следующего содержания:
disallow: /alt
disallow: /mac
disallow: /koi
В уникальные заголовки документов, вкратце описывающие сайт и текущий документ, не следует включать более 20–25 слов. Слова в заголовках имеют больший вес, чем остальные.
Система учитывает описания и ключевые выражения, указанные в соответствующих метатэгах, а также подписи к картинкам в тэге ALT. Яndex работает только с текстами и не умеет распознавать графические изображения. Поэтому, если название выполнено средствами графики, стоит продублировать его в текстовом виде.
Чем длиннее документ, тем менее заметны в нем слова, заданные в запросе, и, следовательно, тем ниже будет находиться ваша страница в результатах поиска при прочих равных условиях. Поэтому старайтесь разбивать длинные документы на более короткие – это правило важно для любых поисковых систем.
При оформлении документов надо придерживаться следующих требований:
• не следует набирать слова в р а з р я д к у – система не воспримет их;
• без особой необходимости не стоит набирать слова ПРОПИСНЫМИ буквами, если только это не аббревиатура;
• точки и запятые не отделяются от слова пробелом, иначе Яndex определит их как отдельные слова. После них пробел ставится.
Проверять, проиндексирован ли ресурс, нужно не сразу, а через несколько дней после его добавления в базу Яndex. Обычно страницы появляются в поисковой базе в течение недели после их создания или изменения. Новые страницы, внесенные в базу самостоятельно с помощью механизма добавления ресурса, появятся быстрее.
Если Вы не находите свою страницу, проверьте с помощью формы Яndex: Добавить сайт, включена ли она в базу Яndex; другими словами, попробуйте добавить ее еще раз.
Если вы получите сообщение «Ваш URL … был только что внесен в нашу базу данных», это значит, что адрес вашего ресурса системе ранее не был известен. Теперь он добавлен и в ближайшее время будет проиндексирован.
Если поступило сообщение «Ваш URL … уже известен роботу Яndex. Данный ресурс будет проиндексирован