Технический аудит сайтов
Для достижения продаж с вашего сайта важны и некоторые технические нюансы. Часто о них либо не задумываются, либо не знают.
Необходимо грамотно управлять роботами поисковых машин, следить за правильной настройкой сервера (хостинга), на котором располагается сайт. В конце концов, код сайта должен быть написан так, чтобы исключить возможность взлома самого сайта.
Технический аудит позволяет определить множество важных параметров, которые существенно влияют на индексацию сайта поисковыми системами, выявить и устранить ошибки сервера, при необходимости создать файл robots. txt для управления индексацией отдельных разделов сайта.
Управление роботами поисковых машин
Любая поисковая система имеет своего робота. Робот – это специальная программа, осуществляющая «проход» по страницам и индексацию вашего сайта. Этими роботами можно управлять, причем довольно легко – с помощью одного файла.
Файл robots.txt
Назначение этого файла – управление индексированием сайта. Управлять индексированием сайта нужно практически всегда. Файл robots. txt позволяет закрывать от индексации незначимые разделы сайта, тем самым оптимизируя процесс индексации поисковыми роботами.
Файл robots.txt позволяет гибко настраивать индексацию сайта и по умолчанию отсутствует на сайте. Данный файл необходимо размещать в корневой директории сайта, а создать его можно с помощью обыкновенного текстового редактора.
Пример правильного размещения файла: http://www.sitename.ru/robots.txt.
Пример неправильного размещения файла: http://www.sitename.ru/xxx/robots.txt.
Любой файл robots. txt содержит группу инструкций:
♦ User-agent – указывается поисковый робот;
♦ Disallow – указываются страницы или каталоги сайта, которые запрещаем к индексации;
♦ # – комментарий в файле;
♦ * – обозначение «любой». Инструкции Allow нет!
Выражение Disallow: ничего не запрещает, так как без параметров.
Примеры использования файлов robots.txt
Пример 1:
# Инструкции для всех роботов User-agent: *
Disallow: /
# Инструкции для робота «Рамблера»
User-agent: StackRambler
Disallow:
Этот файл robots. txt запрещает индексацию всех страниц сайта всем роботам, кроме робота «Рамблера», которому, наоборот, разрешена индексация всех страниц сайта.
Пример 2:
User-agent: *
Disallow: /search/
Disallow: /404/
User-agent: StackRambler
User-agent: Aport
User-agent: Yandex
Disallow: /de/
Disallow: /en/
Данный файл robots. txt запрещает для индексации русским поисковикам англоязычную и немецкую версии сайта. Как следствие, достигается более высокая скорость индексации. Кроме того, запрещена индексация всеми поисковыми роботами страниц /search/ и /404/.
Существует еще один