Пакет Nexia для работы с поисковыми ботами

Набор функций для работы с поисковыми ботами. Отслеживание уникальных посещений (хитов), подробный список ботов, отдельная группа для ботов и другое.

Пакет объединяет несколько небольших модов, которые я написал ранее. Получился нормальный пакет из 4 или 5 инструментов, каждый из которых можно активировать и отключать когда необходимо.

Настройки:

[[Список поисковых ботов]] - отслеживание поисковых систем (ПС), посещающих форум. Он не отслеживает каждую страницу куда заходит поисковая система, это бессмысленно. Вместо этого он записывает:

список ботов, зашедших на ваш сайт;
дату последнего визита;
количество уникальных визитов;
количество просмотренных страниц.

Эта информация не является важной для индексации вашего сайта, но помогает понять, ходят поисковые боты на ваш сайт или нет. После этого можно принимать меры, если бот посещает вас, но страницы не проиндексированы в ПС.

Вы можете посмотреть это на vbEnhancer.com - Crawlers List

[[Выделенная группа для поисковых ботов]]
Я написал этот мод для vb.org очень давно и сейчас перенёс код сюда. Версия обновлена и имеет большую гибкость. Суть заключается в том, что в настройках для поисковых ботов вы можете выбрать подходящую группу, и когда они заходят на форум, будут подчиняться правилам доступа, назначенным для этой группы. Это применимо, если вы не хотите засорять свой robots.txt. Таким образом вы можете разрешить ботам смотреть учётные записи, но запретить доступ к сообщениям пользователей форума и т.д. и т.п.

Не забывайте выполнять требования ПС, где вы зарегистрированы. Google до недавнего времени  блокировал сайты, скрывающие своё содержимое.

[[Отображение ботов в секции Кто на форуме]]
Также поисковые боты отображаются на каждой странице (showthread, forumdisplay и т.д.), в колонке "Присутствуют". Таким образом, вы видите, где эти твари находятся.

[[Периодический запуск скрипта]]
Чтобы не загружать сервер, запись присутствующих ботов в журнал производится 1 раз в час. По завершении работы скрипта (это задание называется Hourly #1) статистические данные обновляются.

ПАТЧ:
1 мая, 10:50, небольшое изменение. В случае, если файл, содержащий список ботов (spiders_vbulletin.xml) изменён, то также изменится и список ботов в кэше. Поэтому вы можете редактировать spiders_vbulletin.xml при необходимости добавить или убрать часть поисковых ботов.
