bazar76, сейчас все так делают. Отправляют ворошить бумажки... это нормально для россии.
В своем robots.txt указал что роботам:
User-agent: *
закрыть то то, а вот яндексу указан хост. И что же запрещено для яндекса ?
User-agent: Yandex
Crawl-delay: 3
Host: zovzakona.org
Каждый робот видит User-agent: * и выполняет его, если есть для отдельного робота конкретные инструкции - то он выполняет их секцию, а в секции яндекса:
Crawl-delay: 3
Host: zovzakona.org
Вот тебе статья из кодекса robot.txt:
Где мне узнать как работает файл /robots.txt?
Суть robots.txt очень проста. Вы можете указать роботам, что какие-то разделы сайта нельзя индексировать либо всем, либо каким-то конкретным роботам. Проще всего объяснить на примере:
Код:
# /robots.txt для сайта www.example.com
User-agent: Yandex
Disallow:
User-agent: BadRobot
Disallow: /
User-agent: *
Disallow: /tmp
Disallow: /logs
Две первые строчки, начинающиеся с ‘#’ – это комментарии.
Первый блок указывает, что робот с именем ‘Yandex’ может индексировать все разделы сайта.
Второй блок указывает, что робот с именем ‘BadRobot’ не должен индексировать все URL, начинающиеся с ‘/’. Так как с ‘/’ начинаются все URL, это попросту значит, что для него весь сайт закрыт от индексирования.
Третий блок запрещает всем остальным роботам индексировать URL, начинающиеся с /tmp или /log. «Звездочка» – это специальный символ, означающий «любой другой User-agent», но, тем не менее, вы не можете использовать в инструкциях User-agent или Disallow регулярные выражения.
Здесь часто допускают две ошибки:
Групповые символы не поддерживаются: вместо ‘Disallow: /tmp/*’ пишите просто ‘Disallow: /tmp/’.
Пишите только один путь в каждую Disallow-строку (в следующих версиях спецификации это может измениться).
Отсюда вывод что твой робот болжен быть таким:
User-agent: msnbot-media
User-agent: Googlebot-Image
User-agent: Yahoo-MMCrawler
Disallow: /
User-agent: Yandex
Crawl-delay: 3
Disallow: /poll.php
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /threadrate.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /moderator.php
Disallow: /misc.php
Disallow: /login.php
Disallow: /editpost.php
Disallow: /attachment.php
Disallow: /member.php
Disallow: /subscription.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /profile.php
Disallow: /group.php
Disallow: /album.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /private.php
Disallow: /usercp.php
Disallow: /moderation.php
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/
Host: zovzakona.org
User-agent: Slurp
Crawl-delay: 10
User-agent: msnbot
Crawl-delay: 120
User-agent: *
Crawl-delay: 10
Disallow: /poll.php
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /threadrate.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /moderator.php
Disallow: /misc.php
Disallow: /login.php
Disallow: /editpost.php
Disallow: /attachment.php
Disallow: /member.php
Disallow: /subscription.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /profile.php
Disallow: /group.php
Disallow: /album.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /private.php
Disallow: /usercp.php
Disallow: /moderation.php
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/
Вот такое кунфу у роботов. Если что курим материалы хотябы тут:
http://robotstxt.org.ru/