[Вопрос] Робот Яндекса не видет robots.txt?

[bazar76]

Проблема заключается в следующем.
Есть у меня на сайте есть robots.txt в нём прописаны условия для роботов, все другие роботы их придерживаются а робот Яндекса его я так понял игнорирует.
Просто я вижу что этот робот смотрит то что ему смотреть не надо, а именно, "Профили пользователей" (member.php), "Поиск по сайту" (search.php), это пока то что я увидел.
Вопрос в следующем, ему плевать на robots.txt или это я что то не так сделал?

Скажу сразу что сам файл я загрузил на Яндекс, он там висит такой же как у меня и в корне.
Я и карту сата Яндексу вскормил только он её не пока не проверил, тормоз он.
Может и роботс.тхт он пока не видит пока у него там базы какие то не обновятся?
Буду благодарен за комментарии..

Сам файл robots.txt у меня такой.

Нажми для просмотра

# Record 1
User-agent: msnbot-media
User-agent: Googlebot-Image
User-agent: Yahoo-MMCrawler
Disallow: /

# Record 2
User-agent: *
Crawl-delay: 10
Disallow: /poll.php
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /threadrate.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /moderator.php
Disallow: /misc.php
Disallow: /login.php
Disallow: /editpost.php
Disallow: /attachment.php
Disallow: /member.php
Disallow: /subscription.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /profile.php
Disallow: /group.php
Disallow: /album.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /private.php
Disallow: /usercp.php
Disallow: /moderation.php
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/

# Record 3
User-agent: Yandex
Crawl-delay: 3
Host: zovzakona.org

# Record 4
User-agent: Slurp
Crawl-delay: 10

# Record 5
User-agent: msnbot
Crawl-delay: 120

зы. Булка у меня 4.1.1

[boxx]

bazar76, так не пробовал:
http://www.bormotuhi.net/showpost.ph...20&postcount=4
http://www.bormotuhi.net/showpost.ph...7&postcount=11

Поиск занял ровно пол секунды

[bazar76]

Ну и что ценного в тех постах? У меня уже есть роботс.тхт, у меня проблема в другом, и описана в моём посте выше.
Может Вы хотели сказать что одно и тоже надо прописать для разных роботов (как в файле у Serberg? Так так и скажите, зачем посылать по не понятным направлениям.

Вот я допустим юрист, ко мне на сайт обращается человек и просит написать ему иск, а я ему, - "Почитай Кодекс и пиши, там всё есть" и даю ему ссылку на кодекс из 300 страниц без объяснения причин. Вот так и Вы, если и посылаете куда то то потрудитесь хотя бы назвать причину.

[Serberg]

bazar76, сейчас все так делают. Отправляют ворошить бумажки... это нормально для россии.

В своем robots.txt указал что роботам:
User-agent: *
закрыть то то, а вот яндексу указан хост. И что же запрещено для яндекса ?

User-agent: Yandex
Crawl-delay: 3
Host: zovzakona.org

Каждый робот видит User-agent: * и выполняет его, если есть для отдельного робота конкретные инструкции - то он выполняет их секцию, а в секции яндекса:
Crawl-delay: 3
Host: zovzakona.org

Вот тебе статья из кодекса robot.txt:

Где мне узнать как работает файл /robots.txt?

Суть robots.txt очень проста. Вы можете указать роботам, что какие-то разделы сайта нельзя индексировать либо всем, либо каким-то конкретным роботам. Проще всего объяснить на примере:

# /robots.txt для сайта www.example.com

User-agent: Yandex
Disallow:

User-agent: BadRobot
Disallow: /

User-agent: *
Disallow: /tmp
Disallow: /logs

Две первые строчки, начинающиеся с ‘#’ – это комментарии.

Первый блок указывает, что робот с именем ‘Yandex’ может индексировать все разделы сайта.

Второй блок указывает, что робот с именем ‘BadRobot’ не должен индексировать все URL, начинающиеся с ‘/’. Так как с ‘/’ начинаются все URL, это попросту значит, что для него весь сайт закрыт от индексирования.

Третий блок запрещает всем остальным роботам индексировать URL, начинающиеся с /tmp или /log. «Звездочка» – это специальный символ, означающий «любой другой User-agent», но, тем не менее, вы не можете использовать в инструкциях User-agent или Disallow регулярные выражения.

Здесь часто допускают две ошибки:

Групповые символы не поддерживаются: вместо ‘Disallow: /tmp/*’ пишите просто ‘Disallow: /tmp/’.
Пишите только один путь в каждую Disallow-строку (в следующих версиях спецификации это может измениться).

Отсюда вывод что твой робот болжен быть таким:

User-agent: msnbot-media
User-agent: Googlebot-Image
User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: Yandex
Crawl-delay: 3
Disallow: /poll.php
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /threadrate.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /moderator.php
Disallow: /misc.php
Disallow: /login.php
Disallow: /editpost.php
Disallow: /attachment.php
Disallow: /member.php
Disallow: /subscription.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /profile.php
Disallow: /group.php
Disallow: /album.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /private.php
Disallow: /usercp.php
Disallow: /moderation.php
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/

Host: zovzakona.org

User-agent: Slurp
Crawl-delay: 10

User-agent: msnbot
Crawl-delay: 120

User-agent: *
Crawl-delay: 10
Disallow: /poll.php
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /threadrate.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /moderator.php
Disallow: /misc.php
Disallow: /login.php
Disallow: /editpost.php
Disallow: /attachment.php
Disallow: /member.php
Disallow: /subscription.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /profile.php
Disallow: /group.php
Disallow: /album.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /private.php
Disallow: /usercp.php
Disallow: /moderation.php
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/

Вот такое кунфу у роботов. Если что курим материалы хотябы тут: http://robotstxt.org.ru/

[bazar76]

Вот это я и хотел прочитать-услышать.
Я почему то думал что если прописано "User-agent: *" то это условие выполняют ВСЕ, а Ядекс допустим придерживается ещё одного условия которое прописано исключительно для него.
Яж не думал что если он видит условия для Яндекса то другие игнорирует. Теперь буду знать, да и другим думаю моя тема будет полезна.

Спасибо в очередной раз, Serberg.

Я вот впишу ещё наверно такую строку -"Sitemap: http://zovzakona.org/sitemap_index.xml.gz" (стираю теги url а они всё равно вылазят)

зы. А посылают не по теме не только в России, у нас в Украине тоже есть такие люди которым проще куда то "послать" чем написать правильный ответ.

зыы. Есть очень хороший анекдот по теме.
Приходит пациент к врачу, а врач и говарит, -"Твоя болячка боян, юзай медицинскую энциклопедию".