Проблема заключается в следующем.
Есть у меня на сайте есть robots.txt
в нём прописаны условия для роботов, все другие роботы их придерживаются а робот Яндекса его я так понял игнорирует.
Просто я вижу что этот робот смотрит то что ему смотреть не надо, а именно, "Профили пользователей" (member.php), "Поиск по сайту" (search.php), это пока то что я увидел.
Вопрос в следующем, ему плевать на robots.txt или это я что то не так сделал?
Скажу сразу что сам файл я загрузил на Яндекс, он там висит такой же как у меня и в корне.
Я и карту сата Яндексу вскормил только он её не пока не проверил, тормоз он.
Может и роботс.тхт он пока не видит пока у него там базы какие то не обновятся?
Буду благодарен за комментарии..
Сам файл robots.txt у меня такой.
Нажми для просмотра
# Record 1
User-agent: msnbot-media
User-agent: Googlebot-Image
User-agent: Yahoo-MMCrawler
Disallow: /
# Record 2
User-agent: *
Crawl-delay: 10
Disallow: /poll.php
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /threadrate.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /moderator.php
Disallow: /misc.php
Disallow: /login.php
Disallow: /editpost.php
Disallow: /attachment.php
Disallow: /member.php
Disallow: /subscription.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /profile.php
Disallow: /group.php
Disallow: /album.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /private.php
Disallow: /usercp.php
Disallow: /moderation.php
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/
# Record 3
User-agent: Yandex
Crawl-delay: 3
Host: zovzakona.org
# Record 4
User-agent: Slurp
Crawl-delay: 10
# Record 5
User-agent: msnbot
Crawl-delay: 120
зы. Булка у меня 4.1.1