robots.txt для vbulletin 4.x.x

[starichenko]

Подскажите пожалуйста!!! Я вот нашел такой robots.txt и хотел бы узнать подойдет ли он для этой версии форума?

User-agent: *
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/faq.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/private.php
Disallow: /forum/printthread.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/sendmessage.php
Disallow: /forum/search.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/usercp.php

Или может что-то удалить лишнее для лучшей индексации поисковиками???

[Serberg]

starichenko, для написания файла robots.txt не нужно особого ума и мега знаний, и лучше его не тырить у других. Есть у тебя есть время - то можешь подождать, я на днях могу написать статью по созданию собственного robots.txt, что следует учесть и как вообще его правильно забодяжить.

Если времени нет - то в интернете можно найти общие описания данного файла и принцип составления.

[Shroom]

Serberg:

Тут я с тобой не согласен.

Зачем тратить время и изобретать велосипед? Есть стандартные роботы.тхт для кажого движка! А дописать своё туда можно, или удалить то что нужно.

[Serberg]

Shroom, ну так покажи стандартный robots.txt для vbulletin. Чтобы он шел от производителя в комплекте или чтобы на официалке написали что мол стандартный robots.txt для булки должен выглядеть так ....

Я думаю что такова ты не найдешь, а вот руководствуясь инструкциями из интернета по составлению сего файла некоторые могут сглупить и указать переименованную папку админки в этом файле некоторые догадаются, я уверен наверняка.
Мало того, robots.txt можно сделать в панели самого яндекса, только вот некоторые не понимают что яндекс делает этот файл под себя, а не под остальные поисковики.

Я думаю что стоит написать полноценный материал учитывающий все тонкости этого дела.

[Shroom]

Я обычно делаю так: Нахожу 3-4 статьи и исходники роботов. Сравниваю их, смотрю где а что всегда есть. Копирую это и дописываю то что мне нужно :)

Да, статейку почитать неплохо было бы....

[Error2012]

Вообщем Сергей ждём от Вас статью по поводу роботса)
Меня интерисует под 3 линейку Воблы.

[Serberg]

Shroom, ну а непример задержку ты всем поисковикам одинаковую ставишь в индексировании. И знаешь ли ты к примеру что раньше индексация гугла доходила до уровня мини ддос ататки и что robots.txt был единстенным спасением в данном деле. Я думаю ты этих времен и не знаешь. Я не считаю что данный факт может повториться, но все же стоит разным поисковикам ставить разную задержку.

А сравнивать статьи разных вэб-мастеров ... как то не по мне, один может знать что то одно, другой другое. Советы могут быть противоположными. ХЗ, я обычно больше доверяю опыту...

[Shroom]

Serberg: Хоть и 8 лет в SEO, но многого конечно не знаю.... но хорошо что есть такие правильные люди как ты, которые рассказывают что и как

Ну вот пример того что смело можно вписывать ИМХО:

User-agent: *
Disallow: /forum/admincp/
Disallow: /forum/modcp/
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/customcode/
Disallow: /forum/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/install/
Disallow: /forum/signaturepics/

[Error2012]

Вот мой вариант:

User-agent: *
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /calendar.php
Disallow: /login.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /member.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/

User-Agent: Googlebot-Image
Disallow: /

[Shroom]

Я для vBulletin 4 щас пишу... там по ходу много ненужных ПХП/шек в корне...

[Serberg]

Shroom, ага. И папку /install/ нужно обязательно вписать и хранить на том же месте, вдруг кто то форум захочет переустановить ) Вот про эти мелочи я и говорю, которым стоит уделять внимание.

Вот мой robots.txt:

PHP код:

User-agent: Slurp
Crawl-delay: 10
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /downloads/
Disallow: /FILEZZZ/
Disallow: /arcade/
Disallow: /ink_f/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /fractalizer_ajaxreg_ajax.php
Disallow: /fractalizer_ajaxreg_ui.php
Disallow: /gtsearch.php
Disallow: /register.php
Disallow: /request_award.php
Disallow: /award.php
Disallow: /admincp/
Disallow: /administration/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/


User-agent: msnbot
Crawl-delay: 5
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /downloads/
Disallow: /FILEZZZ/
Disallow: /arcade/
Disallow: /ink_f/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /fractalizer_ajaxreg_ajax.php
Disallow: /fractalizer_ajaxreg_ui.php
Disallow: /gtsearch.php
Disallow: /register.php
Disallow: /request_award.php
Disallow: /award.php
Disallow: /admincp/
Disallow: /administration/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/


User-agent: Yandex
Crawl-delay: 3
Host: bormotuhi.net
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /downloads/
Disallow: /FILEZZZ/
Disallow: /arcade/
Disallow: /ink_f/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /fractalizer_ajaxreg_ajax.php
Disallow: /fractalizer_ajaxreg_ui.php
Disallow: /gtsearch.php
Disallow: /register.php
Disallow: /request_award.php
Disallow: /award.php
Disallow: /admincp/
Disallow: /administration/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/

User-Agent: Googlebot-Image
Crawl-delay: 10
Disallow: /


User-agent: Mediapartners-Google*
Disallow:


User-agent: *
Crawl-delay: 10
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /downloads/
Disallow: /FILEZZZ/
Disallow: /arcade/
Disallow: /ink_f/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /fractalizer_ajaxreg_ajax.php
Disallow: /fractalizer_ajaxreg_ui.php
Disallow: /gtsearch.php
Disallow: /register.php
Disallow: /request_award.php
Disallow: /award.php
Disallow: /admincp/
Disallow: /administration/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/ 


[Shroom]

Ты я смотрю очень серёзно, даже с "WildCard" для каждого бота прописываешь

[Serberg]

Ты я смотрю очень серёзно, даже с "WildCard" для каждого бота прописываешь

Составлял 2 года назад, так до сих пор и изменял. Форум прекрасно индексируется и в свое время очень спасало от гугла и жалоб хостера на перегрузку лемитов аккаунта. Тогда и хостинги были несколько иные.

[RFpalach74]

Встретил однажды: Сервис онлайн-генерации файлов sitemap, мб поможет.

[Serberg]

Встретил однажды: Сервис онлайн-генерации файлов sitemap, мб поможет.

Чем интересно ? Судя по его популярности помочь он тут ничем не сможет, да и рекомендаций я там не углядел.