Сообщение от
Serberg
russian88888, да по сути можно вообще робот не размещать, поисковики и так проиндексируют все что нужно. Суть роботса показать поисковикам что не нужно индексировать.
Привожу пример.
У тебя сайт разростается и его файлы весят под 100 гиг + большая база. То же самое становится с форумом, но у него может просто база вырасти до больших размеров.
Если сидишь на хостинге, то попросят повышать тариф или купить VDS. Если у тебя будет раздельно, то лучше под сайт и форум держать два отдельных хостинг аккаунта или VDS, нагрузка будет значительно ниже чем на одном аккаунте.
Да дело в том что у меня robots.txt уже есть на главном сайте, вот я и думаю стоит ли директивы дописать для форума. Просто если ставить директиву Allow то получается нужно разрешить всю папку forum и вписать что запретить. Правильно я понимаю?