[Вопрос] Robots.txt

[russian88888]

Здравствуйте.
У меня главный сайт стоит на WP, а форум в папке forum, и общий путь получается mysite.com/forum.
И вот вопрос, нужно ли в robots.txt прописать директивы для форума, чтобы роботы не индексировали админские файлы форума. Кто-то говорит надо, кто-то говорит нет. К быть то а?

[Serberg]

Для начала стоило бы сказать что форум надо размещать на субдомене, а не во вложенной папке. Есть некоторый геморрой при развитии сайта и форума.

А так нужно директивы прописывать и для форума тоже в корневой файл ротоба.

[russian88888]

Для начала стоило бы сказать что форум надо размещать на субдомене, а не во вложенной папке. Есть некоторый геморрой при развитии сайта и форума.

А так нужно директивы прописывать и для форума тоже в корневой файл ротоба.

Директиву Allow нужно дописывать, или робот и так поймёт?
И если я разместил форум в папке это сильно плохо скажется?

[Serberg]

russian88888, да по сути можно вообще робот не размещать, поисковики и так проиндексируют все что нужно. Суть роботса показать поисковикам что не нужно индексировать.

И если я разместил форум в папке это сильно плохо скажется?

Привожу пример.
У тебя сайт разростается и его файлы весят под 100 гиг + большая база. То же самое становится с форумом, но у него может просто база вырасти до больших размеров.

Если сидишь на хостинге, то попросят повышать тариф или купить VDS. Если у тебя будет раздельно, то лучше под сайт и форум держать два отдельных хостинг аккаунта или VDS, нагрузка будет значительно ниже чем на одном аккаунте.

[russian88888]

russian88888, да по сути можно вообще робот не размещать, поисковики и так проиндексируют все что нужно. Суть роботса показать поисковикам что не нужно индексировать.



Привожу пример.
У тебя сайт разростается и его файлы весят под 100 гиг + большая база. То же самое становится с форумом, но у него может просто база вырасти до больших размеров.

Если сидишь на хостинге, то попросят повышать тариф или купить VDS. Если у тебя будет раздельно, то лучше под сайт и форум держать два отдельных хостинг аккаунта или VDS, нагрузка будет значительно ниже чем на одном аккаунте.

Да дело в том что у меня robots.txt уже есть на главном сайте, вот я и думаю стоит ли директивы дописать для форума. Просто если ставить директиву Allow то получается нужно разрешить всю папку forum и вписать что запретить. Правильно я понимаю?

[Serberg]

и вписать что запретить. Правильно я понимаю?

В целом - да.

[russian88888]

А может быть два sitemap.xml.
Один на главный сайт а другой на форум?

[Serberg]

Карта сайт и так должна строиться отдельно для каждого из движков, это даже не обсуждается. Можно конечно и без нее обходиться, но поисковики просят ее наличие.