[Вопрос] robots.txt как быть?!

[Arhangel]

Привет всем, вопрос об файле robots.txt
Нашел кучу статей и тут и на других сайтах
Одни пишут лучше скачать, другие самому сделать, подскажите, как быть?
И есть ли статья как подробно его сделать и тд для 4.2.2

[RASHER]

Попробуй этот:

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 5 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащейся здесь.

, там где http://name-hack.ru/sitemap.php и т.д замени на своё.

[Arhangel]

http://onedota2.ru/sitemap.gz
или вот это писать в поисковики http://onedota2.ru/xmlsitemap.php

[RASHER]

У меня получается не так http://name-hack.ru/sitemap.php
А вот так и качается архив http://onedota2.ru/sitemap.gz
Правильно ли я сделал?

Честно говоря, ХЗ. Я настраивал под свои вкусы.

Посмотри тут - http://robotstxt.org.ru/

[Arhangel]

у тебя при скачивании карты сайта что качает? архив или xml?

[RASHER]

у тебя при скачивании карты сайта что качает? архив или xml?

Когда была настроена карта, скачивался xml

[Arhangel]

http://onedota2.ru/sitemap.gz
или вот это писать в поисковики http://onedota2.ru/xmlsitemap.php