Вопрос robots.txt как быть?!

Arhangel · 29.06.2014, 23:48 **Вверх**

Привет всем, вопрос об файле robots.txt
Нашел кучу статей и тут и на других сайтах
Одни пишут лучше скачать, другие самому сделать, подскажите, как быть?
И есть ли статья как подробно его сделать и тд для 4.2.2

RASHER · 30.06.2014, 10:34 **Вверх**

Попробуй этот:

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 5 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащейся здесь.

, там где http://name-hack.ru/sitemap.php и т.д замени на своё.

Arhangel · 30.06.2014, 13:22 **Вверх**

http://onedota2.ru/sitemap.gz
или вот это писать в поисковики http://onedota2.ru/xmlsitemap.php

RASHER · 30.06.2014, 13:42 **Вверх**

Сообщение от Arhangel

У меня получается не так http://name-hack.ru/sitemap.php
А вот так и качается архив http://onedota2.ru/sitemap.gz
Правильно ли я сделал?

Честно говоря, ХЗ. Я настраивал под свои вкусы.

Посмотри тут - http://robotstxt.org.ru/

Arhangel · 30.06.2014, 13:56 **Вверх**

у тебя при скачивании карты сайта что качает? архив или xml?

RASHER · 30.06.2014, 14:04 **Вверх**

Сообщение от Arhangel

у тебя при скачивании карты сайта что качает? архив или xml?

Когда была настроена карта, скачивался xml

Arhangel · 30.06.2014, 14:34 **Вверх**

http://onedota2.ru/sitemap.gz
или вот это писать в поисковики http://onedota2.ru/xmlsitemap.php