Сообщение от
Luvilla
админку и модерку желательно переименовывать
новые название админки и модерки в robots.txt нЕ вносить
переименовано.
Сообщение от
Luvilla
в robots.txt, в строке Sitemap точка в конце ссылки не нужна
директива Host указывается только для ботов Яндекса, а Гуглу это не надо
директиву Clean-param Гугл считает за ошибку
директиву Crawl-delay Гугл игнорирует (как, кстати, и куча китайских поисковиков)
Исправим.
Сообщение от
Luvilla
кстати, b1atnoy, скажите, а зачем Вы вообще прописали Crawl-delay? из каких соображений? и почему "3"? почему не, скажем, 42?
Честно сам незнаю)) у вас на форуме вроде писал кто то, вот и решил тоже так прописать
Сообщение от
Luvilla
что это за синтаксис такой?
#Disallow
поправим, опечатка видать.
Благодарю