Сообщение от
Soap
admincp и modcp на свою админку и модераторскую (если переименовывали),
самый глупый шаг построения сайтамапа. посмотрел в роботс и знаешь где админка )
Каждому конечно свое, но я бы некоторые элементы закрывать даже и не стал бы. Зачем закрывать юзеров и альбомы например ?
Ну и до кучи интересный ролик:
Robots.txt - создать, заполнить, запретить