Сообщение от
Злой
а можно не париться и положить в папку с сайтом правильный robots.txt который именно для этого и придуман...
что ты имеешь ввиду под "правильным" robots.txt? можно поподробнее об этом и действительно ли это поможет от спама в комментариях?