Тема: Sape и Miralinks?
Показать сообщение отдельно
Старый 04.08.2012, 10:18 Вверх   #63
Fedoraвод
 
Аватар для Злой
Злой вне форума
Доп. информация
По умолчанию

Serberg, Вот тебе пища для размышленийна тему фильтра индексации, зарегистрирован новый домен, установлен dle, залита пара-тройка десятков адалт материалов, админ залег в окоп и следит от туда за ситуацией.
А ситуация складывается следующая: смотрим логи сервера и видим что робот яндекса за месяц-два ни разу не обратился ни к одной странице сайта, ни одного обращения к robots.txt и что самое подлое, пауки яндекса (favicon, картинки, ресайзер картинок, директ, метрика, дятел, блоги и тд) каждые три минуты дергают rss ленту.
Какие могут быть мысли? :))
  Ответить с цитированием
 
Время генерации страницы 0.04528 секунды с 10 запросами