Из-за того, что у многих сайтов плохой роботс, или что еще хуже, его вообще нет, поисковики ХАВАЮТ ненужные страницы и у Вашего сайта образуются ДУБЛИ. Что негативно влияет на отношение к нему ПС. Вот примерный robots.txt:
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /page/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: сайт_твой/sitemap.xml
User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /page/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: сайт_твой
Sitemap: сайт_твой/sitemap.xml
ПС: Хотелось бы узнать мнение знающих людей правильно ли составлен robots.txt.
|