[Инструкция] Борьба с дублирование контента в поисковиках

[Serberg]

Каждый сеошник знает что поисковики не любят когда по разным ссылкам лежит один и тот же контент, это сильно попахивает дорвеем. Обычно такие странички исключаются из поиска, а иногда к таким сайтам могут быть применены специальные фильтры.

Для того чтобы предотвратить дублирование контента можно воспользоваться не хитрым редиректом, который предотвратит индексацию новостей по разым ссылкам путем пере направления людей и ботов по верным ссылкам.

Итак, открываем файл: show.full.php (/engine/modules/show.full.php) и находим строчку:

$tpl->set( '{full-link}', $full_link );

ниже добавляем код:

$full_link_ = !isset ($_GET['cstart']) ? $full_link : $link_page . intval ($_GET['cstart']) . ',' . $news_name . '.html';
if ($config['http_home_url'] . substr ($_SERVER['REQUEST_URI'], 1) != $full_link_) {
    header ($_SERVER['SERVER_PROTOCOL'] . '301 Moved Permanently');
    header ('Location: ' . $full_link_);
    die ();
}

Сохраняем изменения, все.

Проверка на юзабельность мода:

Открываем ссылку сайта к примеру:

http://rutut.com/?newsid=411

и сразу же попадаем на страницу сайта по адресу:

_http://rutut.com/allvideo/photoshop-online/411-video-urok-photoshop-sakura.html

[CRESH]

Serberg, а не просто настроить файл robots и запретить поисковым ботам индексировать те ссылки которые можно запретить, тем самым избавиться от двойного контента. Как тебе такое?

Например такой список:
User-agent: *
Disallow: /tags/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /go/
Disallow: /links.php
Disallow: /user/
Disallow: /map/
Disallow: /*print
Disallow: /backup/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /?do=lastcomments
Disallow: /statistics.html

[Serberg]

CRESH, как ты это исключишь: ????
http://rutut.com/?newsid=411
http://rutut.com/allvideo/photoshop-...op-sakura.html

[CRESH]

CRESH, как ты это исключишь: ????
http://rutut.com/?newsid=411
http://rutut.com/allvideo/photoshop-...op-sakura.html

Да просто ставишь в админке Тип ЧПУ: 1/2/3 вид и готово, будет индексировать только тот вид который выставишь, а типа site.ru/?newsid=411 пролетает, или наоборот. Просто то что ты написал двойным контентом назвать слодно)) вот теги, это да, двойной контент, когда у сайта 3к уник статей (ссылок), а еще 6к ссылок на них внутри сайта (ввиде тегов), это сурово однако :)

[Serberg]

CRESH, не правильно... бывате что одно и то же доступно по нескольким ссылкам типа:
http://rutut.com/?newsid=411
http://rutut.com/allvideo/photoshop-...op-sakura.html
http://rutut.com/trololo/photoshop-...op-sakura.html
http://rutut.com/allvideo/deo/photos...op-sakura.html

Получается дорвей... От того что ЧПУ поставишь в админке - ссылки типа http://rutut.com/?newsid=411 работать не перестанут.

[CRESH]

CRESH, не правильно... бывате что одно и то же доступно по нескольким ссылкам типа:
http://rutut.com/?newsid=411
http://rutut.com/allvideo/photoshop-...op-sakura.html
http://rutut.com/trololo/photoshop-...op-sakura.html
http://rutut.com/allvideo/deo/photos...op-sakura.html

Получается дорвей... От того что ЧПУ поставишь в админке - ссылки типа http://rutut.com/?newsid=411 работать не перестанут.

Да ну, бред, проверил в яше и гугле ссылки на свой сайт к примеру типа site.ru/?newsid=411 и т.д. нету таких ссылок... дак что как ЧПУ настроишь, так и будет, конечно линк типа site.ru/?newsid=411 будет также доступен и как site.ru/411-vasya-pupkin.html :) и т.д. Но это уже такое...короче пусть народ сам делает как хочет, а вот индексацию теговых ссылок убирать надо 100%.

[Serberg]

CRESH, да суть то в том что сначала гугл на 10 страничном сайте находит 50 страниц, потом говорит что их сорок, и если очень повезет то в конце их останется 10. У меня десяток сайтов на dle, ситуация кругом одинаковая.

ps
Уже 6 доменов похоронил на dle правда по другим причинам.

а вот индексацию теговых ссылок убирать надо 100%.

возможно, если они не правильные. Т.е. дублируют категории и т.п.