Просматривая аналитику своего блога, заметил, что иногда из ПС заходят на страницы вида "renotes.ru/tag/perl". Тем самым, размещая статью с тегами, мы создаем дублированный контент и поисковой мусор.

В одной из встреч с вебмастерами Google рекомендует избегать повторяющейся информации, если в этом нет явной необходимости (например, если товары различаются по цвету).

Возможно, кто-то из вас подумает: для чего мне закрывать теги и другой дублированный контент, если ПС не штрафуют за это? И чем больше страниц в индексе, тем лучше.

Нет. Убирая из индексации все лишнее:

  • избавляемся от поискового мусора,
  • ускоряем индексацию нового материала (10 важных страниц попадут в индекс быстрее, чем в перемешку с хламом).

Для этого необходимо добавить ко всем ссылкам rel="nofollow" или запретить индексацию в файле robots.txt для всего раздела. Например:

Disallow: /tag/*