Просматривая аналитику своего блога, заметил, что иногда из ПС заходят на страницы вида "renotes.ru/tag/perl". Тем самым, размещая статью с тегами, мы создаем дублированный контент и поисковой мусор.
В одной из встреч с вебмастерами Google рекомендует избегать повторяющейся информации, если в этом нет явной необходимости (например, если товары различаются по цвету).
Возможно, кто-то из вас подумает: для чего мне закрывать теги и другой дублированный контент, если ПС не штрафуют за это? И чем больше страниц в индексе, тем лучше.
Нет. Убирая из индексации все лишнее:
- избавляемся от поискового мусора,
- ускоряем индексацию нового материала (10 важных страниц попадут в индекс быстрее, чем в перемешку с хламом).
Для этого необходимо добавить ко всем ссылкам rel="nofollow" или запретить индексацию в файле robots.txt для всего раздела. Например:
Disallow: /tag/*