Хотелось бы иметь возможность запрещать индексацию роботами отдельных подстраниц товара, исключая такие страницы из sitemap.xml . Это нужно чтобы исключить дубли, если в магазине текст с подстраницы выводятся на странице товара.
Закрыть их вручную в robots.txt страницы у тысяч товаров просто нереально физически!
1 комментарий
Здравствуйте. Попробуйте так в robots.txt внести такие изменения.
Пример заблокированной страницы http://provent.com.ua/product/vents-quietline-150-....