Запретить индексацию страниц в блоге Есть решение
Как запретить в robots.txt индексацию страниц - месяцев и годов в приложении блог?
То есть запретить вот такие страницы:
домен.ru/blog/2020/04/
домен.ru/blog/2020/
а записи в блоге оставить индексироваться:
домен.ru/blog/zapis1/
3 ответа
До конца 2029 года хватит такой строки
а так тоже правильно?
Disallow: /blog/20*/
Disallow: /blog/20*/*/
Можно и так, но хватит и одной строки. Если надо скрыть данные за 2019 и ранее, то добавьте вторую 201* для записей прошлых лет.
Т.е. нет особого смысла в отдельном огораживании 20*/*/, если у вас не будет записей начинающихся с 20*. Просто ставьте 20* и все. На этот век хватит.
В Яндекс-вебмастере, есть проверка robots.txt и блокирования тех или иных строк определенными правилами. Там все можно проверить онлайн.