Карта сайта как отключить генерирование страниц, которые закрыты правилами в файле robots.txt?

Доброго дня! подскажите пожалуйста - как настроить в карту сайта- что бы в нее не включались страницы с отличным от 200 откликом, а так же те страницы, которые закрыты правилами в файле robots.txt?

1 ответ

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите