Противоречие между robots.txt и sitemap.xml ?

Google Search Console присылает сообщение об ошибке: "Индексирование отправленных URL", "Ошибки при сканировании отправленного URL, при проверке в консоли google проблема еще уточняется "Доступ к отправленному URL заблокирован в файле robots.txt"

Что удалось выяснить:

папка /blog-vk/ запрещена мной вручную к индексированию в robots.txt (т.к. это дублирующийся контент основного блога в ВК), но файлы и папки /blog-vk/* попадают в sitemap.xml (который генерируется автоматически платформой WebAsyst).

В результате Google Search Console видит ошибку - ресурсы указаны для индексации (в sitemap.xml), но доступа к ним нет из-за настроек robots.txt

Что это, - недоработка платформы Webasyst или что-то надо изменить в настройках?

1 ответ

  • 1

    Я думаю что это нарушение в логике использования приложений и настроек robots.txt.
    Приложение не обязано анализировать robot.txt на предмет находящихся там запретов и следовать им.
    Ну и плюс много технических заморочек в таком анализе.

    Так что в вашем случае, два варианта.
    Или в robots.txt открыть обратно и что-то сделать на стороне дублирующейся информации(размещать ссылку на vk или как-то еще указывать источник) или делать блог(посты) скрытыми - доступен только по прямой ссылке, скрыт в sitemap.xml.

    Ну и третий вариант - забить на эту ошибку, если они на что не влияет.


Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите