Перевод сайта на https

Почему так часто пишут, что при переводе сайта на https обязательно нужно исключить robots.txt из редиректа http -> https, чтобы он был доступен по обоим протоколам?
Яндекс, у себя в блоге об этом пишет так:

Выполнили переезд, настроили редирект, а теперь в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен. Что делать?

Это связано с установленным вами редиректом. Файл site.ru/robots.txt редиректит на https://site.ru/robots.txt и поэтому недоступен. В этом случае можно либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это никак не повлияет.

3 ответа

  • 1

    потому что это НЕ ВЛИЯЕТ НА ЗЕРКАЛО, и делать это "можно не нужно"

  • 1

    Потому, что для яндекса 2 разных сайта (http и https)

    В итоге ваш старый сайт должен указывать (в роботсе в дерективе "хост") на новое зеркало.

    Если Роботс не доступен по HTTP, то он, соответственно, не указывает на новое зеркало, что может замедлить (/ухудшить) склейку.

    • +1

      если это 2 сайта разные - то все, вывод верный. Если же это перевод сайта на https - то робот по http не доступен после редикта 301. Поэтому смысла нет в прописке хоста вообще.

      • +1

        Для яндекса считайте что другой домен, если переводите на HTTPS. Лучше роботс сделать доступным по 2 протоколам и без редиректа. По крайней мере так было раньше.

    • +2

      Раньше, по этому, была рекомендация сперва прописать Host и ждать смены главного зеркала у Яндекса, потом делать редирект. Но, сейчас ее уже нет. И Яндекс пишет, что необходимости это делать нет.
      Кроме того поисковики вроде вполне нормально понимают и обрабатывают редирект, в том числе и robots.txt.
      В общем, нигде не встретил данных, что если роботс на http недоступен, то склейка не произойдет или произойдет не быстро.

    • +1

      https://webmaster.yandex.ru/bl...

      Как мы писали ранее, мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.

      Что делать с директивой Host

      • её можно удалить из robots.txt или оставить, робот её просто игнорирует
  • 1
    Antonio 24 декабря 2017 23:02 #

    При переходе на https нужно разместить файл robots на хостинге, а robots webasyst отключить потому, что он http и яндекс будет выдавать ошибку. Проверено.

    P.S. При переводе на https robots на http уже не нужен и он будет только мешать.

    • +2
      robots webasyst отключить потому, что он http

      У Shop-Script 7 robots.txt будет показываться по тому протоколу, по которому открываете сайт и запрашиваете robots.txt.
      Такого как Вы пишите там нет.

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите