Перевод сайта на https

Почему так часто пишут, что при переводе сайта на https обязательно нужно исключить robots.txt из редиректа http -> https, чтобы он был доступен по обоим протоколам?
Яндекс, у себя в блоге об этом пишет так:

Выполнили переезд, настроили редирект, а теперь в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен. Что делать?

Это связано с установленным вами редиректом. Файл site.ru/robots.txt редиректит на https://site.ru/robots.txt и поэтому недоступен. В этом случае можно либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это никак не повлияет.

13 ответов

  • 1
    Welldi.ru Эксперт Разработчик 21 декабря 2017 14:23 #

    потому что это НЕ ВЛИЯЕТ НА ЗЕРКАЛО, и делать это "можно не нужно"

    • +1

      Что то я не совсем понял, что имеется в виду...

      • +1
        Welldi.ru Welldi.ru Эксперт Разработчик 22 декабря 2017 15:31 #

        Нужно сделать редикт 301 http -> Https и указать в вебместере новое зеркало как главное

        В Этом случаи робот.тхт на http не будет доступен вообще.

        • +1

          :)
          Так я вполне представляю, как нужно сделать.
          У меня только вопрос, откуда все взяли и постоянно пишут, что нужно оставить robots.txt доступным по http (т.е. сделать редирект всего, кроме robots.txt). Я посмотрел и нигде не нашел авторитетных данных, что это нужно.
          Может плохо смотрел, поэтому решил уточнить.

          • +1
            name name name name 8 ноября 2018 23:56 #

            ну в своих рекомендациях гугл прямо пишет, что очень желательно, чтобы robots.txt и sitemap.xml был доступны по обеим протоколам

  • 1

    Потому, что для яндекса 2 разных сайта (http и https)

    В итоге ваш старый сайт должен указывать (в роботсе в дерективе "хост") на новое зеркало.

    Если Роботс не доступен по HTTP, то он, соответственно, не указывает на новое зеркало, что может замедлить (/ухудшить) склейку.

    • +1
      Welldi.ru Welldi.ru Эксперт Разработчик 22 декабря 2017 15:34 #

      если это 2 сайта разные - то все, вывод верный. Если же это перевод сайта на https - то робот по http не доступен после редикта 301. Поэтому смысла нет в прописке хоста вообще.

      • +1

        Для яндекса считайте что другой домен, если переводите на HTTPS. Лучше роботс сделать доступным по 2 протоколам и без редиректа. По крайней мере так было раньше.

    • +2

      Раньше, по этому, была рекомендация сперва прописать Host и ждать смены главного зеркала у Яндекса, потом делать редирект. Но, сейчас ее уже нет. И Яндекс пишет, что необходимости это делать нет.
      Кроме того поисковики вроде вполне нормально понимают и обрабатывают редирект, в том числе и robots.txt.
      В общем, нигде не встретил данных, что если роботс на http недоступен, то склейка не произойдет или произойдет не быстро.

    • +1

      https://webmaster.yandex.ru/bl...

      Как мы писали ранее, мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.

      Что делать с директивой Host

      • её можно удалить из robots.txt или оставить, робот её просто игнорирует
  • 1
    Антон 24 декабря 2017 23:02 #

    При переходе на https нужно разместить файл robots на хостинге, а robots webasyst отключить потому, что он http и яндекс будет выдавать ошибку. Проверено.

    P.S. При переводе на https robots на http уже не нужен и он будет только мешать.

    • +2
      robots webasyst отключить потому, что он http

      У Shop-Script 7 robots.txt будет показываться по тому протоколу, по которому открываете сайт и запрашиваете robots.txt.
      Такого как Вы пишите там нет.

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите