Перевод сайта на https
Почему так часто пишут, что при переводе сайта на https обязательно нужно исключить robots.txt из редиректа http -> https, чтобы он был доступен по обоим протоколам?
Яндекс, у себя в блоге об этом пишет так:
Выполнили переезд, настроили редирект, а теперь в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен. Что делать?
Это связано с установленным вами редиректом. Файл site.ru/robots.txt редиректит на https://site.ru/robots.txt и поэтому недоступен. В этом случае можно либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это никак не повлияет.
13 ответов
потому что это НЕ ВЛИЯЕТ НА ЗЕРКАЛО, и делать это "можно не нужно"
Что то я не совсем понял, что имеется в виду...
Нужно сделать редикт 301 http -> Https и указать в вебместере новое зеркало как главное
В Этом случаи робот.тхт на http не будет доступен вообще.
:)
Так я вполне представляю, как нужно сделать.
У меня только вопрос, откуда все взяли и постоянно пишут, что нужно оставить robots.txt доступным по http (т.е. сделать редирект всего, кроме robots.txt). Я посмотрел и нигде не нашел авторитетных данных, что это нужно.
Может плохо смотрел, поэтому решил уточнить.
ну в своих рекомендациях гугл прямо пишет, что очень желательно, чтобы robots.txt и sitemap.xml был доступны по обеим протоколам
Можно пруф увидеть, где Google прямо об этом пишет?
Потому, что для яндекса 2 разных сайта (http и https)
В итоге ваш старый сайт должен указывать (в роботсе в дерективе "хост") на новое зеркало.
Если Роботс не доступен по HTTP, то он, соответственно, не указывает на новое зеркало, что может замедлить (/ухудшить) склейку.
если это 2 сайта разные - то все, вывод верный. Если же это перевод сайта на https - то робот по http не доступен после редикта 301. Поэтому смысла нет в прописке хоста вообще.
Для яндекса считайте что другой домен, если переводите на HTTPS. Лучше роботс сделать доступным по 2 протоколам и без редиректа. По крайней мере так было раньше.
Раньше, по этому, была рекомендация сперва прописать Host и ждать смены главного зеркала у Яндекса, потом делать редирект. Но, сейчас ее уже нет. И Яндекс пишет, что необходимости это делать нет.
Кроме того поисковики вроде вполне нормально понимают и обрабатывают редирект, в том числе и robots.txt.
В общем, нигде не встретил данных, что если роботс на http недоступен, то склейка не произойдет или произойдет не быстро.
https://webmaster.yandex.ru/bl...
Как мы писали ранее, мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.
Что делать с директивой HostПри переходе на https нужно разместить файл robots на хостинге, а robots webasyst отключить потому, что он http и яндекс будет выдавать ошибку. Проверено.
P.S. При переводе на https robots на http уже не нужен и он будет только мешать.
У Shop-Script 7 robots.txt будет показываться по тому протоколу, по которому открываете сайт и запрашиваете robots.txt.
Такого как Вы пишите там нет.