Google Search Console не видит robots.txt
Доброго времени суток! Столкнулись с такой проблемой - search console сообщает, что robots отсутствует.
По ссылке получаем 404 ошибку http://kramnica.com.ua/robots.tхt
Удалил через файл-менеджер старый роботс, через "Сайт"-"Настройка" вписал код заново, и ничего не произошло! по прямой ссылке 404, яндекс.вебмастер не видит, гугл не видит. С чем это может быть связано?
6 ответов
Можете так же через файл менеджер его обратно создать, если при нажатии на Сохранить не создается снова? Ладно бы он в корне лежал, а то ведь ещё и найти его надо было. Он лежит в /wa-data/public/site/data/kramnica.com.ua/robots.txt там и создавайте вручную обратно с новым содержимым. В настройки Сайта он оттуда подтянется.
Может вы не только файл, но и каталог грохнули, в котором он лежал?
Дело в том, что он создается с тем в каталоге при редактировании поля в настройках. Интереса ради попробовал загрузить вручную - не сработало. Хотя вы правы, в настройки содержимое подтянулось. Но проблема осталась - при переходе по прямой ссылке - 404.
Не удалось повторить вашу ошибку. У себя на тестовой установке удалил файл, зашел в настройки, создал с новым содержимым, файл создался и стал снова доступен по прямой ссылке.
Если совсем засада и не разрешится проблема, то как вариант создавать файл вручную в корне сайта, чтобы поисковики хотя бы не спотыкались.
P.S. У вас там на скриншоте ещё какое-то сообщение относительно каталога установки и файлах, которые будут задействованы оттуда.
Если создавать через файл менеджер в корне - то не помогает. Поисковики продолжают спотыкаться и ругаться. Есть смысл добавлять через FTP?
Баг где-то не на поверхности, возможно связано с очередным обновлением. Я честно говоря хз с какой стороны искать, собственно поэтому и обратился в поддержку
Попробуйте залить через ftp в корень сайта, если через файл менеджер не получается. У себя проверил как ведет себя файл в корне. Все отлично срабатывает. Но я не заливаю через всякие менеджеры и т.п. прослойки, а просто захожу на сервер по ssh и работаю с файлами прямо там (создаю, редактирую, удаляю).
Когда файла robots.txt в корне нет, то выдается тот, который создается движком. Когда создаю файл в корне сайта, то подхватывается новый из корня сразу же, т.е. в вашем случае поисковики должны подхватить его и по прямой ссылке вы должны этот новый файл тоже увидеть.
Ещё может быть какие-то настройки хостинга или правила в .htaccess могут влиять. Надо смотреть более широко. Движок может быть и не виноват.
Кстати, по прямой ссылке отсюда файл открывается http://kramnica.com.ua/wa-data/public/site/data/kr...