Как загрузить файл robots.txt

Содержимое файла robots.txt нужно редактировать в бекенде Вебасиста. Откройте приложение «Сайт», перейдите в раздел «Настройки сайта» и найдите поле «robots.txt».

Когда эта настройка не работает

  • Если в корневой директории Вебасиста на сервере уже есть файл с именем robots.txt. В этом случае используется содержимое файла, а настройка в Вебасисте не учитывается. Чтобы редактировать содержимое robots.txt только с помощью настройки приложения «Сайт», удалите файл robots.txt на сервере.
  • Если в URL сайта есть имя поддиректории. Для сайта с адресом вида mydomain.ru/info/ настройка «robots.txt» не используется, потому что он расположен не в корне домена. Для такого сайта используется содержимое файла robots.txt (если на сервере есть такой файл) или настройка «robots.txt» сайта с адресом вида mydomain.ru (т. е. сайта в корне домена, если в вашем Вебасисте есть такой сайт).

4 комментария

  • +1
    korotenko.68@mail.ru korotenko.68@mail.ru 9 февраля 2017 11:44 #

    у меня на сайте загружен на «robots.txt» вот такое значение, его мне выдал Яндекс и Гугл. Надо еще, что-то настраивать? Спасибо.

    User-agent: *
    Crawl-delay: 10

  • +1
    ets1 ets1 11 июля 2018 11:20 #

    Помогите с вопросмо загрузки robot.txt, нет возможности загрузить файл через Вебасист, так как нет поля как показано в примере.

    Форма для ввода текста отсутствует(

    • +1

      Покажите настройки сайта на снимке экрана. Информацию, которую не хотите показывать всем посетителям сайта, закройте в графическом редакторе.

      Добавить комментарий

      Чтобы добавить комментарий, зарегистрируйтесь или войдите