Как загрузить файл robots.txt

Содержимое файла robots.txt нужно редактировать в бекенде Вебасиста. Откройте приложение «Сайт», перейдите в раздел «Настройки сайта» и найдите поле «robots.txt».

Когда эта настройка не работает

  • Если в корневой директории Вебасиста на сервере уже есть файл с именем robots.txt. В этом случае используется содержимое файла, а настройка в Вебасисте не учитывается. Чтобы редактировать содержимое robots.txt только с помощью настройки приложения «Сайт», удалите файл robots.txt на сервере.
  • Если в URL сайта есть имя поддиректории. Для сайта с адресом вида mydomain.ru/info/ настройка «robots.txt» не используется, потому что он расположен не в корне домена. Для такого сайта используется содержимое файла robots.txt (если на сервере есть такой файл) или настройка «robots.txt» сайта с адресом вида mydomain.ru (т. е. сайта в корне домена, если в вашем Вебасисте есть такой сайт).

10 комментариев

  • +1
    korotenko.68@mail.ru korotenko.68@mail.ru 9 февраля 2017 11:44 #

    у меня на сайте загружен на «robots.txt» вот такое значение, его мне выдал Яндекс и Гугл. Надо еще, что-то настраивать? Спасибо.

    User-agent: *
    Crawl-delay: 10

  • +1
    ets1 ets1 11 июля 2018 11:20 #

    Помогите с вопросмо загрузки robot.txt, нет возможности загрузить файл через Вебасист, так как нет поля как показано в примере.

    Форма для ввода текста отсутствует(

    • +1
      Михаил Ушенин Михаил Ушенин 11 июля 2018 11:47 #

      Покажите настройки сайта на снимке экрана. Информацию, которую не хотите показывать всем посетителям сайта, закройте в графическом редакторе.

    • +1
      Антон Сало Антон Сало Эксперт 20 февраля 2020 11:28 #

      Всем добрый день! После установки и настройки плагина SEO-регионы, с основного домена, стал постоянно вылетать файл robots, в чем проблема и как это устранить?

    • +1
      Владимир кузмекнов Владимир кузмекнов 19 апреля 2020 19:17 #

      Здравствуйте! для сайта argos-k.ru на старом шаблоне вебасист, не погу понять как создать robots.txt и куда его установить

      • +1
        Михаил Ушенин Михаил Ушенин 20 апреля 2020 09:10 #

        Создайте файл с помощью текстового редактора на своём компьютере и загрузите его на сервер в корневую директорию сайта.

      • +1
        kurage07 kurage07 20 июня 2022 20:05 #

        В робот  тхт добавили

        User-Agent: *
        Disallow:/

        но сайт все равно виден для посетителей Что сделали не так?

        Добавить комментарий

        Чтобы добавить комментарий, зарегистрируйтесь или войдите

        Раздел помощи работает на основе приложения «Хаб»