Содержимое файла robots.txt нужно редактировать в бекенде Вебасиста. Откройте приложение «Сайт», перейдите в раздел «Настройки сайта» и найдите поле «robots.txt».
Когда эта настройка не работает
- Если в корневой директории Вебасиста на сервере уже есть файл с именем robots.txt. В этом случае используется содержимое файла, а настройка в Вебасисте не учитывается. Чтобы редактировать содержимое robots.txt только с помощью настройки приложения «Сайт», удалите файл robots.txt на сервере.
- Если в URL сайта есть имя поддиректории. Для сайта с адресом вида mydomain.ru/info/ настройка «robots.txt» не используется, потому что он расположен не в корне домена. Для такого сайта используется содержимое файла robots.txt (если на сервере есть такой файл) или настройка «robots.txt» сайта с адресом вида mydomain.ru (т. е. сайта в корне домена, если в вашем Вебасисте есть такой сайт).
10 комментариев
у меня на сайте загружен на «robots.txt» вот такое значение, его мне выдал Яндекс и Гугл. Надо еще, что-то настраивать? Спасибо.
User-agent: *
Crawl-delay: 10
Ваш вопрос не имеет прямого отношения к теме статьи. Задайте его в отдельной теме в общем хабе поддержки, пожалуйста.
Помогите с вопросмо загрузки robot.txt, нет возможности загрузить файл через Вебасист, так как нет поля как показано в примере.
Форма для ввода текста отсутствует(
Покажите настройки сайта на снимке экрана. Информацию, которую не хотите показывать всем посетителям сайта, закройте в графическом редакторе.
Всем добрый день! После установки и настройки плагина SEO-регионы, с основного домена, стал постоянно вылетать файл robots, в чем проблема и как это устранить?
Как проявляется на практике «вылетание» файла?
Здравствуйте! для сайта argos-k.ru на старом шаблоне вебасист, не погу понять как создать robots.txt и куда его установить
Создайте файл с помощью текстового редактора на своём компьютере и загрузите его на сервер в корневую директорию сайта.
В робот тхт добавили
но сайт все равно виден для посетителей Что сделали не так?
Файл robots.txt — не для посетителей, а для поисковых систем.