Для того чтобы разместить содержимое файла robots.txt, перейдите в приложение «Сайт» в бекенде своего интернет-магазина. Откройте раздел «Настройки сайта» и введите нужные директивы в поле для файла robots.txt.
Нестандартные ситуации
Содержимое поля «robots.txt» не учитывается поисковыми роботами, если:
- в корневой директории установки фреймворка уже есть файл с именем robots.txt; в этом случае используется содержимое этого файла, а поле настроек «robots.txt» в приложении «Сайт» игнорируется;
- адрес (URL) сайта, введенный в разделе «Сайт → Настройки», содержит имя поддиректории; например, если в настройках «Сайта» указан URL вида http://mydomain.ru/info/, то содержимое поля настроек «robots.txt» для всех разделов такого сайта игнорируется.
2 комментария
Можно по-подробнее момент, когда магазин находится на домене www.yourdomain.ru, а приложение сайт на www.youtdomain.ru/site/
Где и как тогда создавать и править robors.txt
Значение имеет не то, по какому адресу находится какое поселение (приложение), а то, какой адрес указан в настройках сайта (раздел "Настройки"). Если в настройках сайта указан адрес (URL) без указания подпапки (/site/), то содержимое robots.txt нужно и можно редактировать там же в настройках сайта (если, конечно, файла с таким именем у вас нет на сервере — в такомр случае нужно либо редактировать этот файл, либо удалить его и редактировать настройки сайта в Вебасисте).
Если же в адресе сайта есть имя подпапки, то редактирование настроек robots.txt для такого сайта в Вебасисте ни к чему не приведёт. В этом случае нужно создать/редактировать файл robots.txt, загруженный на сервер по FTP и доступный в браузере по адресу yourdomain.ru/robots.txt, т. е. без имени подпапки в адресе.