Загрузка файла robots.txt

Для того чтобы разместить содержимое файла robots.txt, перейдите в приложение «Сайт» в бекенде своего интернет-магазина. Откройте раздел «Настройки сайта» и введите нужные директивы в поле для файла robots.txt.

Нестандартные ситуации

Содержимое поля «robots.txt» не учитывается поисковыми роботами, если:

  • в корневой директории установки фреймворка уже есть файл с именем robots.txt; в этом случае используется содержимое этого файла, а поле настроек «robots.txt» в приложении «Сайт» игнорируется;
  • адрес (URL) сайта, введенный в разделе «Сайт → Настройки», содержит имя поддиректории; например, если в настройках «Сайта» указан URL вида http://mydomain.ru/info/, то содержимое поля настроек «robots.txt» для всех разделов такого сайта игнорируется.

3 комментария

  • +1
    Владимир Соколов Владимир Соколов 19 октября 2015 02:22 #

    Можно по-подробнее момент, когда магазин находится на домене www.yourdomain.ru, а приложение сайт на www.youtdomain.ru/site/

    Где и как тогда создавать и править robors.txt

    • +1
      Михаил Ушенин Михаил Ушенин Webasyst 19 октября 2015 02:43 #

      Значение имеет не то, по какому адресу находится какое поселение (приложение), а то, какой адрес указан в настройках сайта (раздел "Настройки"). Если в настройках сайта указан адрес (URL) без указания подпапки (/site/), то содержимое robots.txt нужно и можно редактировать там же в настройках сайта (если, конечно, файла с таким именем у вас нет на сервере — в такомр случае нужно либо редактировать этот файл, либо удалить его и редактировать настройки сайта в Вебасисте).

      Если же в адресе сайта есть имя подпапки, то редактирование настроек robots.txt для такого сайта в Вебасисте ни к чему не приведёт. В этом случае нужно создать/редактировать файл robots.txt, загруженный на сервер по FTP и доступный в браузере по адресу yourdomain.ru/robots.txt, т. е. без имени подпапки в адресе.

      Добавить комментарий

      Чтобы добавить комментарий, зарегистрируйтесь или войдите