robots.txt для Shop-Script

Как избежать индексации лишних страниц и снизить нагрузку на сервер со стороны поисковых роботов

Правила для файла robots.txt нужно вписывать в бекенде приложения «Сайт». Перейдите в раздел «Настройки» и найдите в нем поле «robots.txt».

Как отменить индексацию лишних страниц

Примеры директив составлены для витрины интернет-магазина в корне домена, например: mydomain.ru.

Если в адресе витрины вашего магазина есть название поддиректории (например, mydomain.ru/shop/), то имя поддиректории нужно подставить вместо символа косой черты («/») в начале правила.

Например, для витрины с адресом mydomain.ru/shop/ правило

Disallow: /tag/

примет вид

Disallow: /shop/tag/

Примеры

Disallow: /search/?query= Страница с результатами поиска товаров.
Disallow: /compare/ Страница с результатами сравнения товаров.
Disallow: /tag/ Страница с результатами поиска по тегам.
Disallow: *&sort=
Disallow: */?sort=
Страница с результатами сортировки товаров в категории.
Disallow: /cart/ Страница корзины покупателя.
Disallow: /order/ Страница оформления заказа в корзине.
Disallow: /checkout/ Страницы пошагового оформления заказа.
Disallow: /my/ Личный кабинет покупателя.
Disallow: /signup/ Страница регистрации покупателя.
Disallow: /login/ Страница входа в личный кабинет.
Disallow: /forgotpassword/ Страница напоминания пароля.
Disallow: /webasyst/

Страница для входа в бекенд Webasyst.


Как снизить нагрузку на сервер

Нагрузку на сервер от поисковых роботов можно уменьшить с помощью директивы Crawl-delay. Она добавляет паузу после между посещениями поискового робота. Размер паузы указывайте в секундах.

Пример

Crawl-delay: 10

43 комментария

  • 0
    Max Pain Max Pain 25 декабря 2013 09:50 #
    Я бы еще добавил:

    Disallow: *?page=1$

    Страницы /категория/ и /категория/?page=1 по сути дубли, а их поисковики не любят.
  • 0
    Роман Роман 19 июня 2014 04:44 #
    Господа! Не специалисту очень сложно разобраться во всех тонкостях директорий. На верху выложены только запретительные дирректории.
    Уважаемый Михаил Ушенин, или его коллеги, нельзя ли отобразить полный файл? Не думаю, что основные правила должны отличаться кроме персональных. Но правильный robots.txt - вещь наиважнейшая, и не хотелось бы в ней напортачить.
    Буду очень признателен!Заранее спасибо!
    • 0
      "Правильный" файл опубликовать нет возможности, т. к. он не для всех будет правильным. Поселения магазина ведь могут быть доступны не только в корне домена, но и по любому вложенному пути. Сравните:

      http://domain.ru/
      http://domain.ru/shop/

      Для каждого из этих случаев robots.txt будет разным, т. к. к адресам запрещаемых URL придётся добавить /shop (в данном случае). Именно об этом и говорится в подсказке под таблицей.
    • +1
      Disallow: /vkontakte/

      в том случае если у Вас есть витрина Вконтакте
    • +1

      Также добавить нужно Disallow: /*/reviews/

      иначе будут дубли метаописаний

      Если нужна помощь по оптимизации, составлению семантического ядра, продвижению в поисковых системах и социальных сетях пишите на почту seo.tube@ya.ru


    • +1
      Петр Петр 18 сентября 2016 14:45 #

      Добрый день. А как вообще в роботе запретить индексацию витрины?

    • +2
      Killav Killav 18 декабря 2016 02:29 #

      Доброго времени суток.

      Появились дубли страниц

      1/товар/

      2/товар/reviews/

      как убрать с индексации страницу Отзывы ?


    • +1
      Евгений Сергиенко Евгений Сергиенко 28 марта 2017 21:56 #

      Добрый вечер! а что означает: # wa shop *

    • +1

      Я правильно понимаю? Для интернет магазина директивы которые в таблице вверху статьи надо все вписать в окошко Сайт - настройка - robots.txt ?

      У меня сейчас там только:

      User-agent: *

      Disallow: /my/

      Disallow: /checkout/

      Disallow: /mailer/unsubscribe/

    • +1
      kaktus kaktus 23 июля 2017 20:49 #

      добрый день, как запретить индексацию продуктов на главной shop-opt.com.ua? мне для поиска по по сайту надо отрыть доступ всем подоменам для главной. но нельзя что бы он попали в индекс. это будут дубли

      • +1

        Попробуйте в robots добавить строку:

        Disallow: /$
        
        • +1
          kaktus kaktus 26 июля 2017 20:57 #

          Спасибо.

          гляньте пожалуйста на мой

          может чет не так прописано?

          User-agent: *

          # wa shop *

          Host: https://shop-opt.com.ua

          Disallow: /checkout/

          Disallow: /compare/

          Disallow: /search/

          Disallow: /mobile/

          Disallow: *&sort=

          Disallow: */?sort=

          Disallow: */?PHPSESSID=

          Disallow: *?page=

          Disallow: */?fp=

          Disallow: /cart/

          Disallow: /login/

          Disallow: /signup/

          Disallow: /forgotpassword/

          Disallow: /tag/

          Disallow: /my/

          Disallow: /m/

          Disallow: /*reviews

          Disallow: /reviews/

          Disallow: /*/?page=*

          Disallow: /$

        • +1
          kaktus kaktus 8 августа 2017 11:08 #

          Добрый день.. нет, все продукты влезли индекс... не помогает Disallow: /$

          больше нет вариантов?

        • +1
          Григорий Наумов Григорий Наумов 12 февраля 2018 11:57 #

          Не подскажите код для того чтобы 404 ошибки не считывались:?

        • +1
          Den Den 31 октября 2018 19:23 #

          Объясните пожалуста как работает поле robots.txt в настройках сайта.

          У меня есть файл robots.txt, который лежит в корне установки вебасиста. В настройках сайта около данного поля есть сообщение:

          Файл robots.txt обнаружен в каталоге установки Webasyst. Правила для файла robots.txt, сохраненные на этой странице, не будут применены.

          Что нужно сделать чтобы правила для robots.txt брались из этого поля? Удаление файла приводит к 404 по запросу данного файла.

          Как это должно работать и в чем может быть проблема?

          • +1
            Михаил Ушенин Михаил Ушенин Webasyst 1 ноября 2018 09:11 #

            Заполните поле, чтобы оно было непустое — его содержимое начнёт отдаваться вместо ошибки 404.

            • +1
              Den Den 2 ноября 2018 22:31 #

              Михаил естественно оно заполнено, а что делать с файлом в корне? Его удалить, правильно? Может какаято специфическая настройка должна быть на серваке? 

            • +1
              tesh_alekc@mail.ru tesh_alekc@mail.ru 18 декабря 2018 18:53 #

              Здравствуйте кто может помочь поставил плагин My Lang

              Куча ссылок с перенаправлением, лезет из за того, что к ссылкам добавляются параметры locale=ru_RU

              Как их закрыть?


            • +1
              Дима Дима 10 марта 2019 12:21 #

              Добрый день!

              Подскажите как в файле robots.txt закрыть от индексации эти страницы (Блог)

              https://areon-ua.com/blog/?page=8
              https://areon-ua.com/blog/?page=3
              https://areon-ua.com/blog/?page=4

              • +1
                Михаил Ушенин Михаил Ушенин Webasyst 11 марта 2019 10:56 #

                Ваш вопрос не имеет прямого отношения к теме статьи. Задайте его в отдельной теме на форуме поддержки, пожалуйста, или поищите ответ на него с помощью функции поиска.

                • +1
                  Дима Дима 11 марта 2019 15:59 #

                  Меня поддержка Webasyst отправила сюда за помощью.

                  Здесь описываются правила для robots.txt я хотел узнать каким правилом можно закрыть от индексации страницы блога blog/?page=8

                  Спасибо!

                • +1
                  kramnica.com.ua kramnica.com.ua 26 апреля 2019 11:04 #

                  Добрый день!

                  У нас на сайте запрещены для индексации все страницы с Get-параметрами:

                  Disallow: *?

                  Этим мы исключили из индексации страницы поиска (/search/?query=), страницы с результатами сортировки (*/?sort=).

                  Могли ли мы этой инструкцией исключить из индексации, страницы которые необходимо индексировать?

                  • +1
                    Михаил Ушенин Михаил Ушенин Webasyst 26 апреля 2019 14:09 #

                    Ваше правило выглядит слишком общим. Проконсультируйтесь у специалистов по поисковой оптимизации, например, у партнёров Webasyst.

                    • +1
                      kramnica.com.ua kramnica.com.ua 26 апреля 2019 14:37 #

                      Ок, правило действительно общее. Но мы исходили из того, что все страницы с Get-параметрами это дубли. Спасибо за ответ Михаил!

                    • +1
                      Cheshir Cheshir 13 июня 2019 14:52 #

                      1. Если в качестве шаблона построения url используется Смешанный тип, т.е. ссылка на товар выглядит так - хттп://домен.ру/название продукта, будет работать для товаров запрет на индексацию, если для категории в которой они находятся установлен Disallow? (Есть категория Отстойник, товары из которой нельзя индексировать).

                      2. Надо ли запрещать индексировать категории (продает лист), оставляя для индексации только карточки товаров?

                      • +1
                        1. Нет, потому что в URL товаров при смешанном типе URL нет фрагментов адресов категорий.
                        2. Это зависит только от ваших потребностей. Что означают ваши слова «продает лист»?
                        • +1
                          Cheshir Cheshir 13 июня 2019 15:15 #

                          Продакт лист, список товаров, прошу прощения - авто-замена сработала.

                          Как же быть со Смешанным типом? И если использовать Естественный тип, то как быть с дублированием в разные категории (если есть необходимость размещать товар в разные категории)?

                          Добавить комментарий

                          Чтобы добавить комментарий, зарегистрируйтесь или войдите