Запреты на индексацию Есть решение

Необходимо выводить META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" на все страницы с рекламными урл где есть utm, gclid= , а также содержащие sort=, query=, search, compare, cart, signup, login, forgotpassword, а также страницах с примененным ползунком цены.

Кто может помочь?

3 ответа

  • 2
    replicant 19 сентября 2018 16:14 # Решение

    В robots.txt положите правила

    Disallow: /search/?query=
    Disallow: /search/?query=* 
    Disallow: *?sort=
    Disallow: *&sort=
    

    Ну и т.д. по вашему списку желаний... последовательности символов до или после вхождения фразы типа utm или query=  заменяете на звездочку (инструкция как делать robots.txt есть на Яндексе).

    А полные строки типа signup или login указываете относительно корня сайта примерно так

    Disallow: /signup/
    Disallow: /login/
    Disallow: /checkout/
    Disallow: /my/

    ИМХО можно это все повырезать условиями (слишком много их будет) в index.html, но вроде бы robots.txt для этого и придуман.

    Хотя, если подумать, то всякие login и signup тоже очень даже неплохо можно использовать для продвижения, если поработать над содержанием, мета-тегами и title соответствующих шаблонов.

  • 1
    Alex 19 сентября 2018 16:23 #

    я так сео специалистам и говорю))) зачем тогда роботс, а они с этими тегами носятся, при чем уже не первая контора((

    • +1
      replicant replicant 19 сентября 2018 16:31 #

      Вот смотрите. Допустим нам надо убрать из индексации скажем страницу отзывов у товара (внезапное спонтанное желание).

      И вот такое решение будет для этого в шаблоне index.html в секции <head>...</head>

          {if $smarty.server.REQUEST_URI == "`$wa->shop->productUrl($product, 'reviews')`"}
              <meta name="robots" content="noindex"/>
          {/if}

      А можно просто в robots.txt прописать строчку 

      Disallow: */reviews/

      Эффект подразумевается один и тот же. Поисковик не должен индексировать страницу по данному адресу. Причем, если поисковику придет в "больную" голову проиндексировать контент, то его не остановит какой-то тег или правило в роботс. :) Предполагается, что поисковик следует правилам игры. И нам остается только на это надеяться.

      А теперь представьте, что у вас два десятка условий, по которым надо отсеивать URL и ставить META noindex.

      На мой взгляд - это утяжелит index.html ненужными условиями для СЕО. Попробуйте сначала всё это сделать в robots.txt и в том же Яндекс Вебмастере или Гугле удалить шташтными средствами проиндексированные ранее ненужные URL и понаблюдать пару недель.

      У меня несколько сайтов и как-то до сих пор проблем с исполнением запрета на индексирование в robots.txt не возникало. Всё что не надо отсеиваю только там, кроме запрета на индексирование частей страниц или каких-то nofollow вставок.

  • 1
    Stiv 8 ноября 2018 22:18 #

    4 дня назад посыпались ошибки в гугловской консоли вида "Проиндексировано, несмотря на блокировку в файле robots.txt". Расследование показало, что "Директивы в robots.txt - это запрет на сканирование, а не запрет на индексирование!" - отсюда: https://productforums.google.c...

    Ругается конкретно на /my/, остальное его устраивает. В файле head.html есть такой код:

    {if !empty($nofollow)}
        <!-- "nofollow" for pages not to be indexed, e.g. customer account -->
        <meta name="robots" content="noindex, nofollow" />
    {/if}

    Вопрос: куда и что нужно дописать, чтобы гугл перестал ругаться? В robots.txt все написано, но, как оказалось, это к делу отношения не имеет...

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите