Помогите в robots.txt. Пожалуйста! Есть решение

Форум поддержки » Вопросы и ответы

Люди добрые помогите!

Правильно ли составлен robots.txt? Мне кажется, что я что-то неправильно сделала. Страницы не индексируются....

User-agent: *

# wa shop *

Disallow: /my/

Disallow: /checkout/

Disallow: /login/

Disallow: /search/?query=

Disallow: /tag/

Disallow: /cart/

Disallow: /signup/

Disallow: /forgotpassword/

Disallow: /webasyst/

# wa shop




7 ответов

  • 1
    Максим Webasyst 1 октября 2015 04:39 # Решение

    Воспользуйтесь анализатором Яндекса: https://webmaster.yandex.ru/robots.xml , там можно проверить, будут ли индексироваться конкретные адреса. Но у вас все верно, проблем быть не должно.

    ответить
    • +1
      marta - marta - 1 октября 2015 04:44 #

      Максим, достаточно ли Disallow или нужно прописывать еще Allow?

      Почти 3 недели было добавлено 10 тыс. товаров, но эти страницы не проиндексировались. Может это быть от того, что url выглядят вот таким образом? http://8krasok.ru/vyshivka-biserom/category_158/10...

      Почему-то вместо названия товара на латинице прописаны цифры...

      ответить
    • +1
      Dmitry - Dmitry - 12 октября 2015 12:29 #

      А что такое User-agent: *, # wa shop * и # wa shop ?? Это необходимо добавлять?

      ответить
  • 1
    Эрик Webasyst 13 октября 2015 06:17 #
    User-agent: *, - обязательный параметр,

    # wa shop * и # wa shop - просто комментарии, они никак не влияют, их можно удалить.

    ответить
  • 1
    Егор Смайл 24 ноября 2015 01:47 #

    Возможно проблема не в robots.txt (здесь немного теории http://loleknbolek.com/slovar-terminov/chto-takoe-...)? Если посмотреть данное содержание файла, то ничего особенного не вижу, все норм. Возножно в серверніх файлах где-то закрыто от индексации или санкции у вас?

    ответить

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите