google merchant center проблема с robots.txt

Доброго всем дня.

Недавно привел в порядок файл robots.txt и после обнаружил в админ панели merchant center и после обнаружил что большинство товарных предложений было отключено по причине блокировки доступа в robots.txt

по мнению гугла, файл robots.txt должен выглядеть вот так:


User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

Мой файл выглядет вот так:

User-agent: *
Allow: /
Disallow: /my/*
Disallow: /checkout/
Disallow: /webasyst/
Disallow: /*/reviews/
Disallow: /search/
Disallow: /onestep/
Disallow: /forgotpassword/
Disallow: /blog/
Disallow: /tag/
Disallow: /compare/
Disallow: /mailer/unsubscribe/
Disallow: /*?sort=*
Disallow: /*?page=*
Disallow: /*?*
Disallow: /captcha.php?rid=

User-agent: Yandex
Allow: /
Disallow: /my/*
Disallow: /checkout/
Disallow: /webasyst/
Disallow: /*/reviews/
Disallow: /search/
Disallow: /onestep/
Disallow: /forgotpassword/
Disallow: /blog/
Disallow: /tag/
Disallow: /compare/
Disallow: /mailer/unsubscribe/
Disallow: /*?sort=*
Disallow: /*?page=*
Disallow: /*?*
Disallow: /captcha.php?rid=
Host: sitename.ru

User-agent: Googlebot-Image
Disallow:

User-agent: Googlebot
Allow: /
Disallow: /my/*
Disallow: /checkout/
Disallow: /webasyst/
Disallow: /*/reviews/
Disallow: /search/
Disallow: /onestep/
Disallow: /forgotpassword/
Disallow: /blog/
Disallow: /tag/
Disallow: /compare/
Disallow: /mailer/unsubscribe/
Disallow: /*?sort=*
Disallow: /*?page=*
Disallow: /*?*
Disallow: /captcha.php?rid=

Sitemap: http://sitename.ru/sitemap.xml

Подскажите пожалуйста, где я тут накосячил?

1 ответ

  • 1
    Николай 7 ноября 2016 09:19 #

    Если проблема до сих пор не решена — вы можете разместить описание своего задания в разделе «Поиск проектов и экспертов». Для получения расширенной платной помощи воспользуйтесь услугами наших партнёров.

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите