При установке скрипта удалил все из Robots.txt Есть решение

Здравствуйте при установке скрипта удалил все из Robots.txt не могу найти значения по умолчанию.

Самостоятельно изучив темы по созданию robots

написал 2 варианта вот так, извините снова наверное в дебри полез =)

User-agent: *
Disallow: /shop/
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /vkontakte/
Disallow: /facebook/
Disallow: /order_history/
Disallow: /print_form/
Disallow: /*save_voting_results=yes*

Disallow:/category/*/offset*


User-Agent: Yandex
Disallow: /shop/
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /vkontakte/
Disallow: /facebook/
Disallow: /order_history/
Disallow: /print_form/
Disallow: /*save_voting_results=yes*
Disallow:/category/*/offset*
Host: www.shop-go.ru


Crawl-delay: 10

Sitemap: http://www.shop-go.ru/sitemap.xml

и вот так

User-agent: *
Disallow: /search/?query=
Disallow: /tag/
Disallow: *?sort=
Disallow: /cart/
Disallow: /checkout/
Disallow: /my/
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Disallow: /webasyst/
Crawl-delay: 10
Host: www.shop-go.ru

Sitemap: http://www.shop-go.ru/sitemap.xml

какой из вариантов лучше подойдет?

1 ответ

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите