При установке скрипта удалил все из Robots.txt Есть решение
Здравствуйте при установке скрипта удалил все из Robots.txt не могу найти значения по умолчанию.
Самостоятельно изучив темы по созданию robots
написал 2 варианта вот так, извините снова наверное в дебри полез =)
User-agent: *Disallow: /shop/
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /vkontakte/
Disallow: /facebook/
Disallow: /order_history/
Disallow: /print_form/
Disallow: /*save_voting_results=yes*
Disallow:/category/*/offset*
User-Agent: Yandex
Disallow: /shop/
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /vkontakte/
Disallow: /facebook/
Disallow: /order_history/
Disallow: /print_form/
Disallow: /*save_voting_results=yes*
Disallow:/category/*/offset*
Host: www.shop-go.ru
Sitemap: http://www.shop-go.ru/sitemap.xml
и вот так
User-agent: *Disallow: /search/?query=
Disallow: /tag/
Disallow: *?sort=
Disallow: /cart/
Disallow: /checkout/
Disallow: /my/
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Disallow: /webasyst/
Crawl-delay: 10
Host: www.shop-go.ru
Sitemap: http://www.shop-go.ru/sitemap.xml
какой из вариантов лучше подойдет?
1 ответ
Проверить правильность заполнения Robots.txt Вы можете по ссылке https://webmaster.yandex.ru/tools/robotstxt/
Для сайта http://shop-go.ru неправильно заданы директивы Host и Sitemap. В Вашем случае нужно без www, правильно так:
Host: shop-go.ruSitemap: http://shop-go.ru/sitemap.xml
Файл Robots.txt нужен для закрытия ненужных страниц от индексации. Пример https://www.shop-script.ru/help/149/shop-script-5-...