Файл robots.txt - allow и disallow, что правильно добавлять?
Вопрос наверное глупый и тем не менее.
Увидел что у конкурентов огромный файл robots.txt с условиями allow (каталоги товаров и блог тд), и disallow (личный кабинет, конвертер валют и т.д.).
Подскажите, имеет ли смысл заморачиаться и прописывать allow того что хотелось бы?
На сколько я понимаю, dissallow как раз прописывается для того чтобы робот не тратил ресурсы на переобходы того что не должно попасть в поисковик. А все остальное, как говорится, welcome!
Или allow помогает улучшить сбор необходимой информации?
П.С. - сейчас robots выглядит так:
User-agent: Yandex
Disallow: /webasyst/
Disallow: /login/
Disallow: /*/reviews/
Disallow: /cart/
Disallow: //?price_min=
Disallow: /search/?query=
Disallow: *?sort=
Disallow: /checkout/
Disallow: /my/
Disallow: /ajax/
Disallow: /signup/
Disallow: /forgotpassword/
Disallow: //?page=
Disallow: /*/?sort=
Disallow: /blog/author/*
Disallow: /compare/
Disallow: /*/*utm_source=
Disallow: /*/?_openstat=
Disallow: /*/?order=
Disallow: /search/
User-agent: Google
Disallow: /webasyst/
Disallow: /login/
Disallow: /*/reviews/
Disallow: /cart/
Disallow: //?price_min=
Disallow: /search/?query=
Disallow: *?sort=
Disallow: /checkout/
Disallow: /my/
Disallow: /ajax/
Disallow: /signup/
Disallow: /forgotpassword/
Disallow: //?page=
Disallow: /*/?sort=
Disallow: /blog/author/*
Disallow: /compare/
Disallow: /*/*utm_source=
Disallow: /*/?_openstat=
Disallow: /*/?order=
Disallow: /search/
Sitemap: https://xxxxxxxxx
1 ответ
Нет. Allow нужен только для тех случаев когда необходимо перебить Disallow. Например:
Думаю, из примера понятно предназначение Allow. Просто так его нет смысла внедрять для каких-либо страниц.
Можно улучшить. Шаблонный близкий к идеальному файл robots.txt для WA Shop Script можно подглядеть здесь - https://chikurov-seo.ru/blog/u...