Помогите в robots.txt. Пожалуйста! Есть решение
Люди добрые помогите!
Правильно ли составлен robots.txt? Мне кажется, что я что-то неправильно сделала. Страницы не индексируются....
User-agent: *
# wa shop *
Disallow: /my/
Disallow: /checkout/
Disallow: /login/
Disallow: /search/?query=
Disallow: /tag/
Disallow: /cart/
Disallow: /signup/
Disallow: /forgotpassword/
Disallow: /webasyst/
# wa shop
7 ответов
Воспользуйтесь анализатором Яндекса: https://webmaster.yandex.ru/robots.xml , там можно проверить, будут ли индексироваться конкретные адреса. Но у вас все верно, проблем быть не должно.
Максим, достаточно ли Disallow или нужно прописывать еще Allow?
Почти 3 недели было добавлено 10 тыс. товаров, но эти страницы не проиндексировались. Может это быть от того, что url выглядят вот таким образом? http://8krasok.ru/vyshivka-biserom/category_158/10...
Почему-то вместо названия товара на латинице прописаны цифры...
Нет, добавление директив Allow не требуется.
Спасибо!
А что такое User-agent: *, # wa shop * и # wa shop ?? Это необходимо добавлять?
# wa shop * и # wa shop - просто комментарии, они никак не влияют, их можно удалить.
Возможно проблема не в robots.txt (здесь немного теории http://loleknbolek.com/slovar-terminov/chto-takoe-...)? Если посмотреть данное содержание файла, то ничего особенного не вижу, все норм. Возножно в серверніх файлах где-то закрыто от индексации или санкции у вас?