Странице в поиске Есть решение
Добрый день!
Подскажите пожалуйста, у меня яндекс почему то показывает, что страниц в поиске, всего одна.
Нашел инфу, что за это отвечает robot.txt.
Посмотрел файл - вроде рабочий (если правильно инструкцию понял):
User-agent: *
Disallow:
Crawl-delay: 5
А в результате, в описании своего сайта я вижу:
Владелец сайта предпочёл скрыть описание страницы.
13 ответов
Воспользуйтесь инструкцией Рекомендации по составлению файла robots.txt для Shop-Script
В вашем случае директива
Disallow:
как раз запрещает индексацию всех страниц сайта.
Так правильно?
User-agent: *
Allow:
Crawl-delay: 5
Да, правильно.
Роман у Вас сайт на несколько страниц? не магазин? Иначе всё разрешать не правильно, будут дубли страниц.
у меня интернет магазин moe-foto.net и не только
если магазин, то по делайте рекомендации, как по ссылке выше вам давали. Там самое простое и нужное все написано, у вас сейчас закрыта только страница для входа в бекенд Webasyst. А вообще курите инет, https://yandex.ru/support/webmaster/controlling-ro... смотрите в гугл аналитике какие есть дубли страниц и закрываете их, Примерно так:
User-agent: Yandex
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /checkout/
Disallow: /my/
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Disallow: /webasyst/
Disallow: /*/reviews/
Host: www.moe-foto.net
User-agent: *
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /checkout/
Disallow: /my/
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Disallow: /webasyst/
Disallow: /*/reviews/
Sitemap: http://www.moe-foto.net/sitemap.xml
Host: www.moe-foto.net пишите, если www.ваш сайт - главное зеркало, в общем читайте помощь яши, там всё написано))
я просто в этом не разбираюсь совсем.
это мой первый интернет магазин. поэтому не судите строго. я не знаю что такое дубли, зеркала и прочее. начинаю читать - становится страшно от того, что слишком все сложно. у меня есть такое мнение, что этот robot.txt должен автоматически формироваться
я вообще имел глупость, сделать автоматический генератор этого файла с сайта http://pr-cy.ru/robots/
Роман)), я вам выложил готовый роботекст, по рекомендациям WA. У себя в роботексте уберите разрывы между строк, на форуме так автоматом вставляется, у себя уберите..
И, рекомендуют для Яши задавать правила отдельно, как я вам выше выложил, получается две копии директив под разной шапкой.
User-agent: Yandex
......
.....
User-agent: *
....
.....
В самом конце ссылку на сайтмап
сайтмапа нету
убрал разрывы, а вот что то не пойму, сайтмап только вручную делается что ли?
https://www.shop-script.ru/help/1101/shop-script-5...
Содержимое sitemap.xml всегда формируется автоматически — нигде в интерфейсе Shop-Script и Webasyst не нужно нажимать специальную кнопку, чтобы «обновить» этот файл.