#robots.txt

  • +11

    блог имеет несколько дублей для поисковых систем которые нужно закрывать от индексацииDisallow: /blog/blog/Disallow: /blog/author/Disallow: /blog/?list=wishlistDisallow: /blog/?page=1Disallow: /blog/2015/в rss транслируется полная статья а не анонс, но...

  • Как избежать индексации лишних страниц и снизить нагрузку на сервер со стороны поисковых роботов

  • Для того чтобы ваш интернет-магазин появился в результатах поиска в поисковых системах, страницы сайта должны проиндексироваться поисковыми роботами. Для этого нужно «сообщить» им о существовании вашего магазина одним из следующих способов: 1. По...

  • Содержимое файла robots.txt нужно редактировать в бекенде Вебасиста. Откройте приложение «Сайт», перейдите в раздел «Настройки сайта» и найдите поле «robots.txt». Когда эта настройка не работает Если в корневой директории Вебасиста...

  • Доброго времени суток! Столкнулись с такой проблемой - search console сообщает, что robots отсутствует. По ссылке получаем 404 ошибку http://kramnica.com.ua/robots.tхtУдалил через файл-менеджер старый роботс, через...

  • После недавнего обновления появилось множество дублей страниц с окончанием /?cart=1. Как это победить? В robots.txt была внесена запись Disallow: /?cart=1/ с целью удаления этих URL из индекса поисковиков. Не помогает, все равно эти страницы доступны к...

  • У меня в поисковую выдачу яндекса попала "Скрытое поселение", что совсем меня не радует.Собственно решил проблему с помощью платного плагина "SEO-редиректы". Скрытое поселение имеет в url приставку /1C/, просто сделал 301 редирект с...

  • Добрый день! Помогите пожалуйста найти оригинальный файл robots.txt для шопскрипт 3. Очень очень надо. Спасибо!

  • Google Search Console присылает сообщение об ошибке: "Индексирование отправленных URL", "Ошибки при сканировании отправленного URL, при проверке в консоли google проблема еще уточняется "Доступ к отправленному URL заблокирован в...

  • Почему так часто пишут, что при переводе сайта на https обязательно нужно исключить robots.txt из редиректа http -> https, чтобы он был доступен по обоим протоколам?Яндекс, у себя в блоге об этом пишет так:Выполнили переезд, настроили редирект, а...

  • Есть решение

    Изменил роботс txt в настройках сайта. он сменился на сайте в виде имя.webasyst.cloud но на прекрученном домене имя.ру роботс не меняется. Подскажите как его изменить?

    Убедитесь, что в левом верхнем углу панели управления вы выбрали именно "рабочий" домен, а не технический.
    Антон Anton
  • Добрый день!Полный профан в этом вопросе. Нужно запретить гугл индексировать одну из категорий магазина, помогите пожалуйста) Видел, что настройки robots.txt во вкладке сайт.

  • Ребята, самому смешно. Один из криворуких плагинов потер robots.txt.Есть бэкапы, но не понимаю какой файл восстанавливать?Хелп!!!

  • Подскажите, что не так с файломhttps://moe-foto.net/robots.txtUser-agent: *Disallow: /search/?query=Disallow: /compare/Disallow: /tag/Disallow: *&sort=Disallow: */?sort=Disallow: /checkout/Disallow: /my/Disallow: /signup/Disallow: /login/Disallow:...

  • В Robots прописал:User-agent: * Disallow: /search/?query= Disallow: /tag/ Disallow: *?sort= Disallow: /cart/ Disallow: /checkout/ Disallow: /my/ Disallow: /signup/ Disallow: /login/ Disallow: /forgotpassword/ Disallow: /webasyst/...

  • Добрый день.Перевел сайт на шоп-скрипт 7В индексе появились страницы с окончанием:/?sent=yes/?view=printableЗапретил в роботсе, но хочу узнать что это за страницыс таким окончанием?

  • +1 Не принято

    Добрый вечер!по ссылке https://comcopy.ru/sitemap.xml , а также по ссылке http://comcopy.ru/sitemap.xml открывается пустое поле.Не могу понять, почему файл SiteMap.xml не отображается по данному адресу?Его видят и Яндекс и Гугл. Или может что-то не...

  • При наличии нескольких витрин, для разных городов в robot.txt необходимо что-то вносить? В оновной сайт или поддомены? reviews/ надо закрывать от поисковиков? Яндекс вебмастер выдает ошибку в robot.txt

  • Есть решение

    Здравствуйте при установке скрипта удалил все из Robots.txt не могу найти значения по умолчанию.Самостоятельно изучив темы по созданию robotsнаписал 2 варианта вот так, извините снова наверное в дебри полез =)User-agent: *Disallow: /shop/Disallow:...

    Проверить правильность заполнения Robots.txt Вы можете по ссылке https://webmaster.yandex.ru/tools/robotstxt/Для сайта http://shop-go.ru неправильно заданы директивы Host и Sitemap. В Вашем случае нужно без www, правильно так:Host: shop-go.ruSitemap: http://shop-go.ru/sitemap.xmlФайл Robots.txt нужен для закрытия ненужных страниц от индексации. Пример https://www.shop-script.ru/help/149/shop-script-5-...
    Юрий Юрий
  • Есть решение

    Здравствуйте!На сайт необходимо залить robots и sitemap, но для этого нужен доступ к приложению «Сайт» (у меня только «Магазин»).Подскажите, есть ли другие способы это сделать?

    robots - для редактирования необходим доступ к приложению "сайт". ни как иначе (ну... можно по фтп залить, но это неправильно)Sitemap - генерируется автоматически. заливать его ни куда не надо.
    Павел Гордовой Павел Гордовой
  • Доброго всем дня.Недавно привел в порядок файл robots.txt и после обнаружил в админ панели merchant center и после обнаружил что большинство товарных предложений было отключено по причине блокировки доступа в robots.txtпо мнению гугла, файл robots.txt...

  • Гугл сообщает о дублях:/category/blackview/?sort=price&order=asc/category/blackview/?sort=stock&order=desc/category/blackview/?sort=total_sales&order=descХочу закрыть сортировку в роботс.тхт. Правильно будет:Disallow: /?sort= Disallow: */?sort=* или...

  • Есть решение

    Google webmasters ругается на : Повторяющиеся заголовки (теги title) и что Отсутствует: name на страницах с отзывамирешили их убрать из индексав роботс прописали следующее. прошло 2 недели, ничего не изменилось. гугл также ругается. Может кто...

    Правила Disallow: /my/ Disallow: /checkout/ Disallow: /*/reviews/Уже запрещают индексирование того, что запрещают Disallow: /index.php/index.php/my/ Disallow: /index.php/index.php/checkout/ Disallow: /index.php/index.php/*/reviews/в последних нет необходимости.То, что Вы прописали в роботс, говорит Гуглу не индексировать, но не обязывает его убрать уже проиндексированное (по крайней мере быстро). Можно воспользоваться сервисом удаления УРЛ из индекса, если раздражают сообщения.З.Ы. А что у вас на...
    Алексей | shop-script.org Алексей | shop-script.org
  • Есть решение

    Shop-Script 7. Хостер: TimeWeb. Нужно 301 перенаправление на https всего, кроме robots.txt, который должен быть доступен и по http, и по https.Добавление в .htaccess следующих параметров:RewriteEngine On RewriteBase / RewriteCond %{HTTP:X-HTTPS} !1...

    РАБОЧИЙ ВАРИАНТ для ТАЙМВЭБА (для других хостеров параметры .htaccess могут немного отличаться):1) Содержимое .htaccess:<FilesMatch "\.md5$"> Deny from all </FilesMatch> DirectoryIndex index.php Options -Indexes Options -MultiViews Options +FollowSymLinks AddDefaultCharset utf-8 RewriteEngine On RewriteBase / RewriteCond %{HTTP:X-HTTPS} !1 RewriteCond %{REQUEST_URI} !robots.txt RewriteRule ^(.*)$ https://SiteName.ru/$1 [R=301,L] <ifModule mod_rewrite.c>...
    Алексей Жученко Red Cat
  • Собственно вопрос: как и надо ли \ зачем создать robots.txt ?

  • Есть решение

    Добрый день!Подскажите пожалуйста, у меня яндекс почему то показывает, что страниц в поиске, всего одна.Нашел инфу, что за это отвечает robot.txt.Посмотрел файл - вроде рабочий (если правильно инструкцию понял):User-agent: *Disallow: Crawl-delay: 5А в...

    если магазин, то по делайте рекомендации, как по ссылке выше вам давали. Там самое простое и нужное все написано, у вас сейчас закрыта только страница для входа в бекенд Webasyst. А вообще курите инет, https://yandex.ru/support/webmaster/controlling-ro... смотрите в гугл аналитике какие есть дубли страниц и закрываете их, Примерно так:User-agent: YandexDisallow: /search/?query=Disallow: /compare/Disallow: /tag/Disallow: *&sort=Disallow: */?sort=Disallow: /checkout/Disallow: /my/Disallow:...
    Владимир Уткин Pereiro
  • Есть решение

    Подскажите где можно посмотреть правильный и оптимальный пример файла robots.txt. Искал в интернете, но есть только на старый webasyst. На новый не нашёл (((

    Рекомендации в статье https://www.shop-script.ru/help/149/shop-script-5-...
    Алексей Курдюков Алексей
  • Есть решение

    Люди добрые помогите!Правильно ли составлен robots.txt? Мне кажется, что я что-то неправильно сделала. Страницы не индексируются....User-agent: *# wa shop *Disallow: /my/Disallow: /checkout/Disallow: /login/Disallow: /search/?query=Disallow:...

    Воспользуйтесь анализатором Яндекса: https://webmaster.yandex.ru/robots.xml , там можно проверить, будут ли индексироваться конкретные адреса. Но у вас все верно, проблем быть не должно.
    Максим Креминский Максим Креминский
  • Для того чтобы разместить содержимое файла robots.txt, перейдите в приложение «Сайт» в бекенде своего интернет-магазина. Откройте раздел «Настройки» и введите нужные директивы в поле для файла robots.txt. Нестандартные ситуации Содержимое поля...

  • Файл robots.txt заполнен и находится в корне, работали по FTP.Сейчас яндекс не видит этот файл. Что делать? Хостинг https://nashhost.com/