скорее всего будут проблемы с массовым импортом - товары загружаются по одному и следовательно запросы к поисковикам тоже будут отправляться по одному, что может привести к временной блокировке. придется хранить ссылки в базе и отправлять одним запросом через планировщик задач
Лучше блокнуть так как может создаться большое ненужных страниц с товарами, категориями которые нужно будет потом удалить, так как пока грузятся товары и не нужные категории робот может их обойти, а когда удалим их это приведет к 404 ошибкам в вебмастере которые могут временно пессимизировать сайт. Я на момент загрузки закрываю сайт от индекса, все новое скрываю, открываю сайт к индексации, все раскидываю, а потом уже новый товар публикую, на моем опыте так эффективнее.
Не боитесь что во время запрета на сканирование сайта, которое вы делаете для того чтобы предотвратить индексацию ненужных страниц, из индекса выпадут нужные страницы? Постоянно открывая и закрывая все страницы сайта без разбора от сканирования (пусть и временно) вы подаете поисковым системам сигналы, которые могут восприниматься не в вашу пользу.
Более правильное решение в вашем случае - это настроить импорт всех новых товаров и категорий сразу со статусом "Скрыт с сайта" и запретить их индексацию, например, плагином SEO Meta Robots (позволяет закрыть от индексации скрытые категории и скрытые товары). А уже в процессе "обработки страниц" менять статус страниц на "Опубликован".
у кого подключен Cloudflare к сайту никакие плагины не нужны:
Какие компании уже поддерживают IndexNow
Новый протокол также поддержала компания Cloudflare. Изменения коснулись сервиса Crawler Hints.
Cloudflare – это сеть серверов по всему миру, к которой компании подключают свои сайты, чтобы увеличить скорость их загрузки и защитить от DDoS-атак. Также при помощи этого сервиса можно управлять DNS-записями на домене и перевести сайт на HTTPS.
Crawler Hints («подсказки для краулеров») – это сервис, который сообщает поисковым роботам информацию о том, что они сканировали ранее, и о том, есть ли смысл сканировать сайт снова.
Что изменилось:
Crawler Hints теперь поддерживает IndexNow;
Crawler Hints теперь доступен для всех клиентов Cloudflare бесплатно. Включить Crawler Hints можно на вкладке «Cache» на панели инструментов.
Данный плагин очень нужен! С новыми страницами на моем сайте проблем нет вообще, все заходит в индекс в течении нескольких часов, а вот с удаленными действительно проблема.... Товара нет, а из индекса он может выпадать месяцами. А если идет обновление ассортимента и удалил большое количество товаров то и через пол года еще можно увидеть в выдачи ссылку... А это ПФ и позиции.
Ну и как вариант реализации, действительно, отправлять по крон раз в сутки (к примеру, тут каждый сам настроит) всю информацию о новых и удаленных страницах.
У меня работает хорошо с самого момента выхода плагина. Чтобы сразу понять как и что работает, надо попинать команду не по крону, а вручную, ну и лог посмотреть. Там чаще бывает срабатывание кода 202 - accepted, чем 200 - success, что тоже по факту успешная отправка адресов.
На всех хостингах свои приколы в этом отношении. Например на reg.ru можно выполнить команду крона вручную прямо из веб-морды ПУ хостингом. Если же есть шелл (доступ по ssh), то можно в консоли... и т.д.
У всех свои истории. Попинайте хостера для начала на тему как выполнить крон команду не по расписанию, а вручную. Это уже к ним (техподдержке хостинга) вопросы, а не к автору плагина.
Инструкцию постараемся написать, а сейчас если кратко:
Настроить плагин - просто включить для какого нужно домена и проставить галочки, ключ создается автоматически, с ним не нужно ничего больше делать.
Настроить планировщик - здесь да, много разных панелей и хостингов.
Включить детальное логирование - посмотреть какие url отправляются и какой ответ приходит (200 и 202 - все хорошо). Для просмотра нужно приложение "Логи".
Если все равно есть вопросы или проблемы, пишите на почту поддержки плагина. Можете сразу приложить скрин настроек плагина, скрин добавленного CRON (если с ним проблема) и можно логи плагина.
19 комментариев
скорее всего будут проблемы с массовым импортом - товары загружаются по одному и следовательно запросы к поисковикам тоже будут отправляться по одному, что может привести к временной блокировке. придется хранить ссылки в базе и отправлять одним запросом через планировщик задач
Или как вариант блокировать сайт на период загрузки через роботс ткст.
хм... и что это даст?
ничего хорошего не даст. про временную блокировку сайта через robots.txt - вредный совет)
чем временная блокировка robots.txt поможет обойти ограничение на частоту запросов к api яндекса?
Лучше блокнуть так как может создаться большое ненужных страниц с товарами, категориями которые нужно будет потом удалить, так как пока грузятся товары и не нужные категории робот может их обойти, а когда удалим их это приведет к 404 ошибкам в вебмастере которые могут временно пессимизировать сайт. Я на момент загрузки закрываю сайт от индекса, все новое скрываю, открываю сайт к индексации, все раскидываю, а потом уже новый товар публикую, на моем опыте так эффективнее.
Не боитесь что во время запрета на сканирование сайта, которое вы делаете для того чтобы предотвратить индексацию ненужных страниц, из индекса выпадут нужные страницы? Постоянно открывая и закрывая все страницы сайта без разбора от сканирования (пусть и временно) вы подаете поисковым системам сигналы, которые могут восприниматься не в вашу пользу.
Более правильное решение в вашем случае - это настроить импорт всех новых товаров и категорий сразу со статусом "Скрыт с сайта" и запретить их индексацию, например, плагином SEO Meta Robots (позволяет закрыть от индексации скрытые категории и скрытые товары). А уже в процессе "обработки страниц" менять статус страниц на "Опубликован".
учитывая то, что после/во время импорта поисковикам будут переданы изменения в каталоге, блокировка бесполезна.
Так или иначе, хотелось бы иметь плагин, работающий с IndexNow.
Ведь все, что Яндекс считает желательным, настолько желательно, что прям обязательно :))
Разумеется если хочешь быт в ТОПе.
Ждем
у кого подключен Cloudflare к сайту никакие плагины не нужны:
Какие компании уже поддерживают IndexNow
Новый протокол также поддержала компания Cloudflare. Изменения коснулись сервиса Crawler Hints.
Crawler Hints («подсказки для краулеров») – это сервис, который сообщает поисковым роботам информацию о том, что они сканировали ранее, и о том, есть ли смысл сканировать сайт снова.
Что изменилось:
Данный плагин очень нужен! С новыми страницами на моем сайте проблем нет вообще, все заходит в индекс в течении нескольких часов, а вот с удаленными действительно проблема.... Товара нет, а из индекса он может выпадать месяцами. А если идет обновление ассортимента и удалил большое количество товаров то и через пол года еще можно увидеть в выдачи ссылку... А это ПФ и позиции.
Ну и как вариант реализации, действительно, отправлять по крон раз в сутки (к примеру, тут каждый сам настроит) всю информацию о новых и удаленных страницах.
Плагин для IndexNow появился в маркете https://www.webasyst.ru/store/plugin/shop/indexn/
Плагин есть, но как он работает не понятно, крон настроил, но все равно пишет что не настроено..
У меня работает хорошо с самого момента выхода плагина. Чтобы сразу понять как и что работает, надо попинать команду не по крону, а вручную, ну и лог посмотреть. Там чаще бывает срабатывание кода 202 - accepted, чем 200 - success, что тоже по факту успешная отправка адресов.
руками запустить первый раз задачу
Еще бы инструкцию, как это сделать, было бы здорово. ((
На всех хостингах свои приколы в этом отношении. Например на reg.ru можно выполнить команду крона вручную прямо из веб-морды ПУ хостингом. Если же есть шелл (доступ по ssh), то можно в консоли... и т.д.
У всех свои истории. Попинайте хостера для начала на тему как выполнить крон команду не по расписанию, а вручную. Это уже к ним (техподдержке хостинга) вопросы, а не к автору плагина.
Спасибо за дельный ответ!
Инструкцию постараемся написать, а сейчас если кратко:
Если все равно есть вопросы или проблемы, пишите на почту поддержки плагина. Можете сразу приложить скрин настроек плагина, скрин добавленного CRON (если с ним проблема) и можно логи плагина.