Николай добрый день, спасибо за ссылки, был ознакомлен с ними..
Я так понимаю,что если нет ни малейшего представления, то стоит обратить к экспертам за созданием...?
И вопрос остался зачем? на сколько знаю, можно настроить страницы для робота, какие пускать в индекс какие нет, но что еще дает, что если не настраивать?
2 ответа
Вам могут быть полезны эти инструкции:
https://support.webasyst.ru/147/robots-txt/
https://www.shop-script.ru/help/149/shop-script-5-robots-txt/
Николай добрый день, спасибо за ссылки, был ознакомлен с ними..
Я так понимаю,что если нет ни малейшего представления, то стоит обратить к экспертам за созданием...?
И вопрос остался зачем? на сколько знаю, можно настроить страницы для робота, какие пускать в индекс какие нет, но что еще дает, что если не настраивать?