Как и надо ли создать robots.txt ?

Собственно вопрос: как и надо ли \ зачем создать robots.txt ?


2 ответа

  • 2
    Николай 12 июня 2016 18:45 #

    Вам могут быть полезны эти инструкции:
    https://support.webasyst.ru/147/robots-txt/
    https://www.shop-script.ru/help/149/shop-script-5-robots-txt/

  • 1
    Wowk 13 июня 2016 10:06 #

    Николай добрый день, спасибо за ссылки, был ознакомлен с ними..

    Я так понимаю,что если нет ни малейшего представления, то стоит обратить к экспертам за созданием...?

    И вопрос остался зачем? на сколько знаю, можно настроить страницы для робота, какие пускать в индекс какие нет, но что еще дает, что если не настраивать?

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите