Бизнес профи +0


Бизнес профи

  • Бизнес профи Бизнес профи 21 апреля 2020 10:02 #

    читал про рекомендации блокировать в роботс  ботов от популярных сервисов, не раз слышал что они дают нагрузку, да и ходят часто. 

    Как считаете есть смысл ? 

    User-agent: MJ12bot
    Disallow: /
    User-agent: MegaIndex.ru/2.0
    User-agent: MegaIndex.ru
    User-agent: megaIndex.ru
    Disallow: /
    User-agent: bingbot
    Disallow: /
    User-agent: AhrefsBot
    Disallow: /
    User-agent: SemrushBot
    Disallow: /
    User-agent: BingBot
    Disallow: /
    User-agent: DotBot
    Disallow: /
    User-agent: Yahoo Slurp
    User-agent: Slurp
    User-agent: SEOkicks Webcrawler
    User-agent: Alexa (IA Archiver)
    User-agent: Common Crawl
    Disallow: /

    в ответ на robots.txt для Shop-Script

  • Бизнес профи Бизнес профи 21 апреля 2020 07:57 #

    Михаил подскажите 

    а как лучше 

    Disallow: *?
    Disallow: */?

    оба верные ведь ?

    в ответ на robots.txt для Shop-Script