Robots.txt

1 ответ

• популярные
• новые

• 1

  replicant 5 апреля 2018 11:44 #

  Если честно, то не уверен, что там был так называемый оригинальный роботс. Помню, что все писали сами. Да чего там писать-то?
  -------------
  User-Agent: *
  Disallow: что-нибудь из запрещенного
  Host: ваш хост
  Sitemap: ваш урл карты
  -------------
  Вот и уже готов роботс.
  
  В связи с кучей дублирующих контент урлов варианты роботс там бывали и по 40-50 строк длиной. Безумие творилось. Времена были дикие.
  

  У себя в архивах нарыл вот такой мануал.
  

  
  

  Если кратко, то можете поискать на старом форуме по слову robots.txt http://old.webasyst.ru/forum/

  Или вот еще пример как мог выглядеть роботс:
  

  User-Agent: *
  Disallow: /*app=core
  Disallow: /*app=core*
  Disallow: /*app=forums
  Disallow: /*app=forums*
  Disallow: /*app=
  Disallow: /*app=*
  Disallow: /*ukey=search
  Disallow: /*ukey=search*
  Disallow: /*members/
  Disallow: /*members*
  Disallow: /*topic/
  Disallow: /*topic*
  Disallow: /*user/
  Disallow: /*user*
  Disallow: /*ukey=category_search
  Disallow: /*sort=
  Disallow: /*sort=*
  Disallow: /shop/
  Disallow: /*ukey=auth
  Disallow: /*ukey=cart
  Disallow: /*ukey=checkout
  Disallow: /installer/
  Disallow: /published/wbsadmin/
  Disallow: /login/
  Disallow: /*ukey=logout
  Disallow: /*ukey=office
  Disallow: /*ukey=address_book
  Disallow: /*ukey=contact_info
  Disallow: /published/SC/html/scripts/
  Disallow: /*ukey=register
  Disallow: /*ukey=remind_password
  Disallow: /*view=
  Disallow: /*view=*
  Disallow: /*ukey=discuss_product
  Disallow: /*store_mode=vkontakte
  Disallow: /*store_mode=facebook
  Disallow: /*ukey=order_status
  Disallow: /*ukey=order_history
  Disallow: /*ukey=order_detailed
  Disallow: /*print_form
  Disallow: /*save_voting_results=yes
  Disallow: /*categoryID=*&offset=
  Disallow: /*categoryID=*&offset*
  Disallow: /*product_slug*
  Disallow: /*category_slug*
  Disallow: /*ukey=add_address
  Disallow: /*ukey=act_customer
  Disallow: /*ukey=act_customer*
  Disallow: /*ukey=product_comparison
  Disallow: /*sent=yes*
  Disallow: /*sent=yes
  Disallow: /*act_code=
  Disallow: /*act_code=*
  Disallow: /*ukey=successful_registration
  Disallow: /*type=product_reviews
  Disallow: /*type=product_reviews*
  Disallow: /published/SC/html/scripts/rssfeed.php
  Disallow: /published/SC/html/scripts/rssfeed.php*
  Disallow: /*categoryID=*&direction*
  Disallow: /*direction=*

  Вот такие портянки.
  
  P.S. В новом движке в этом плане практически настало долгожданное светлое будущее. Голова теперь не болит. :)))
  

  
  

  
  

  ответить