# robots.txt # 15.12.2004-16:06 last # User-agent:MSIECrawler Disallow: / # User-agent:.*HTTrack.* Disallow: / # User-agent:.*Track.* Disallow: / # ansonsten alle Agenten erlaubt/verboten fuer folgende Verzeichnisse: User-agent: * Disallow: /cgi-bin