# /robots.txt file for www.literaturzone.org by Jens Becker jb@literaturzone.org # erstmal SPAM User-agent: www.yama.info.waseda.ac.jp User-agent: wget User-agent: snapbot Disallow: / # jetzt alle anderen User-agent: * Crawl-delay: 30 Disallow: ./funktionen/ Disallow: ./includes/ Disallow: ./nav/ Disallow: ./pure/ Disallow: ./roman-kritik/ Disallow: ./textfeld/admin/ Disallow: ./textfeld/verwaltung/ # für google # alle mit Session-ID weg Disallow: /*PHPSESSID*