User-agent: ConveraCrawler
User-agent: Twiceler
User-agent: psbot
User-agent: e-SocietyRobot
User-agent: Gaisbot
User-agent: Nutch
User-agent: SBIder
User-agent: Jyxobot
User-agent: LinkWalker
User-agent: IRLbot 
user-agent: favorstarbot
User-Agent: MJ12bot
Disallow: /

user-agent: *
Disallow: /testomgeving/    # hier staan probeerseltjes, niet gereed om live te gaan
Disallow: /meterstand/      # een specifieke Habion toepassing, niet voor het grote publiek
Disallow: /testfoto/        # een testapplicatie  
Disallow: /voorstel/        # eveneens een test
Disallow: /amsterdam/       # voor intern gebruik Habion
Disallow: /wooninfo/       # voor intern gebruik Habion

# ---------- 

# laatst bijgewerkt: 12-11-2007
# door: John Boers
# email: j.boers@habion.nl

# Converacrawler
# bezoekt onze site erg vaak terwijl er nog geen resultaten worden gepubliceerd
# zie: http://mail.tawdemo.com/crawl/

# Twiceler
# Een experimentele crawler zonder duidelijk nut
# zie: http://www.cuill.com/robots.html

# psbot
# zoekt het web af naar plaatjes
# zie: http://www.picsearch.com/menu.cgi?item=Psbot

# e-SocietyRobot
# crawler van het e-Society project
# een onderzoeksproject, het distibueert verder geen pagina's
# zie: http://www.yama.info.waseda.ac.jp/~yamana/es/index_eng.htm

# Gaisbot
# crawler van GAIS Lab. of National Chung Cheng University
# Ik zie daar het nut niet echt van
# zie: http://gais.cs.ccu.edu.tw/robot.php

# Nutch is open-source zoek software
# zie: http://lucene.apache.org/nutch/bot.html

# Sitesell crawled het web om statischtische informatie te verzamelen
# over de onderwerpen die op het web worden gepubliceerd.
# zie: http://www.sitesell.com/sbider.html

# User-agent: Jyxobot
# Tsjechische robot van een bedrijf dat zoekt naar multimedia bestanden
# zie: http://jyxo.cz/

# User-agent: Linkwalker
# van Seventwentyrour, een bedrijf dat op abonnementsbasis controleert op links
# vanaf een website en naar een wesite nog geldig zijn.
# zie: http://jyxo.cz/

# User-agent: IRLbot 
# a Texas A&M research project 
# Bekijkt pagina's en volgt links en doet daar wetenschappelijk onderzoek mee.
# De crawler is nogal gretig, daarom geblokkeerd.