User-agent: *   l'accès est accordé à tous les robots                                   
#Disallow         l'accès est refusé au robots                                      
#Disallow: /x/    l'accès est refusé aux robots dans le dossier(x)                      
#Disallow: /x/y  l'accès est refusé aux robots pour la page (x) dans le dossier(y)