# Ejemplo archivo robots.txt 

User-agent:* 

Disallow: /App_Code 
Disallow: /App_Data
Disallow: /WEB-INF
Disallow: /aspnet_client
Disallow: /componentes
Disallow: /comun
Disallow: /css
Disallow: /flash
Disallow: /swf
Disallow: /Templates