La estructura de los sitios webs se basa en sus archivos, pero para los buscadores existen otras cosas para saber qué es lo que tiene o en donde buscar las cosas, esto se refiere al archivo robots.txt.
El archivo robots.txt como comúnmente se conoce es el estándar de exclusión de robots, este archivo sirve para establecer las restricciones con las que se comportan los bots que utilizan los buscadores para escanear los sitios webs. En el archivo robots.txt uno puede establecer los directorios que quiera que se indexen en las búsquedas o aquellos que no se quieran indexar como por ejemplo los paneles de administración.
Actualmente la difusión que se la ha dado por parte de Google a este archivo ha sido enorme y es bastante popular entre los webmasters, sin embargo, en ocasiones se hace caso omiso de este archivo y se pueden obtener resultados perjudiciales para nuestro sitio o privacidad. Esto es gracias al gran poder de indexamiento que poseen los motores de búsqueda de hoy en día (especialmente Google), y con esto se deja en manos de los curiosos datos que no deberían mostrarse a cualquiera.
El archivo robots.txt en conjunción con un buen SEO, son cosas que pocos toman en cuenta en la realización de un sitio web, estas pequeñas cosas pueden sacarle un gran potencial a los sitios webs.
Buena información , me resolvió algunas dudas sobre el archivo Robots