El fichero robots.txt es una recurso fundamental para toda página web que pretende aparecer bien vista por los motores de búsqueda como Google . Funciona como un instructivo para los bots, indicándoles qué páginas de tu sitio pueden ser crawleadas y cuáles se deben excluir . La óptima configuración de este documento ayuda a evitar problemas