El nuevo robots.txt de la casa blanca
Como les habia comentado en un post pasado, el nuevo presidente de los estados unidos, Barack Obama, venia con grandes cambios a nivel tecnológico para el sitio web de la casa blanca, incluyendo la presencia de un blog, tengo la pequeña mania de revisar el código fuente de todos los sitios web que visito, no con fines delictivos, sino por el contrario aprender pequeños detalles, truquitos de diseño, maquetación, programación, etc.
Como queria saber que gestor de blogs estaba usando, lo primero que hice fue revisar el fichero robots.txt para ver que ocultaban, encontré pocas cosas, casi nada, sólo 2 líneas de código.
User-agent: *
Disallow: /includes/
El mismo día que Obama se posesiono se hizo el cambio del sitio web, el anterior robots.txt contenia alrededor de 2400 líneas, sí, como leen, 2400 lineas, increible no?
Visto en: The country’s new robots.txt file