Geek the Planet


SEO no image

Published on Agosto 28th, 2008 | by Angelfire

0

Que son robots.txt

Este es el primero de dos post donde pretendo explicar más o menos en que consiste cada uno de estos ficheros, que estoy seguro que será de gran ayuda para los que empiezan a dar sus primeros pinitos en esto del SEO (Search Engine Optimization).

robots.txt

El fichero robots.txt, también conocido como el protocolo de la exclusión de robots, no es más que un archivo que contiene una serie de reglas que restringen el acceso a los robots de los motores de búsqueda que rastrean la Web. Como está claro, estos robots funcionan de manera automatizada y antes de empezar a recopilar información sobre determinada web hacen una verificación sobre la existencia de este fichero. Este archivo sólo es necesario si el sitio incluye contenido que no desea que los motores de búsqueda indexen. Mostraré un par de ejemplos:

Este código lo que está haciendo, es permitiendo el acceso a todos (el comodin * indica todos) los robots que se encuentran en el directorio raíz:


User-agent: *
Disallow:

Este otro hace todo lo contrario:


User-agent: *
Disallow: /

Este otro código, le indicado a los robots que estas secciones del sitio no deben ser indexadas, me bloquea el acceso:


User-agent: *
Disallow: /login/
Disallow: /cgi-bin/
Disallow: /images/


Pasando a un caso específico, mostraré un fichero exclusivo para los que usamos wordpress:


*Impedimos la indexacion de estas secciones de nuestro sitio y las busquedas
User-Agent: *
Allow: /wp-
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /search
*Permitimos la indexación de nuestro sitemap para el bot de google
User-agent: Googlebot/2.1
Sitemap: http://nuestrositio.com/sitemap.xml
Disallow:

Esta es una pequeña muestra de lo que podemos hacer con el fichero robots.txt, muchas otras opciones las encontramos en SIGT.net.

Para los que no están muy seguros de como hacer este archivo, les recomiendo visitar robots.txt builder, donde podrán crear facilmente este archivo, y si desean verificar que el fichero funciona de la manera deseada pueden hacer uso de una herramienta para webmaster de google.

Les deja?e un plus con algunas preguntas contestadas por la gente de google.

Leer Más: The Web Robots Pages

Tags: , ,


About the Author

Systems Engineering, Computer Systems Specialist, Social Engineering Specialist. Social Media Analyzer. Usability and SEO enthusiasm (Este es mi perfil de Twitter...)



Comments are closed.

Back to Top ↑
  • Comentarios recientes

  • Miniposts

    • iOS 8 disponible para descargar

      Hoy se anunció de manera oficial iOS 8, la fecha de llegada será el próximo 17 de septiembre. En iPhonehacks han recopilado los enlaces de descarga directo para los diferentes dispositivos que soportan la nueva versión del sistema operativo. Así que para quienes no desean esperar, ya pueden acceder a la versión Golden Master ...

    • Festigame Colombia 2014

      El festival de videojuegos, cultura gamer y entretenimiento familiar más grande de América Latina ha llegado a nuestro país. Festigame que es un evento creado en Chile en 2012, se ha convertido en el evento anual donde las marcas más importantes de la industria presentan sus últimos productos en el ...

    • Peter Griffin también tiene cuenta en Instagram

      El protagonista de la serie de humor, Padre de Familia, Peter Griffin ha inaugurado su presencia en la red social de fotografía con divertidas fotografías de su vida, y a pesar de ser un personaje de ficción ya ha superado los 200.000 seguidores en tan sólo dos semanas. Son unas fotos bastante divertidas, las ...

    • Manual y documentación de Node.js para Android

      Node.js se ha venido haciendo bastante popular en los últimos años, cada vez son más los usos que como desarrolladores web le damos a esta tecnología. La siguiente aplicación es el manual y la documentación de Node.js, que contiene los siguientes temas: About these Docs Synopsis Assertion Testing Buffer C/C++ Addons Child Processes Cluster Console Crypto Debugger DNS Domain Events File System Globals HTTP HTTPS Modules Net OS Path Process Punycode Query Strings Readline REPL Stream String Decoder Timers TLS/SSL TTY UDP/Datagram URL Utilities VM ZLIB

    • Star Wars Traceroute

      ¿Qué pasa cuando un ingeniero está muy desocupado? pues pasan cosas como esta: Mac y Linux Van a la consola y escriben: traceroute 216.81.59.173 Windows Buscan el CMD y escriben: tracert 216.81.59.173 El resultado es interesante y sorprendente. Si quieren ver la salida de la ejecución del comando, pueden ver el gist Ver más: Beagle Network

  • Comunicados - Notas de Prensa