Geek the Planet


SEO no image

Published on agosto 28th, 2008 | by Angelfire

0

Que son robots.txt

Este es el primero de dos post donde pretendo explicar más o menos en que consiste cada uno de estos ficheros, que estoy seguro que será de gran ayuda para los que empiezan a dar sus primeros pinitos en esto del SEO (Search Engine Optimization).

robots.txt

El fichero robots.txt, también conocido como el protocolo de la exclusión de robots, no es más que un archivo que contiene una serie de reglas que restringen el acceso a los robots de los motores de búsqueda que rastrean la Web. Como está claro, estos robots funcionan de manera automatizada y antes de empezar a recopilar información sobre determinada web hacen una verificación sobre la existencia de este fichero. Este archivo sólo es necesario si el sitio incluye contenido que no desea que los motores de búsqueda indexen. Mostraré un par de ejemplos:

Este código lo que está haciendo, es permitiendo el acceso a todos (el comodin * indica todos) los robots que se encuentran en el directorio raíz:


User-agent: *
Disallow:

Este otro hace todo lo contrario:


User-agent: *
Disallow: /

Este otro código, le indicado a los robots que estas secciones del sitio no deben ser indexadas, me bloquea el acceso:


User-agent: *
Disallow: /login/
Disallow: /cgi-bin/
Disallow: /images/


Pasando a un caso específico, mostraré un fichero exclusivo para los que usamos wordpress:


*Impedimos la indexacion de estas secciones de nuestro sitio y las busquedas
User-Agent: *
Allow: /wp-
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /search
*Permitimos la indexación de nuestro sitemap para el bot de google
User-agent: Googlebot/2.1
Sitemap: http://nuestrositio.com/sitemap.xml
Disallow:

Esta es una pequeña muestra de lo que podemos hacer con el fichero robots.txt, muchas otras opciones las encontramos en SIGT.net.

Para los que no están muy seguros de como hacer este archivo, les recomiendo visitar robots.txt builder, donde podrán crear facilmente este archivo, y si desean verificar que el fichero funciona de la manera deseada pueden hacer uso de una herramienta para webmaster de google.

Les deja?e un plus con algunas preguntas contestadas por la gente de google.

Leer Más: The Web Robots Pages

Tags: , ,


About the Author

Systems Engineering, Computer Systems Specialist, Social Engineering Specialist. Social Media Analyzer. Usability and SEO enthusiasm (Este es mi perfil de Twitter...)



Comments are closed.

Back to Top ↑