Registrate gratis

Análisis Robots.txt

Ingresa tu URL

Selecciona el agente de usuario

Archivo robots.txt

El archivo robots.txt es un simple archivo de texto, a través del cual se le comunica al Googlebot aquellos contenidos de un dominio que pueden ser rastreadas por el Crawler del motor de búsqueda y aquellos que no deben ser rastreados. Además, en el archivo robots.txt puedes también hacer referencia a un sitemap en XML.

Antes de que el bot del motor de búsqueda comience con la indexacióneste empieza buscando el archivo robots.txt en el directorio raíz y analiza las peticiones de rastreo que contiene dicho archivo. Para ello, el archivo robots.txt debe localizarse en el directorio raíz y debe etiquetarse con el nombre: robots.txt.

allow/disallow

El archivo robots.txt puede crearse fácilmente con ayuda de un editor de textos. Cada archivo está compuesto de dos bloques. En el primero deberás establecer el agente de usuario al que va dirigido, y el segundo, contiene una lista con todas aquellas URLs que quieres excluir del rastreo (comando “Disallow”).

Antes de subir el archivo robots.txt al directorio raíz de la página web, deberás comprobar que la información es correcta: un mínimo error puede causar que el bot no rastree URLs que quizás son muy importantes, y de este modo no aparezcan en los resultados de búsqueda, SERPs.

Con la cuenta gratuita de Ryte podrás comprobar tú mismo tu archivo robots.txt con todo detalle. Para esto sólo necesitarás ingresar la URL y seleccionar el agente de usuario correspondiente. Después de hacer clic sobre “Comenzar verificación”, la herramienta comprobará si el rastreo de las URLs especificadas está permitido o no, en base al bot seleccionado (Google, por ejemplo).

¡Con la ayuda de Ryte FREE y sus más de 160 funciones diferentes, aparte de analizar tu archivo robots.txt, podrás hacer un estudio exhaustivo de los factores SEO OnPage más importantes de tu página web y optimizar hasta 100 URL. Aquí puedes crear tu cuenta gratuita »

UN EJEMPLO SIMPLE DE LA ESTRUCTURA DEL ARCHIVO ROBOTS.TXT:

User-agent: *
Disallow:

Este código permite que el Googlebot pueda rastrear todas las páginas. Para prohibirle al bot el rastreo completo de la página web, debes ingresar el siguiente código en tu archivo robots.txt:

User-agent: *
Disallow: /

Ejemplo: Si no quieres que tu índice /info/ sea rastreado por el Googlebot, debes escribir el siguiente código en el archivo robots.txt:

User-agent: Googlebot
Disallow: /info/

Más información se puede encontrar aquí:

Ryte screenshot

Controla, analiza y optimiza tus activos digitales con nuestra tecnología probada