Crea tu Robots.txt

La navaja suiza del SEO

Crea tu Robots.txt


El crawler estará:  
    
Tiempo de espera:
    
Sitemap: (opcional) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener un slash (barra) "/"
 
 
 
 
 
 
   



Ya puedes reemplazar el texto generado en tu ''robots.txt''. Si no lo tienes, solo debes crearlo y pegar el texto dentro del mismo.


Acerca de Crea tu Robots.txt

El creador de robots.txt es una herramienta sencilla con la que puedes crear tu archivo robots.txt para tu página web en unos pocos segundos. Sigue los pasos que te detallamos a continuación para proteger tu sitio de los robots que quieras y cómo quieras.

¿Qué es el archivo robots.txt?

Se trata de un archivo de texto que describe ciertas recomendaciones para crawlers y robots que inspeccionan tu página web. Recordemos que los crawlers son un robot de un sistema o programa, como puede ser un buscador, que accede a las páginas webs buscando información. Pueden conocerse también como spiders, arañas, bots o incluso indexadores, según el caso.

Si miramos el caso de Google, el nombre que recibe su robot o crawler es Googlebot. Sin embargo, también hay otros como el de Moz, el de Majestic o el de Yahoo, conocido como Slurp.

crear robots txt

¿Para qué sirve crear un archivo robots.txt?

Gracias a nuestro robots.txt, conseguiremos varios beneficios según las instrucciones que le marquemos:

  • Podemos impedir el acceso a ciertos robots: en ocasiones, no queremos que robots de algunos programas o empresas entren a nuestra página web. Esto puede ser útil, por ejemplo, para no enseñar nuestra táctica de linkbuilding a la competencia.
  • Prohibir ciertas zonas: aunque tengamos una web abierta al público, podemos dejar ciertas carpetas o directorios en privado.
  • Eliminar contenido que esté duplicado: es un factor muy importante y los buscadores pueden penalizarlos si tenemos contenido copiado de otras webs.
  • Reducir la carga del servidor: podemos controlar cómo se comportan algunos robots, que pueden llegar a hacer demasiadas peticiones a nuestro servidor.
  • Acoplar sitemaps: podemos indicar dónde está nuestro mapa del sitio para dar más pistas a los diferentes crawlers.

¿Cómo crear el robots.txt?

Con Seomática, te será muy fácil crear tu propio archivo robots en txt.

Para empezar, marca si quieres que estén todos los robots permitidos o rechazados por defecto. No te preocupes: más adelante, podrás especificar la entrada a ciertos robots.

Entonces, tienes que indicar si quieres que exista cierto retraso en el crawl, que es el proceso por el cual el robot inspecciona toda tu página. Selecciona el tiempo que quieras: desde sin retraso hasta 120 segundos.

Seguidamente, podrás acoplar el sitemap de tu página web para que los robots puedan localizarlo más fácilmente. En el ejemplo te hemos dejado la dirección que suelen tener los sitemaps en los sitios webs. Recuerda que si aún no tienes tu mapa del sitio, puedes crearlo muy fácilmente desde Seomática aquí.

Nuestro siguiente paso será permitir o restringir la entrada a los robots concretos. Como puedes ver, tienes los principales crawlers en la lista. ¿Quieres que Google no entre en tu web? ¿Quizá prefieres que sea Yahoo la que tenga la entrada prohibida? ¿U optas por una empresa de detección de enlaces como Dmoz? ¡Lo dejamos a tu elección!

Finalmente, puedes restringir ciertos directorios o carpetas de tu web de todos los robots. Simplemente, indica el camino hacia ese directorio en cuestión.

Ahora solo tienes que hacer clic en “Crear un Robots.txt” para que nuestro sistema se ponga a trabajar y cree un archivo robots.txt personalizado y específico para tu web según tus necesidades. Solo tendrás que copiar la información que recibirás y pegarla en el robots.txt que tengas tu web. Si no has creado uno anteriormente, solo tienes que abrir un Bloc de notas y hacer uno de nuevo con los datos que te hemos proporcionado.