Generador de robots.txt.
El robots.txt es la primera puerta de tu sitio: decide qué pueden rastrear los buscadores y, cada vez más importante, los bots de IA como GPTBot y ClaudeBot. Este generador arma un robots.txt válido donde controlas ese acceso, bloqueas las rutas que no quieres exponer y declaras tu sitemap. Un archivo mal hecho puede dejarte fuera de las respuestas de IA o esconder páginas clave; este te da uno correcto, listo para subir a la raíz.
Configura tu robots.txt
GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot y anthropic-ai. Permitirlos ayuda a tu visibilidad en respuestas de IA (GEO).
El robots.txt en la era de la IA.
El robots.txt vive en la raíz de tu dominio y es lo primero que consulta un rastreador. Tradicionalmente controlaba a buscadores como Google; hoy también define el acceso de los bots de IA que alimentan a ChatGPT, Gemini, Claude y Perplexity. Bloquearlos protege contenido, pero también te quita de las respuestas generativas.
Recomendación de Futture: permite los bots de IA. La visibilidad en motores generativos (GEO) es un canal en crecimiento, y bloquear GPTBot o ClaudeBot te saca de esas respuestas. Bloquea solo rutas privadas o de sistema, no tu contenido de valor.
Preguntas frecuentes sobre robots.txt.
¿Dónde se sube el robots.txt?
En la raíz de tu dominio, accesible en tudominio.com/robots.txt. Debe ser un archivo de texto plano.
¿Debo bloquear los bots de IA?
En general, no. Permitir GPTBot, ClaudeBot y compañía mejora tu presencia en respuestas de IA (GEO), un canal en crecimiento. Bloquéalos solo si tienes una razón concreta de protección de contenido.
¿El robots.txt garantiza que no me indexen?
No. El robots.txt controla el rastreo, no la indexación. Para evitar que una página aparezca en resultados usa la etiqueta meta robots noindex, no el robots.txt.
¿Qué rutas conviene bloquear?
Rutas de administración, carritos, checkout, resultados de búsqueda interna y páginas de sistema. Nunca bloquees tu contenido de valor ni recursos que el sitio necesita para renderizar.
El siguiente paso
La IA ya te rastrea y nosotros decidimos cómo.
Calcular es el primer paso. Convertir esos números en crecimiento medible es lo que hace Futture, todos los días. Conversemos tu caso.