Generador de robots.txt.
El robots.txt es la primera puerta de tu sitio: decide qué pueden rastrear los buscadores y, cada vez más importante, los bots de IA como GPTBot y ClaudeBot. Este generador arma un robots.txt válido donde controlas ese acceso, bloqueas las rutas que no quieres exponer y declaras tu sitemap. Un archivo mal hecho puede dejarte fuera de las respuestas de IA o esconder páginas clave; este te da uno correcto, listo para subir a la raíz.
Configura tu robots.txt
GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot y anthropic-ai. Permitirlos ayuda a tu visibilidad en respuestas de IA (GEO).
Descarga como robots.txt y súbelo a la raíz de tu sitio (tudominio.com/robots.txt). Es lo primero que leen los buscadores y los bots de IA. Si prefieres, copia el resultado y pegalo en un bloc de notas o editor de texto, y guardalo con el nombre robots.txt.
El robots.txt en la era de la IA.
El robots.txt vive en la raíz de tu dominio y es lo primero que consulta un rastreador. Tradicionalmente controlaba a buscadores como Google; hoy también define el acceso de los bots de IA que alimentan a ChatGPT, Gemini, Claude y Perplexity. Bloquearlos protege contenido, pero también te quita de las respuestas generativas.
Recomendación de Futture: permite los bots de IA. La visibilidad en motores generativos (GEO) es un canal en crecimiento, y bloquear GPTBot o ClaudeBot te saca de esas respuestas. Bloquea solo rutas privadas o de sistema, no tu contenido de valor.
Preguntas frecuentes sobre robots.txt.
¿Dónde se sube el robots.txt?
En la raíz de tu dominio, accesible en tudominio.com/robots.txt. Debe ser un archivo de texto plano.
¿Debo bloquear los bots de IA?
En general, no. Permitir GPTBot, ClaudeBot y compañía mejora tu presencia en respuestas de IA (GEO), un canal en crecimiento. Bloquéalos solo si tienes una razón concreta de protección de contenido.
¿El robots.txt garantiza que no me indexen?
No. El robots.txt controla el rastreo, no la indexación. Para evitar que una página aparezca en resultados usa la etiqueta meta robots noindex, no el robots.txt.
¿Qué rutas conviene bloquear?
Rutas de administración, carritos, checkout, resultados de búsqueda interna y páginas de sistema. Nunca bloquees tu contenido de valor ni recursos que el sitio necesita para renderizar.
¿Qué es el archivo robots.txt?
Es un archivo en la raíz de tu sitio que indica a buscadores y bots qué pueden rastrear y qué no. Es lo primero que leen antes de recorrer tu sitio.
¿Cómo permito o bloqueo bots de IA en robots.txt?
Con reglas User-agent y Disallow, y con la señal Content-Signal para el uso por IA. Puedes permitir el rastreo de buscadores y decidir explícitamente si autorizas el entrenamiento y las respuestas de IA.
¿Dónde va el robots.txt?
En la raíz del dominio, accesible en tudominio.com/robots.txt. Un error aquí puede desindexar tu sitio, así que conviene revisarlo con cuidado.
El siguiente paso
La IA ya te rastrea y nosotros decidimos cómo.
Calcular es el primer paso. Convertir esos números en crecimiento medible es lo que hace Futture, todos los días. Conversemos tu caso.