Una sola línea en robots.txt para decir no al entrenamiento de IA

Cuatro proveedores de IA se han comprometido a leer una misma instrucción en robots.txt para conocer si una web acepta que su contenido entrene modelos de IA generativa. Google lo comunicó en su blog de Search Central, OpenAI en su web, Microsoft en el blog de Bing y Anthropic en la lista de correo del grupo de trabajo del IETF.

La base técnica es un borrador individual del IETF, «Machine-Readable Training Preference Signal», publicado el 30 de octubre de 2026 por Kevin Kelley, de Anthropic. Toma la definición de entrenamiento de IA del vocabulario del grupo de trabajo AI Preferences (AIPREF): usar un contenido para modificar los parámetros aprendidos de un modelo generativo.

Es importante situarlo bien: un borrador individual no es todavía un estándar aprobado, y cada empresa ha dado su propio calendario. Lo que cambia ya es la dirección: por primera vez, una sola línea sirve para varios proveedores a la vez.

La señal reutiliza la sintaxis de siempre de robots.txt, sin directivas nuevas. En lugar del nombre de un rastreador, la línea User-Agent lleva un «token de política», __usage_ai-training, y las reglas Disallow y Allow indican en qué rutas aceptas o rechazas el entrenamiento.

Tres detalles evitan sorpresas:

• El comodín no cuenta. Las reglas de User-Agent: * no se aplican a este token, así que tu robots.txt actual no expresa ninguna preferencia de entrenamiento aunque bloquee rutas.
• No bloquea el rastreo. Es una preferencia sobre el uso del contenido; qué puede descargar cada robot lo siguen decidiendo sus propias reglas. El borrador sí pide a los rastreadores que no descarguen lo que no van a poder usar.
• Admite excepciones por ruta. Puedes rechazar el entrenamiento en toda la web y aceptarlo, por ejemplo, en la carpeta de notas de prensa, con la regla más específica como ganadora.

Ninguno de los cuatro la aplica todavía de forma completa, y los plazos no coinciden. A 3 de noviembre de 2026, esto es lo que cada uno ha dicho:

• Google: prevé admitirla a principios de 2027. Si usas el token para rechazar el entrenamiento y no mencionas Google-Extended, lo tratará como si hubieras bloqueado Google-Extended, que según su documentación no afecta a la inclusión ni al posicionamiento en la Búsqueda.
• OpenAI: la respetará y prevé implantarla en los próximos meses. Sus controles actuales por rastreador siguen vigentes.
• Anthropic: ya ha empezado a implantarla y avisa de que extenderla a todos sus servicios llevará tiempo.
• Microsoft Bing: la leerá en robots.txt a partir del 1 de febrero de 2027 y añade preferencias por página para el entrenamiento y para el uso en respuestas (grounding). Desde el 1 de marzo de 2027 dejará de interpretar las etiquetas NoArchive y NoCache como preferencia de entrenamiento o de grounding.

Rechazar el entrenamiento no tiene por qué sacarte de las respuestas de IA, y confundir ambas cosas puede costarte visibilidad. Entrenar es usar tu contenido para construir un modelo; citarte en una respuesta (grounding) es consultarlo en el momento de responder a una pregunta concreta.

Los proveedores lo separan cada vez más. Bing, por ejemplo, ofrece una preferencia de entrenamiento y otra de grounding, y advierte de que bloquear el grounding reduce la visibilidad de la marca en sus experiencias de IA. En ChatGPT, el rastreador de búsqueda y el de entrenamiento ya eran distintos, como explicamos en qué es el GEO.

Para muchas pymes, la combinación sensata es aceptar que los motores de respuesta lean y citen su web y decidir con calma sobre el entrenamiento. Para quien vive de su contenido original (medios, formación, estudios propios), rechazar el entrenamiento puede tener más sentido.

No hace falta tocar nada hoy para seguir apareciendo en Google, Bing o ChatGPT: la señal es voluntaria y, si no la publicas, no expresas ninguna preferencia. Lo útil es preparar la decisión para cuando los proveedores la apliquen en 2027:

• Decide tu postura sobre el entrenamiento y anótala por escrito, separada de la visibilidad en respuestas de IA.
• Revisa tu robots.txt, tu CDN y tu cortafuegos para no bloquear sin querer los rastreadores de búsqueda que sí te interesan. Es parte del SEO técnico.
• Si usas NoArchive o NoCache, comprueba qué pasará con Bing a partir de marzo de 2027.
• Mide lo que ganas o pierdes en las respuestas de IA antes y después de cualquier cambio, como planteamos en nuestro servicio de GEO.