OpenAI ha decidido adaptar sus productos a las exigencias de la normativa europea sobre inteligencia artificial. La compañía ha anunciado que tiene previsto incorporar marcas de agua invisibles en algunos textos generados con ChatGPT y Codex, una medida que busca dar cumplimiento a la Ley de Inteligencia Artificial de la Unión Europea. Esta norma establece obligaciones de transparencia para los sistemas de IA generativa y obliga a los proveedores a identificar los contenidos que han sido creados por máquinas.
Según ha explicado la empresa norteamericana, la marca de agua se incorporará durante las próximas semanas para los usuarios de ChatGPT y Codex, pero únicamente en la Unión Europea. Esta limitación geográfica responde al hecho de que la normativa europea es la que exige este tipo de mecanismos, mientras que en otros territorios no existe una obligación equivalente. La firma no ha concretado qué usuarios quedarán excluidos de la medida ni qué criterios se usarán para determinar quién es "elegible". Además de la aplicación a ChatGPT y Codex, OpenAI ha anunciado que los clientes de su interfaz de programación de aplicaciones de todo el mundo podrán activar voluntariamente las marcas de agua en textos para determinados modelos. Esta opción permitirá a los desarrolladores que usan los modelos de OpenAI integrar la marca de agua en sus propias aplicaciones y servicios.
Sin embargo, la función estará desactivada por defecto en las aplicaciones. La compañía ha tomado esta decisión para que sean sus clientes quienes decidan cómo aplicarla en función de sus propias "obligaciones de transparencia". Esta flexibilidad responde a la diversidad de casos de uso y de marcos legales que existen en los diferentes países donde operan los clientes de OpenAI. OpenAI también ha añadido que trabaja con proveedores de computación en la nube para "poner la marca de agua a disposición de las salidas de los modelos de OpenAI a las que se accede mediante sus servicios durante las próximas semanas". Esta colaboración con los proveedores cloud amplía el alcance de la medida y permite que la marca de agua llegue a un abanico más amplio de aplicaciones.
¿Cómo funciona textGrain?
La tecnología que utiliza OpenAI se llama textGrain. Según la descripción de la compañía, incorpora una "señal estadística invisible" en las elecciones de palabras del modelo. Esta señal no altera aparentemente el rendimiento del sistema y queda integrada en el texto generado de una manera que no es perceptible para el lector humano. Posteriormente, un detector puede buscar esta señal para evaluar si hay una marca de agua y, por lo tanto, si el texto ha sido generado por un modelo de OpenAI. El funcionamiento de esta tecnología se basa en el hecho de que los modelos de lenguaje eligen las palabras según una distribución de probabilidades. textGrain introduce pequeñas modificaciones en esta distribución que, sin afectar la calidad del texto, crean un patrón reconocible. Este patrón es el que el detector puede identificar cuando analiza un texto.
OpenAI ha reconocido que la detección puede cometer errores. Entre las limitaciones que ha señalado se encuentran los falsos positivos, es decir, textos que el detector identifica como generados por IA cuando en realidad no lo son, y los falsos negativos, que son textos generados por IA que el detector no consigue identificar. Estos errores son inevitables en cualquier sistema de detección basado en señales estadísticas. La compañía también ha admitido que el sistema funciona peor con textos breves.
Cuantas menos palabras tiene un texto, menos oportunidades hay de incorporar la señal estadística y, por lo tanto, más difícil es detectarla. Esta limitación es especialmente relevante en un contexto en el que muchas interacciones con los modelos de IA son cortas, como mensajes breves o respuestas concisas. Otra limitación importante es que la marca de agua puede debilitarse si el contenido se edita, se reescribe o se traduce. Estas operaciones alteran las palabras originales y, con ellas, la señal estadística que había incorporada. Esto significa que un texto generado por IA y luego modificado puede perder la marca de agua y volverse indetectable.
Acceso restringido al detector
Por todas estas razones, OpenAI ha decidido que el detector estará disponible solo para "investigadores y organizaciones expertas aprobados". Estos usuarios pueden empezar a hacer solicitudes a partir de este lunes. La restricción del acceso responde a la necesidad de evitar usos indebidos del detector y de garantizar que las personas que lo utilicen tengan los conocimientos necesarios para interpretar sus resultados. La compañía ha subrayado que la función de la marca de agua es ayudar a averiguar si el texto ha sido generado por un modelo de OpenAI, pero no indicará "quién escribió originalmente el texto ni quién es el propietario", además de otras limitaciones. Esta precisión es importante porque establece los límites de lo que la tecnología puede hacer y evita expectativas excesivas sobre sus capacidades.
OpenAI ha subrayado que tiene previsto poner la tecnología de textGrain a disposición del público como código abierto "para que otros puedan desarrollarla". Esta decisión permitirá que otros investigadores y desarrolladores puedan estudiar el funcionamiento de la tecnología, modificarla y crear herramientas propias a partir de ella. El código abierto también facilita la transparencia y permite que la comunidad científica evalúe los mecanismos que hay detrás. La decisión de liberar la tecnología como código abierto contrasta con la restricción de acceso al detector. Mientras que el detector queda reservado a investigadores aprobados, la tecnología de base queda a disposición de quien quiera estudiarla o desarrollarla. Esta combinación busca equilibrar la transparencia con la necesidad de controlar el uso de una herramienta que puede tener implicaciones sensibles.