Durante toda su historia, el hombre fabricó herramientas que alguien entendía. El martillo, el arado y el reloj tuvieron autores que sabían por qué funcionaban. Es cierto que la comprensión tuvo siempre zonas oscuras; así, se usó la electricidad antes de entender el electrón y se recetaron antibióticos antes de conocer sus mecanismos íntimos. Pero la oscuridad era siempre una parte y nunca el todo; porque el agujero estaba en un eslabón. Entre tanto, el resto de la cadena quedaba a la vista y tarde o temprano la ciencia iluminaba el eslabón oscuro.

Con la inteligencia artificial ocurre algo que no tiene precedente: sabemos con exactitud cómo se construye y no sabemos cómo funciona. Si bien la receta es pública, el plato es un misterio. Ocurre porque la IA no se diseña como se crea un motor, donde cada pieza cumple una función conocida; solo se siembran datos, se aplica un proceso de entrenamiento y algo crece adentro que ningún humano escribió. Se parece más a la agricultura que a la ingeniería. El granjero de hace 10.000 años tampoco sabía por qué prosperaba la semilla elegida, pero la daba la naturaleza, algo oscuro para el hombre. Aquí nosotros creamos el suelo, la semilla y el clima, y el fruto igual nos resulta ilegible. Por primera vez, el artefacto entero es la zona oscura. Esta es la primera ignorancia enteramente fabricada por el hombre.

Alguien dirá que siempre confiamos en cosas que no entendíamos, es cierto. Nadie verifica los microprocesadores de su computadora antes de encenderla, pero de estos existía un saber exacto, aunque estuviera en manos de otros. La confianza descansaba sobre una comprensión real. Sin embargo, la IA es de otra especie porque descansa sobre la conducta. Sabemos cómo se comporta porque la observamos millones de veces, igual que el jinete conoce a su caballo. Este confía en su historial, no en su anatomía. Así, pasamos de confiar en máquinas comprendidas a criaturas observadas.

A ese primer problema se le suma un segundo. Antes, siempre había alguien capaz de revisar. Hace años, un físico llegó a Israel desde Rusia con una teoría que, según él, cambiaba la física para siempre. Un grupo de profesores lo escuchó con atención y al final uno de ellos dio el veredicto: era la teoría de Einstein, redescubierta con 90 años de atraso. La revisión funcionó porque los supervisores venían de otra escuela y sus errores no eran los del visitante. Alguien objetará que tampoco entendimos nunca el cerebro humano y que igual confiamos en la ciencia que producían los cerebros. Es verdad, ya que confiábamos porque eran muchos cerebros distintos, criados en tradiciones opuestas, que se equivocaban en lugares diferentes. La ciencia nunca fue la obra de una mente comprendida, sino el acuerdo de muchas mentes independientes. La independencia reemplazaba a la comprensión.

Con la IA, por primera vez, el artefacto entero es la zona oscura. Esta es la primera ignorancia enteramente fabricada por el hombre

¿Quién revisa a la IA? Otra IA. Pero dos copias del mismo modelo son como ejemplares del mismo libro porque el segundo repite los aciertos y los errores del primero. Eso no es un juez, sino un espejo. Los modelos rivales, criados por empresas enemigas, sí encuentran errores distintos, y esa revisión cruzada vale. Pero todos bebieron de la misma biblioteca, que es el texto acumulado de la humanidad. Si esta referencia contiene un error compartido, ningún modelo se lo señalará a otro. Donde la ciencia tuvo escuelas rivales, la IA tiene un monocultivo. Y queda el remedio clásico, que es el experimento. El problema es que el experimento también lo diseñará la IA, porque la ley del menor esfuerzo es la más obedecida de todas las normas. La hipótesis, la prueba, el instrumento y el análisis saldrán de la misma fuente, así el juez comparte oficina con el acusado.

¿Qué nos queda entonces? Nos queda el mundo. Una teoría falsa puede aprobar un examen diseñado por su propio autor, pero el puente construido sobre ella se cae, el remedio no cura y el cohete no llega. La realidad es el único revisor que no es una mente y por eso no se deja engañar. Todo conocimiento que se convierte en técnica conserva ese tribunal incorruptible y el uso masivo es un experimento que nadie diseña. Y nos queda un segundo juez, pequeño y legible, los verificadores formales, programas breves que un humano puede leer entero y que comprueban demostraciones matemáticas de miles de páginas sin entenderlas. No comprendemos la demostración, pero comprendemos al verificador; por lo tanto, las matemáticas conservan su tribunal.

Perdimos el conocimiento que no toca el mundo ni cabe en un verificador, tales como las afirmaciones sobre el pasado remoto y el futuro lejano; o los saberes sobre las sociedades que no admiten experimento. También, las explicaciones que la propia IA da sobre sí misma. En esos territorios ya no verificamos, solo creemos. Y un saber que se acepta por confianza en la fuente no se llama ciencia, es solo doctrina. Borges imaginó un mapa tan fiel que alcanzaba el tamaño del imperio y resultaba inútil, y una explicación fiel de la IA sería ese mapa, tan grande como la máquina misma y, por lo tanto, ilegible. Nos queda el mundo, que no miente, porque perdimos el plano que ya nadie puede leer.

Las cosas como son.