Durant tota la seva història, l'home va fabricar eines que algú entenia. El martell, l'arada i el rellotge van tenir autors que sabien per què funcionaven. És cert que la comprensió va tenir sempre zones fosques; així, es va usar l'electricitat abans d'entendre l'electró i es van receptar antibiòtics abans de conèixer els seus mecanismes íntims. Però la foscor era sempre una part i mai el tot; perquè el forat estava en una baula. Mentrestant, la resta de la cadena quedava a la vista i tard o d'hora la ciència il·luminava la baula fosca.

Amb la intel·ligència artificial ocorre una cosa que no té precedent: sabem amb exactitud com es construeix i no sabem com funciona. Si bé la recepta és pública, el plat és un misteri. Ocorre perquè la IA no es dissenya com es crea un motor, on cada peça compleix una funció coneguda; només se sembren dades, s'aplica un procés d'entrenament i alguna cosa creix a dins que cap humà va escriure. S'assembla més a l'agricultura que a l'enginyeria. El granger de fa 10.000 anys tampoc sabia per què prosperava la llavor triada, però la donava la naturalesa, una cosa fosca per a l'home. Aquí nosaltres creem el sòl, la llavor i el clima, i el fruit igual ens resulta il·legible. Per primera vegada, l'artefacte sencer és la zona fosca. Aquesta és la primera ignorància enterament fabricada per l'home.

Algú dirà que sempre vam confiar en coses que no enteníem, és cert. Ningú verifica els microprocessadors del seu ordinador abans d'encendre-la, però d'aquests existia un saber exacte, encara que estigués en mans d'altres. La confiança descansava sobre una comprensió real. No obstant això, la IA és d'una altra espècie perquè descansa sobre la conducta. Sabem com es comporta perquè l'observem milions de vegades, igual que el genet coneix el seu cavall. Aquest confia en el seu historial, no en la seva anatomia. Així, passem de confiar en màquines compreses a criatures observades.

A aquest primer problema se n'hi suma un segon. Abans, sempre hi havia algú capaç de revisar. Fa anys, un físic va arribar a Israel des de Rússia amb una teoria que, segons ell, canviava la física per sempre. Un grup de professors el va escoltar amb atenció i al final un d'ells va donar el veredicte: era la teoria d'Einstein, redescoberta amb 90 anys de retard. La revisió va funcionar perquè els supervisors venien d'una altra escola i els seus errors no eren els del visitant. Algú objectarà que tampoc vam entendre mai el cervell humà i que igual confiem en la ciència que produïen els cervells. És veritat, ja que confiavem perquè eren molts cervells diferents, criats en tradicions oposades, que s'equivocaven en llocs diferents. La ciència mai va ser l'obra d'una ment compresa, sinó l'acord de moltes ments independents. La independència reemplaçava la comprensió.

Amb la IA, per primera vegada, l'artefacte sencer és la zona fosca. Aquesta és la primera ignorància enterament fabricada per l'home

Qui revisa la IA? Una altra IA. Però dues còpies del mateix model són com exemplars del mateix llibre perquè el segon repeteix els encerts i els errors del primer. Això no és un jutge, sinó un mirall. Els models rivals, criats per empreses enemigues, sí que troben errors diferents, i aquesta revisió creuada val. Però tots van beure de la mateixa biblioteca, que és el text acumulat de la humanitat. Si aquesta referència conté un error compartit, cap model l'assenyalarà a un altre. On la ciència va tenir escoles rivals, la IA té un monocultiu. I queda el remei clàssic, que és l'experiment. El problema és que l'experiment també el dissenyarà la IA, perquè la llei del menor esforç és la més obeïda de totes les normes. La hipòtesi, la prova, l'instrument i l'anàlisi sortiran de la mateixa font, així el jutge comparteix oficina amb l'acusat.

Què ens queda, aleshores? Ens queda el món. Una teoria falsa pot aprovar un examen dissenyat pel seu propi autor, però el pont construït sobre ella cau, el remei no cura i el coet no arriba. La realitat és l'únic revisor que no és una ment i per això no es deixa enganyar. Tot coneixement que es converteix en tècnica conserva aquest tribunal incorruptible i l'ús massiu és un experiment que ningú dissenya. I ens queda un segon jutge, petit i llegible, els verificadors formals, programes breus que un humà pot llegir sencer i que comproven demostracions matemàtiques de milers de pàgines sense entendre-les. No comprenem la demostració, però comprenem el verificador; per tant, les matemàtiques conserven el seu tribunal.

Vam perdre el coneixement que no toca el món ni cap en un verificador, tals com les afirmacions sobre el passat remot i el futur llunyà; o els sabers sobre les societats que no admeten experiment. També, les explicacions que la mateixa IA dona sobre si mateixa. En aquests territoris ja no verifiquem, només creiem. I un saber que s'accepta per confiança en la font no es diu ciència, és només doctrina. Borges va imaginar un mapa tan fidel que assolia la mida de l'imperi i resultava inútil, i una explicació fidel de la IA seria aquest mapa, tan gran com la màquina mateixa i, per tant, il·legible. Ens queda el món, que no menteix, perquè vam perdre el pla que ja ningú pot llegir.

Les coses com són.