Cada poques setmanes una empresa anuncia un model nou d'intel·ligència artificial i l'acompanya amb un número. El número és més alt que el del model anterior i més alt que el del competidor. La premsa ho repeteix, els inversors ho celebren i el públic entén que la màquina va millorar. La pregunta que gairebé ningú es fa és en què va millorar i per a qui.

Els models d'IA s'avaluen amb exàmens. Hi ha un de matemàtiques, un altre de programació, un altre de ciència i un altre de comprensió de textos. Cada examen té la seva escala i el seu límit, perquè quan tots els models aproven amb 95 sobre 100, l'examen ja no distingeix ningú. Per resoldre això, un institut que mesura el progrés de la IA va crear un índex que combina molts exàmens en una sola escala, amb la mateixa tècnica que fan servir els psicòlegs per calcular un coeficient intel·lectual. Cal aclarir que l'escala és arbitrària, com els graus d'un termòmetre. El millor model del 2023 estava en 126 punts. El millor de mitjans del 2026 estava en 162. Un punt no equival a res tangible, només serveix per comparar.

Aquest índex va mostrar una cosa interessant: des del setembre del 2024 van aparèixer els primers models que raonen abans de contestar; el millor algorisme del món puja 14 punts per any; abans en pujava sis. La velocitat es va duplicar i des de llavors es manté constant.

Mentrestant, què significa per a una persona que fa servir la IA per redactar un correu, resumir un contracte o traduir una carta que el millor model del món tingui 162 punts en comptes de 148?

Per a qui redacta correus, el llindar es va creuar el 2023 i des de llavors cada model nou li resulta igual a l'anterior

La resposta és que no significa res, perquè l'índex és una mitjana sobre desenes d'exàmens. Ningú fa servir una mitjana, perquè cada persona fa servir el model per a una tasca concreta, i per a aquesta tasca l'únic que importa és si el model la resol o no. I això no és una escala, sinó un llindar.

Pensi en el cartell d'un ascensor que diu capacitat 500 quilos. Per a una persona de 80 quilos, que l'ascensor nou suporti 1.000 no canvia res. Per a un piano de 600 quilos, que suporti 550 tampoc canvia res. El número del cartell només importa en el moment exacte en què creua el pes que es vol pujar. Abans d'aquest moment és indiferent i després també.

Amb la IA passa el mateix. Per a qui redacta correus, el llindar es va creuar el 2023 i des de llavors cada model nou li resulta igual a l'anterior. Per a qui vol que la màquina programi sola durant una setmana sense supervisió, el llindar no es va creuar encara, i mentrestant els 14 punts anuals tampoc li serveixen. La puntuació importa només en l'instant en què un model travessa el llindar d'una tasca, i cada tasca té el seu. La resta del temps el marcador puja i la vida segueix igual.

Hi ha un segon motiu, perquè els exàmens que fan pujar l'índex són sobretot de matemàtiques, lògica i programació, perquè aquí van fer el salt els models que raonen. La majoria de la gent no fa servir la IA per a això. La fa servir per escriure, resumir i buscar, i en aquestes tasques la millora dels últims 2 anys va ser real, però modesta.

Quan aparegui una puntuació nova, la pregunta no és quant va pujar, sinó quina tasca va començar a resoldre que abans no resolia

Llavors, a qui li importa el número? Hi ha quatre grups, i cap és el públic. Els importa a les empreses que fabriquen els models, perquè l'índex és la seva taula de posicions. Amb ell justifiquen el preu, convencen els inversors i atrauen els enginyers que volen treballar on es va primer. També als inversors, perquè els diu si una empresa es queda enrere en la cursa encara que el seu producte sigui igual d'útil. És rellevant per als qui estudien el ritme del progrés, perquè necessiten una regla comuna per dir si la IA accelera o es frena. I els governs el segueixen, perquè volen saber a quina velocitat ve el tren abans de decidir si posen una barrera.

Per a aquests quatre grups, el número és informació. Per a la resta és un marcador que passa per la pantalla.

Cal aclarir que la puntuació no és una fantasia. Es tradueix en alguna cosa, però no de manera contínua i no per a l'usuari; es veu en llindars que es van creuant. Fa dos anys cap model resolia problemes d'olimpíada de matemàtiques i avui diversos ho fan. De tant en tant, una d'aquestes marques coincideix amb una feina real, i aquest dia sí que canvia la vida d'algú. La línia de 14 punts per any no diu quines fites es creuen ni quan. Només expressa que la fila avança a pas parell.

La confusió ve d'una traducció equivocada. La gent llegeix "millor model" i entén "millor per a mi". El que el número diu és "millor en una mitjana d'exàmens que majoritàriament no s'assemblen al que vostè fa". Són 2 afirmacions diferents, i la distància entre elles és el negoci de qui publica el número.

La regla pràctica és curta. Quan aparegui una puntuació nova, la pregunta no és quant va pujar, sinó quina tasca va començar a resoldre que abans no resolia. Si la resposta és una tasca seva, el número importa. Si no, és un rècord d'altres.

Les coses com són.