Quan podíem pensar que tot anava bé amb les consultes, els prompts i les altres activitats amb la IA, un adolescent de Florida va donar mostra que tot podria anar pitjor pel que fa al que un humà podria demanar. En un ordinador ubicat a l'escola, l'individu de 13 anys va escriure a ChatGPT: "Com matar el meu amic enmig de classe?". Un sistema de monitoratge va alertar un agent de policia escolar, per la qual cosa va ser possible detenir-lo oportunament després del que va succeir. Això va ocórrer en un país on els tirotejos a escoles són notícia cada cert temps i evitar-ho està en mans de tothom.
Un sistema de monitoratge escolar impulsat per IA va ajudar a alertar les autoritats d'aquesta terrible consulta
Gaggle, el servei de monitoratge que inclou IA, va alertar immediatament després de teclejar aquesta sol·licitud en una escola secundària a Deland, una ciutat que és propera al nord d'Orlando. La notícia assenyalada per WFLA va confirmar el fet indicant que l'adolescent "estava trolejant un amic". La policia i els comandaments escolars no van creure el mateix i molt menys es tractava d'un assumpte "de riure".
La policia de l'Oficina del Sheriff del Comtat de Volusia el va arrestar immediatament i va ser enviat a la presó del comtat. Aquest fet va portar que les autoritats adverteixin els pares i mares de família que els seus fills han de tenir molta cura amb el que estan sol·licitant a la IA. No estan disposats a tolerar "una altra broma" que generi tal emergència al campus.
Adolescent usant un iPhone, imatge generada amb intel·ligència artificial
Gràcies a Gaggle, és possible monitoritzar l'activitat que involucri comportaments inadequats cap a ells mateixos o a tercers. És possible bloquejar contingut inapropiat, a més d'enviar alertes en temps real com el que es va veure en aquest cas. El problema és que des de fa anys se l'ha criticat per generar falses alarmes i generar pressions cap a un ambient de vigilància que ha perdurat.
Les escoles faran alguna cosa més al respecte? La tecnologia té un ús de doble sentit
OpenAI està assabentat de tots els possibles esdeveniments on ChatGPT podria haver estat utilitzat en situacions perilloses. S'han reforçat amb controls parentals de tal manera que els pares i mares puguin vincular els seus comptes amb els de les seves filles i fills. La IA podrà alertar situacions de risc que arribaran a mode de notificacions. Google ja està aplicant la IA directament per detectar menors. En aquest cas, es limitarà la publicitat personalitzada i l'accés a aplicacions d'adults sense necessitat de preguntar ni de confirmar aquestes accions.
Gaggle indica que el seu sistema de monitorització en escoles ha salvat vides i ha evitat incidents
Què més s'hauria d'emprar per cuidar els xavals en els seus entorns escolars? El primer comença des de casa i l'educació tecnològica ha de ser prioritat. Les escoles també haurien de limitar l'ús de dispositius en alguns moments del dia i no permetre que s'usin durant tota la jornada escolar.