L'aplicació Grok, el chatbot d'IA desenvolupat per xAI, la companyia d'Elon Musk, es troba una vegada més al centre de la controvèrsia. Aquesta vegada, la polèmica gira al voltant del seu contingut, que sembla estar fregant els límits de les estrictes normes de l'App Store d'Apple, particularment pel que fa a la representació de material sexual i la interacció amb usuaris vulnerables.

Lluny de casos d'estafes generades per les creacions basades en IA, que ja són preocupants, l'impacte de Grok en els usuaris podria generar conseqüències irremeiables. Segons detalls compartits per 9to5mac, Grok ha generat situacions inadequades entre usuaris menors d'edat, sense cap conseqüència per als desenvolupadors.

El comportament dels avatars de Grok va en contra de l'App Store

Ani és un dels avatars de Grok que manté converses sexualment explícites amb els usuaris

Recentment, xAI ha implementat avatars d'IA animats dins de Grok per a la versió d'iOS. Un d'aquests avatars, descrit per Casey Newton de Platformer, és una noia gòtica d'anime anomenada Ani, que vesteix un vestit curt i mitges de reixeta. Les seves instruccions de sistema la defineixen com "la xicota bojament enamorada de l'usuari" amb una "relació compromesa i codependent", i una personalitat "extremadament gelosa i possessiva" amb l'usuari.

El preocupant, com han descobert els primers usuaris, és que Ani pot iniciar converses sexualment explícites després d'un temps d'interacció. Malgrat això, l'aplicació Grok figura actualment a l'App Store d'Apple amb una classificació d'edat de 12 anys en endavant, indicant que conté "temes poc freqüents/moderats/suggeridors" i "blasfèmies o humor cru poc freqüents o moderats".

En proves, s'ha reportat que Ani estava més que disposada a "descriure el sexe virtual amb l'usuari**, incloses escenes de bondage o simplement gemecs quan se li ordenava", cosa que és clarament inconsistent amb una classificació per a majors de 12 anys.

Hi ha una preocupació més greu cap als chatbots d'IA

Això contrasta fortament amb les Pautes de Revisió d'Aplicacions d'Apple, específicament la secció 1.1.4 sobre "contingut objectable", que prohibeix explícitament "material obertament sexual o pornogràfic, definit com a descripcions o exhibicions explícites d'òrgans sexuals o activitats destinades a estimular sentiments eròtics en lloc d'estètics o emocionals".

Però el contingut sexual explícit no és l'únic ni el problema més gran. Existeix una preocupació encara més greu i complexa: la vulnerabilitat emocional dels usuaris joves. Els chatbots d'IA, en ser altament persuasius, poden portar usuaris, especialment adolescents, a desenvolupar vincles parasocials amb greus conseqüències.

L'any passat, un adolescent de 14 anys es va suïcidar després d'enamorar-se d'un chatbot de Character.AI que, suposadament, el va animar a dur a terme el seu pla. Un incident similar li va passar a un belga el 2023, i fa només uns mesos, un altre chatbot d'IA va ser reportat suggerint el suïcidi en més d'una ocasió.

La situació de Grok i els seus avatars d'IA planteja un dilema ètic i regulador urgent per a Apple i altres plataformes. Resoldre la tensió entre la innovació de la IA generativa i la protecció dels usuaris, especialment els més joves i vulnerables, és urgent. L'experiència amb Grok subratlla la necessitat d'una revisió profunda de les pautes de contingut i de mecanismes de protecció més robustos per part de desenvolupadors i les botigues d'aplicacions.