Google ha llançat Guided Vision, una nova funció orientada a l'accessibilitat i impulsada per intel·ligència artificial dins de Gemini Live. El seu objectiu és oferir assistència visual conversacional en temps real a persones cegues, amb baixa visió o a qualsevol que necessiti suport visual dinàmic en el seu dia a dia.
Desenvolupada en estreta col·laboració amb la comunitat d'accessibilitat i la plataforma especialitzada Aira, la funció va acumular desenes de milers d'hores de prova i interpretació de dades. Més de 1.000 provadors van avaluar l'eina en situacions quotidianes per afinar la precisió del model i garantir estàndards de seguretat fiables.
Com funciona Guided Vision?
En activar la càmera dins d'una sessió de Gemini Live, la IA actua com un company de conversa interactiu. Si la càmera apunta massa alt, molt a prop o fora d'angle, Gemini ofereix instruccions verbals d'enquadrament en temps real, com "gira lentament a la dreta", "inclina cap avall" o "fes un pas enrere" per aconseguir la presa idònia i respondre amb precisió a les preguntes de l'usuari.
Entre les aplicacions quotidianes destaquen:
-
Lectura de text fi: descodificar etiquetes nutricionals, dials d'electrodomèstics o menús en restaurants amb poca llum.
-
Localització d'objectes: trobar articles caiguts a terra o identificar un ingredient específic en un rebost.
-
Descripció de detalls i combinacions: identificar colors, patrons de roba o peces que combinin.
-
Exploració d'espais: obtenir descripcions generals sobre la distribució d'una habitació o l'entorn immediat.
-
Interacció multilingüe: suport per a converses naturals en diversos idiomes.
Disponibilitat i activació
Guided Vision està disponible per a dispositius amb Android 9 o superior a les regions i idiomes on Gemini Live està habilitat.
Per utilitzar-lo des de l'app de Gemini:
-
Ves a la configuració del teu perfil a l'app mòbil de Gemini.
-
Activa l'opció Utilitzar Guided Vision en Live.
-
Inicia Gemini Live i toca el botó per compartir la teva càmera.
Per a més rapidesa, pots configurar un accés directe a Ajustos d'Android > Accessibilitat > Assistència visual > Guided Vision. Aquesta configuració s'activa mitjançant un botó flotant, lliscament amb dos dits o prement ambdues tecles de volum. A més, té integració nativa a Google TalkBack a través del seu menú desplegable de tres dits.
Guided Vision representa un avenç fonamental en la interacció entre la intel·ligència artificial multimodal i l'accessibilitat digital i estableix un antecedent clau de com la IA generativa pot integrar-se de forma pràctica per atorgar major autonomia en les tasques quotidianes.