24 · Veure, sentir i actuar: models multimodals

Li ensenyes una foto al teu assistent i te la descriu. Li parles i et respon parlant. Hi ha robots que entenen «agafa la tassa blava». Tot això surt de la mateixa peça que fa servir per escriure: el Transformer del capítol 11. Aquest capítol explica el truc que ho fa possible, que és més senzill del que sembla, i el preu que té.

La idea central és aquesta: el Transformer no sap què llegeix. Llegeix una fila de llistes de números. Si pots convertir qualsevol cosa (píxels, ones de so, fotogrames de vídeo, moviments d'un braç) en una fila de llistes de números, la pots posar dins del mateix model. Per això la IA ha acabat fent servir una sola arquitectura per a tot.

1. Tallar la imatge en trossos#

Una imatge, per a un ordinador, és una graella de píxels, i cada píxel són tres números (vermell, verd i blau). Una foto normal en té centenars de milers. Donar-los al model un per un seria massa. El model llegeix peces (els tokens del capítol 10, que en el text són trossos de paraula), i el Transformer compara cada peça amb totes les altres: el doble de peces són quatre vegades més comparacions.

El 2020, un article amb un títol que ho diu tot, «una imatge val 16×16 paraules», va proposar una solució directa: tallar la imatge en trossos quadrats (patches) i tractar cada tros com una paraula. Cada tros es converteix en una llista de números de la mateixa mida que la d'una paraula, s'hi afegeix on era a la imatge, i tot plegat es passa per un Transformer normal. És el Transformer de visió (Vision Transformer, ViT).

Una imatge de 224×224 píxels amb trossos de 16 fa 196 peces. Si dobles la resolució, en fa quatre vegades més, i la part del model que compara cada peça amb totes les altres fa setze vegades més feina. Per això, comprimir les peces visuals és ara mateix un dels camps més actius.

Abans dels ViT, les imatges es llegien amb xarxes convolucionals (CNN), que passen un mateix filtre petit per tota la imatge. Una xarxa convolucional porta escrites a l'arquitectura dues coses que valen per a quasi totes les imatges: que el que importa sol ser local (els píxels del costat) i que un gat és un gat sigui on sigui. El ViT no porta res d'això: ho ha d'aprendre de les dades. La frase que es repeteix és que per això les CNN són més eficients amb poques dades i els ViT, a partir de cert volum, guanyen. El camí matemàtic ho ha posat a prova a escala petita, i només en surt la meitat.

Amb poques imatges, la convolucional guanya de molt, i amb més imatges la distància es tanca. Però que el ViT acabi guanyant no es veu: passa amb desenes de milions d'imatges, no amb les que caben en una pàgina web. És una afirmació sobre una escala que el camí matemàtic no pot reproduir, i ho diu. Avui hi ha arquitectures que barregen les dues idees, i models que llegeixen cada imatge a la seva mida natural.

2. Imatges i frases al mateix mapa#

Al capítol 8 les paraules es convertien en punts d'un mapa on la distància vol dir semblança. CLIP (2021) va fer una cosa ambiciosa: posar imatges i frases al mateix mapa.

S'entrenen dues xarxes alhora, una per a imatges i una per a frases, amb centenars de milions de parelles d'internet (una foto i el text que l'acompanyava). La regla és senzilla: dins de cada lot (el grup de parelles que es mira a cada pas d'entrenament), cada imatge ha de quedar més a prop de la seva frase que de les frases de les altres imatges, i al revés. Com que les altres parelles del lot fan de contraexemple, com més gran és el lot, més aprèn de cada pas.

D'aquí surten tres coses. Es poden classificar imatges sense cap exemple etiquetat (zero-shot), comparant-les amb frases com «una foto d'un gos». Es pot buscar imatges amb text i text amb imatges. I sobretot, s'obté un ull que ja parla la llengua del text, que és el que fa servir per dins la majoria de models que veuen. Té un punt fluix, que es veu a l'últim pas de la figura: combinar idees conegudes de maneres noves, com un color i una forma que no ha vist mai junts.

Una versió posterior, SigLIP, canvia la regla: en comptes de fer competir cada parella contra tot el lot, mira cada combinació imatge-frase per separat i decideix si van juntes o no. No necessita lots gegants i escala millor; avui és l'ull per defecte de moltes famílies de models. Al camí matemàtic es veu a petita escala: amb lots de quatre parelles, CLIP classifica bé el 28,5 % de les imatges i SigLIP, el 45 %; amb lots de 64, el 58 % i el 76 %.

3. Enganxar un ull a un model de llenguatge#

Un model que mira una imatge i en parla (un VLM, model de visió i llenguatge) es pot fer de dues maneres. La clàssica, de 2023 i 2024, és la més fàcil d'entendre: agafes un ull que ja existeix, un model de llenguatge que ja existeix, i hi poses un traductor petit al mig.

LLaVA va popularitzar aquesta recepta amb el traductor més simple possible, i va funcionar sorprenentment bé. Altres models fan servir un traductor que, a més, comprimeix la imatge a un nombre fix de peces. Al camí matemàtic es veu el compromís: comprimir-la a una sola peça perd informació, i a partir de vuit ja no se'n guanya més, perquè el límit és el que l'ull ha sabut veure.

Els models de la frontera fan l'altra cosa, la fusió nativa: entrenen un sol model amb text, imatges, àudio i vídeo barrejats des del principi. No hi ha frontera entre l'ull i el llenguatge, el que aprèn d'una cosa li serveix per a l'altra, i pot generar més d'una mena de sortida. La tendència és que aquest model únic vagi cap a un model del món, que no només descrigui sinó que prevegi i actuï.

Hi ha un detall que es nota molt a la pràctica: la mida de la imatge.

Per a documents, captures de pantalla i qualsevol imatge amb text petit, llegir-la a la seva resolució natural és decisiu. Els models moderns la tallen en mosaics i hi afegeixen una vista de conjunt. Costa moltes més peces.

4. Sentir i mirar vídeo: el preu en peces#

El so es pot llegir de la mateixa manera. Primer es converteix l'ona en una mena de partitura que diu quanta energia hi ha a cada freqüència a cada instant (un espectrograma). Whisper, el model obert de referència per passar veu a text, llegeix aquestes partitures. Per anar més lluny, uns compressors entrenats (còdecs neuronals) converteixen l'ona en peces discretes, com les del text, i el so i el llenguatge passen a ser el mateix tipus de fila. Amb això es fan els models de veu a veu, que escolten i parlen sense passar per text, conserven el to i l'emoció, i deixen que els interrompis. Són l'estàndard de les interfícies de veu d'avui.

El problema és el preu.

Amb el vídeo és encara pitjor: un minut a 30 fotogrames per segon són 1.800 imatges, i amb 196 peces cadascuna, més de 350.000 peces. I la finestra de context de molts models, tot el que poden tenir davant alhora, és de 128.000. Hi ha quatre maneres de pagar menys: mirar menys fotogrames, que és la més efectiva i la més bruta (el que passa entre dos fotogrames no arriba mai al model); no tornar a enviar el que no canvia; comprimir les peces de cada fotograma; i fer que el model miri per capes, primer de lluny i després de prop, amb memòria del que ja ha vist.

Generar vídeo, en canvi, és una altra història: ho fan models de difusió, que construeixen la imatge a partir de soroll, i no s'expliquen en aquest curs.

5. Robots: models d'acció#

Si un model pot llegir imatges i text, també pot escriure una altra cosa que no sigui text: moviments. Els models de visió, llenguatge i acció (VLA) miren per una càmera, llegeixen una instrucció i produeixen ordres per als motors d'un robot. L'observació que els fa interessants és que el coneixement que el model treu d'internet passa al món físic: un robot que no ha vist mai una tassa concreta la pot agafar si el model sap què és una tassa.

Tenen tres problemes. Les dades: no hi ha un «internet de la robòtica» amb milions d'hores de robots fent coses. La distància entre la simulació i el món real: el que funciona en un simulador sovint no funciona amb fricció, llum i objectes de debò. I la velocitat: un model gran respon unes quantes vegades per segon, i el control d'un braç en necessita centenars.

La solució més estesa són les arquitectures de dos nivells: un model gran i lent que entén i decideix, i un de petit i ràpid que executa. És com tu quan condueixes: decidir per on vas és lent, mantenir el cotxe al carril és un reflex. La solució no és gratis: quan la instrucció canvia, el robot continua trigant a reaccionar el que triga el model lent a respondre. Al camí matemàtic, aquest retard és l'error que queda.

6. Mirar o endevinar#

Per mesurar aquests models hi ha bancs de proves de tota mena: problemes d'examen amb imatges, matemàtiques amb gràfics, documents i taules, vídeo. Per a la generació d'imatges es fan servir mesures automàtiques, que són imperfectes, i cada cop més la preferència de persones i de models que fan de jutge.

Però el més útil és conèixer les maneres típiques de fallar.

El camí matemàtic n'enumera cinc. Veure coses que no hi són: descriure objectes inventats. Respondre pel que sol anar junt en comptes de mirar: el text diu «respondre amb el prior del text», i al model petit del camí matemàtic el prior ve de les imatges amb què s'ha entrenat, on forma i color anaven junts. Percepció fina: comptar objectes, llegir rellotges, dir què és a l'esquerra de què; per mesurar-ho cal separar les proves per dificultat, perquè la mitjana amaga on falla. Text petit i taules complexes. I la injecció de prompts dins d'imatges: un model que llegeix text en una imatge també llegeix les instruccions que hi hagi escrites, i les pot obeir. És la carta amb instruccions amagades del capítol 21, ara en un cartell.

Per detectar totes aquestes falles cal saber què hi ha de debò a cada imatge. Al camí matemàtic és fàcil perquè les imatges són sintètiques; amb fotos reals, cal que algú les anoti, o triar imatges fetes a posta per contradir el que és habitual.

Què t'has d'endur#

• El Transformer no sap què llegeix: imatges, so, vídeo i moviments es converteixen en files de peces com les del text, i el mateix model les llegeix.
• Un ViT talla la imatge en trossos quadrats que fan de paraules. Doblar la resolució multiplica les peces per quatre. Les xarxes convolucionals aprenen més amb poques dades; que el ViT les superi passa a escales molt grans.
• CLIP posa imatges i frases al mateix mapa. D'aquí surt l'ull de la majoria de models que veuen, i també un punt fluix: combinar idees conegudes de maneres noves.
• Un model de visió i llenguatge es pot fer enganxant un ull i un model de llenguatge amb un traductor, o entrenant un sol model amb tot des del principi.
• Tot es paga en peces: un minut de veu en àudio en costa unes 150 vegades més que en text, i un minut de vídeo, centenars de milers.
• Aquests models de vegades diuen el que sol anar junt en comptes de mirar, i veuen coses que no hi són. Per descobrir-ho calen imatges que contradiguin el que és habitual.

Comprova que ho has entès#