14 · Llegir un llibre sencer d'una tirada

Els models d'avui anuncien finestres de context de cent mil tokens, de mig milió, d'un milió: un llibre sencer, un repositori de codi, cent contractes. Però «hi cap» no és el mateix que «el llegeix bé». Aquest capítol explica per què donar molt de text a un model és car, què fan els enginyers perquè ho sigui menys, i com es mesura si el model fa servir de debò el que li has donat.

1. Tres problemes que no són el mateix#

Imagina una reunió on cada persona, abans de parlar, ha d'escoltar el que ha dit cadascuna de les altres. Amb deu persones va bé. Amb cent, la reunió s'eternitza, i no perquè hi hagi deu vegades més gent, sinó perquè cada una de les cent ha d'escoltar les noranta-nou restants.

L'atenció funciona així: cada paraula mira totes les anteriors per decidir què li importa. Aquest és el primer problema, el cost. Si dobles el text, no dobles la feina: la multipliques gairebé per quatre.

Però no és l'únic problema, i confondre'ls porta a conclusions errònies. El segon és de posició: si un model s'ha entrenat amb textos de 8.000 tokens, no ha vist mai una paraula a la posició 30.000, i no sap què vol dir estar tan lluny. El tercer és d'ús: encara que la informació hi sigui i el model la pugui abastar, no està garantit que en faci cas.

Per això, quan es parla de context, hi ha tres finestres que convé no barrejar.

Quan algú diu «aquest model té un milió de context però no serveix», normalment ha topat amb la tercera.

2. FlashAttention: la mateixa feina, a trossos#

Per entendre FlashAttention cal saber una cosa sobre les targetes de càlcul (GPU). Tenen dues memòries. Una és gran i relativament lenta, com un magatzem al soterrani. L'altra és dins del xip, minúscula però molt més ràpida, com la taula on treballes. Calcular és ràpid; el que fa perdre temps és anar i venir del magatzem.

La manera ingènua de fer l'atenció calcula la taula sencera de puntuacions, cada paraula contra cada paraula, i la deixa al magatzem per tornar-la a buscar dues vegades. Amb 32.000 tokens i 32 caps, aquesta taula ocupa desenes de GB a cada capa.

FlashAttention fa exactament el mateix càlcul, però a trossos que caben a la taula de treball, i amb un truc perquè no calgui veure mai una fila sencera.

Dues coses en fan una peça important. La primera, que és exacta: no és una aproximació. El resultat només difereix a l'última xifra decimal, com quan sumes uns números en un altre ordre. Al camí matemàtic, la diferència és de dues unitats de l'últim decimal; la d'una finestra lliscant, que sí que és una aproximació, és de desenes de milers d'unitats. La segona, que la lliçó és general: en el maquinari d'avui, el que limita la velocitat sol ser moure dades, no fer números. Ho tornaràs a trobar al capítol 15.

Avui ningú no l'ha de programar: les eines habituals ja la fan servir sense que hi pensis.

3. Mirar només una part#

Si mirar-ho tot és massa car, una alternativa és no mirar-ho tot. Cada paraula pot mirar només les poques que té just abans: una finestra lliscant (sliding window). Sembla una pèrdua greu, però hi ha un detall que la salva: el model té moltes capes, i a cada capa les paraules ja porten el que han recollit a la capa anterior. És com córrer la veu: cada persona només parla amb els veïns, però després d'unes quantes rondes la notícia ha travessat tota la sala.

Hi ha variants d'aquesta idea:

• Uns quants tokens globals: tothom els mira i ells ho miren tot, i fan de missatgers entre punts llunyans.
• Alternar capes: moltes capes amb finestra curta i, de tant en tant, una amb atenció completa (per exemple, cinc a una). Retalla molt els apunts que l'atenció guarda de cada paraula (el KV-cache del capítol 12) i conserva la capacitat de fer salts llargs.
• Que el model aprengui on mirar: en lloc d'un patró fix, el model decideix quins trossos del text resumeix, quins llegeix sencers i quins ignora.
• StreamingLLM: es guarden els primers tokens, on l'atenció aboca les fitxes que no necessita (les aigüeres del capítol 12), i una finestra recent. Permet escriure indefinidament amb memòria constant, però el mig s'oblida: el que ha quedat fora de la finestra no es pot recuperar, i el camí matemàtic ho comprova.

4. Fer que el model llegeixi més enllà del que ha vist#

Recorda del capítol 11 que el model sap l'ordre de les paraules perquè cada posició fa girar els seus números uns angles (RoPE). Imagina-ho com un rellotge amb moltes agulles que giren a velocitats diferents: la ràpida, com la dels segons, distingeix paraules veïnes; les lentes, com la de les hores, distingeixen paraules molt llunyanes.

Si el model s'ha entrenat amb textos curts, les agulles lentes només han recorregut un tros petit de l'esfera. Dona-li un text quatre vegades més llarg i aquestes agulles arriben a angles que no ha vist mai: el model es desorienta i la qualitat cau en picat. La solució és alentir les agulles perquè no surtin de la zona coneguda. La pregunta és quines.

• Interpolació de posicions (PI): alentir-les totes igual. Simple, però perd precisió a curta distància.
• NTK: alentir molt les lentes i gens la ràpida. Millor, però alguna agulla intermèdia s'alenteix massa poc i encara surt de la zona coneguda.
• YaRN: decidir agulla per agulla segons quantes voltes ha fet a l'entrenament, i ajustar una mica l'atenció. És el més usat, i amb un reentrenament curt estén el context de vuit a setze vegades.
• Entrenar per fases: el que fan els models grans. Primer s'entrenen amb textos curts, que és barat, i al final s'hi afegeix una fase amb textos llargs de debò.

5. Com saber si de debò el fa servir#

La prova més famosa és l'agulla al paller (needle in a haystack): s'amaga una frase en un text llarguíssim i es pregunta per ella. Va ser útil fa uns anys. Avui gairebé tots els models la passen, i una prova que tothom aprova ja no distingeix ningú.

El problema és que és massa fàcil. El paller és palla: text que no s'assembla gens a l'agulla. Però a la vida real, el que envolta la informació bona sol ser informació semblant.

Els distractors, la informació semblant però equivocada, fan caure el rendiment molt més que la llargada. El camí matemàtic ho mesura: allargar el context amb text neutre gairebé no fa mal, posar-hi informació semblant sí. És el cas habitual quan es busquen documents per donar-los al model: si el cercador en torna deu del mateix tema, està fabricant distractors.

L'altre fenomen conegut és que es perd al mig (lost in the middle): els models grans recuperen millor la informació que és al principi o al final del context que la que és al mig. D'aquí surt un consell pràctic: posa el més important al principi o al final del que escrius. Però el camí matemàtic hi afegeix un matís que no se sol explicar.

Les proves serioses de context llarg (RULER, LongBench i altres) fan preguntes que demanen combinar diversos fets, seguir una cadena o resumir tot el text, i hi posen distractors. El que troben és que la finestra que el model fa servir bé sovint és un quart o menys de la que anuncia.

6. Context llarg o buscar abans (RAG)#

Si has de respondre preguntes sobre una biblioteca, tens dues opcions. Pots carregar-te tots els llibres i fullejar-los cada vegada, que és el context llarg. O pots tenir un bibliotecari que, per a cada pregunta, et porta els quatre llibres que toquen, que és la recuperació (retrieval-augmented generation, RAG, el tema del capítol 22).

El primer criteri és el preu, perquè els models es cobren per token llegit.

Amb 200.000 tokens de corpus, posar-lo sencer al prompt costa uns 61 cèntims per pregunta; amb la memòria cau (prompt caching), que guarda els apunts d'un principi de prompt que es repeteix, unes nou vegades menys; i buscant abans, unes trenta vegades menys. Però el preu no ho és tot. El context llarg pot raonar sobre tot el corpus a la vegada, si hi cap; la recuperació depèn que el bibliotecari encerti els llibres. La recuperació funciona amb biblioteques de qualsevol mida i s'actualitza fàcilment; el context llarg té el sostre de la finestra.

La resposta pràctica d'avui és que no són alternatives: buscar bé i després donar molt de context. Un cercador generós, un segon filtre que ordena el que ha trobat, i una finestra gran per posar-ho tot, sovint dins d'un agent que decideix quan cal buscar més.

7. Una llibreta de mida fixa#

Tot el que hem vist fins aquí conserva la idea de l'atenció: guardar uns apunts de cada paraula i poder tornar-hi. Hi ha una família de models que hi renuncia. En lloc d'apunts que creixen amb el text, porten una llibreta de mida fixa on van resumint el que llegeixen: l'atenció lineal, els models d'espai d'estats com Mamba, RWKV i altres.

El guany és evident: la memòria no creix, i el cost tampoc. El preu també ho és: un resum de mida fixa no pot guardar-ho tot literalment, i quan cal recuperar un detall exacte del principi del text, potser ja no hi és.

És important no confondre-ho amb FlashAttention. FlashAttention calcula exactament la mateixa atenció de manera més intel·ligent; l'atenció lineal canvia el càlcul per un altre que es pot fer més barat, i per tant dona resultats diferents.

Com que cada opció és bona en una cosa, la resposta guanyadora avui és l'híbrid: moltes capes amb llibreta fixa i unes poques d'atenció completa, que són les que conserven la capacitat de recuperar un detall exacte.

Què t'has d'endur#

• El context llarg és tres problemes: el cost (cada paraula mira totes les altres), la posició (distàncies que el model no ha vist) i l'ús (tenir-ho davant no és fer-ne cas).
• FlashAttention fa la mateixa atenció, exacta, però a trossos que caben a la memòria ràpida: el guany és de viatges al magatzem, no de càlculs.
• Les finestres lliscants, el YaRN i les llibretes de mida fixa abarateixen o estenen el context, i cadascuna té un preu concret.
• Una prova que tothom aprova, com l'agulla al paller, ja no mesura res. Els distractors fan més mal que la llargada, i la finestra útil sol ser un quart o menys de l'anunciada.
• «Es perd al mig» és real en models grans, però ve de les dades d'entrenament, no del mecanisme d'atenció.

Comprova que ho has entès#