12 · Què ha canviat des del 2017

El Transformer que vas veure peça a peça al capítol 11 és de 2017. Els models amb què parles avui són molt més grans, llegeixen documents sencers i responen a milions de persones alhora. La pregunta d'aquest capítol és senzilla: què els han canviat per dins, i per què?

La resposta sorprèn una mica. L'esquelet és el mateix. El que ha canviat és una dotzena de detalls, i gairebé cap no hi és perquè el model «entengui més». Hi són per dues raons molt més prosaiques: perquè un entrenament de mesos no se'n vagi en orris, i perquè el model càpiga a la memòria quan el fas servir.

1. Un esquelet de 2017 amb una dotzena de retocs#

Pensa en un cotxe de 1990 i un d'avui. Quatre rodes, un motor, un volant, uns frens: l'esquema és idèntic. Però el d'avui porta injecció electrònica, ABS, airbags, un motor més petit que treu més potència. Cap d'aquests canvis no el converteix en un altre vehicle. Cadascun resol un problema concret que s'havia anat trobant a la carretera.

Amb els LLMs passa el mateix. El bloc del capítol 11 —l'atenció, que fa que cada paraula miri les altres; la xarxa d'alimentació directa (l'FFN), que treballa cada paraula per separat i que en aquest bloc anomenarem la peça de càlcul; i la cinta del flux residual, el camí principal on es va sumant tot— continua sent el cor de qualsevol model actual. El que ha canviat són les peces que l'envolten.

Alguns canvis, mirats de prop:

• Una sola torre. El Transformer original tenia una torre que llegia el text d'entrada i una altra que escrivia la sortida, pensat per a la traducció. Els models d'avui només en tenen una, la que escriu: són els models només descodificador (decoder-only) del capítol 11, perquè llegir la pregunta i escriure la resposta són la mateixa feina, continuar un text.
• La norma, abans i no després. La norma (normalization) és un pas que posa els números d'una paraula en una escala raonable, perquè no es facin ni massa grans ni massa petits. El 2017 es feia sobre el camí principal, després de sumar; ara es fa a la branca, abans de cada peça, que és com la vas veure al capítol 11. Sembla un detall de fontaneria, i és el que permet apilar vuitanta capes sense que l'entrenament s'esveri: el camí principal queda net, com una autopista sense semàfors.
• La posició, amb girs. El model ha de saber en quin ordre van les paraules. Ara se li diu fent girar els números de cada paraula un angle que depèn de la seva posició (RoPE). La gràcia és que el que compta és la diferència d'angles entre dues paraules, és a dir, la distància entre elles. Ho tornaràs a trobar al capítol 14.
• Peces una mica més simples o més afinades. La norma d'avui (RMSNorm) fa la mateixa feina que la de 2017 amb un càlcul menys. I la peça de càlcul porta una mena de comporta (SwiGLU) que decideix quant deixa passar de cada número; aprèn una mica millor amb els mateixos paràmetres, i és dels pocs retocs que busquen qualitat.
• Menys bits per número. Cada pes es guardava amb 32 bits; ara amb 16 o fins i tot 8. És com escriure els preus amb dos decimals en lloc de deu: ocupen la meitat i gairebé mai no importa.

2. Compartir les fotocòpies: GQA, MQA i MLA#

Quan un model escriu, ho fa paraula a paraula, i cada paraula nova ha de mirar totes les d'abans. Al capítol 11 vas veure com: cada paraula fa una pregunta (query), i cada paraula anterior ofereix una etiqueta que diu què té (key) i un contingut que lliura si la trien (value).

Calcular les keys i els values de les paraules anteriors cada vegada seria absurd: ja eren aquí la passada anterior. Així que el model en pren apunts i els guarda. A aquests apunts se'ls diu KV-cache, perquè són les K i les V guardades. El capítol 15 explica a fons per què són imprescindibles; aquí ens interessa una altra cosa: quant ocupen.

Recorda que l'atenció té diversos caps (heads), com diversos lectors que llegeixen el mateix text buscant coses diferents: un mira qui és el subjecte, un altre on som, un altre què s'ha dit fa poc. Al disseny de 2017 (multi-head attention, MHA), cada lector té la seva pròpia fotocòpia de les keys i els values. Amb 64 lectors, 64 fotocòpies de tot el text, a cada capa.

La idea que ha guanyat és evident un cop la veus: que els lectors comparteixin fotocòpies. Les preguntes continuen sent de cadascú, perquè cada lector busca una cosa diferent. El que es comparteix és el material on busquen.

• GQA (grouped-query attention): els lectors es fan en grups i cada grup comparteix una fotocòpia. Amb 32 lectors i 8 fotocòpies, els apunts ocupen una quarta part i la qualitat amb prou feines se'n ressent. És el que fan gairebé tots els models.
• MQA (multi-query attention): una fotocòpia per a tothom. Estalvia més i perd més qualitat.
• MLA (multi-head latent attention, de DeepSeek): en lloc de fotocòpies es guarda un resum comprimit, i cada lector en reconstrueix la seva versió quan la necessita. Ocupa encara menys que GQA i, segons els resultats que s'han publicat, la qualitat és igual o fins i tot una mica millor.

L'analogia té un límit que val la pena dir: en MHA no són fotocòpies idèntiques del mateix original, sinó que cada lector en té una versió feta a la seva mida. Compartir-les vol dir que tot un grup ha de buscar en una sola versió, i per això costa una mica de qualitat. Al camí matemàtic, en un model petit de només vuit lectors, aquest cost es nota més que en els models grans: compartir és més dur quan en tens pocs.

Per què importa tant? Perquè els apunts són per conversa. Els pesos del model, en canvi, són un sol joc que comparteixen totes les persones que hi parlen alhora.

Mou les converses. Amb una sola, els apunts de Llama 3 70B a 128.000 tokens fan 43 GB, menys d'un terç dels 141 GB de pesos. No és veritat que els apunts siguin sempre més grossos que el model. Però cada conversa nova n'afegeix 43 més, i amb dotze ja no caben a una màquina de 640 GB. I si el model fes servir una fotocòpia per lector, n'hi cabria una de sola. El que limita quantes persones pots atendre alhora no són els pesos, són els apunts. Per això aquestes variants d'atenció valen tant, encara que no millorin cap examen.

3. Els detalls que només importen quan el model és enorme#

Un edifici de tres plantes aguanta petites imperfeccions sense que ningú se n'adoni. En un gratacel de vuitanta, la mateixa imperfecció es va acumulant pis a pis fins que és un problema. Els models gegants entrenats durant mesos tenen aquesta mena de mals, que en un model petit no apareixen mai.

El més típic és un creixement que res no frena. Els senyals que fa servir l'atenció per decidir on mirar (les puntuacions que surten de comparar preguntes i etiquetes) es calculen a partir dels pesos, i si els pesos es van fent grans durant l'entrenament, els senyals també, sense cap sostre. Quan són massa grans, l'atenció ja no reparteix: ho dona tot a una sola paraula. I aquí ve el problema de debò: quan una paraula s'ho emporta tot, moure una mica els senyals ja no canvia res, i el model no rep cap pista de com millorar. Deixa d'aprendre, o fa un salt boig que l'espatlla.

Les solucions són, gairebé totes, maneres de posar sostre:

• QK-norm: normalitzar les preguntes i les etiquetes abans de comparar-les, de manera que el senyal que en surt no pugui passar d'un màxim, creixin com creixin els pesos.
• Soft-capping: un limitador suau, com el compressor d'un equip de so. Els senyals petits passen tal qual; els grans s'aplanen abans de tocar el sostre.
• z-loss: un petit càstig afegit a l'entrenament perquè els números de la sortida final no derivin cap a valors enormes. És un sostre en un altre lloc: QK-norm vigila l'atenció; la z-loss, la sortida. Per això els models grans en fan servir més d'una.
• Sense biaixos: les capes del 2017 sumaven una constant (un biaix, bias) a cada sortida. La norma del costat ja pot fer el mateix, així que no aporten res, i són un lloc per on els números poden anar derivant sense que res els vigili.
• Una inicialització més prudent a les capes que sumen al camí principal, perquè vuitanta sumes no facin créixer el senyal de sortida.

Una advertència honesta: el que es veu en un navegador és la causa, els senyals que creixen i l'atenció que se satura. L'explosió final, l'entrenament que acaba amb números que ja no caben a l'ordinador, passa amb vuitanta capes, números de 16 bits i setmanes de càlcul, i no es pot reproduir aquí.

Hi ha un últim detall, curiós. L'atenció està obligada a repartir totes les fitxes, encara que no hi hagi res interessant a mirar. Molts models aprenen per si sols a abocar-les en un lloc on no fan mal: el primer token.

4. Quina forma tenen els models#

Amb el mateix nombre de maons pots fer una torre alta i estreta o un bloc baix i ample. Un model té el mateix dilema: pots fer-lo amb moltes capes (profunditat) o amb llistes de números més llargues dins de cada capa (amplada).

La resposta de la indústria és que els paràmetres nous van sobretot a l'amplada. Les capes també augmenten, però doblar l'amplada multiplica per quatre les peces de cada capa, i doblar les capes només les duplica. I el motiu de preferir l'amplada és com treballen les màquines. Les capes s'han de fer l'una darrere l'altra, com els pisos d'un edifici en construcció: no pots posar el cinquè abans del quart. L'amplada, en canvi, es reparteix entre milers de calculadores que treballen alhora. Eixamplar és més fàcil d'accelerar que allargar.

Fixa't també en els caps: el model de 70.000 milions de paràmetres té 64 lectors però només 8 fotocòpies. És GQA, la figura de la secció 2, a la pràctica.

5. El panorama d'avui, amb data de caducitat#

Aquesta secció envelleix de pressa; les seccions d'abans, no. Amb aquest avís, el panorama del setembre de 2026 té uns quants trets clars:

• Els models de frontera es reparteixen entre empreses que no publiquen els pesos i models oberts molt competitius, que van entre sis mesos i un any per darrere segons què es mesuri.
• Els models més grans són gairebé tots d'experts (Mixture of Experts): centenars de milers de milions de paràmetres, dels quals cada paraula només en fa servir una petita part. És el tema del capítol 13.
• Els models nous aprenen text, imatge, àudio i vídeo des del principi, en lloc d'enganxar un mòdul de visió a un model de text.
• Gairebé tots tenen un mode de raonament: pots demanar-los que «pensin» més abans de respondre, a canvi de més temps i més cost.
• 128.000 tokens de context són el normal, i un milió és habitual en alguns. Però la quantitat que el model fa servir bé és molt més petita que la que hi cap, com veuràs al capítol 14.

Quan vegis una taula que compara models, desconfia per defecte. Mira'n la data. Mira si tots han tingut el mateix temps per pensar. Mira si l'examen ja és tan fàcil que tothom l'aprova, o si les preguntes podien estar a les dades d'entrenament. I sobretot, mira si hi ha marge d'error: una diferència d'un o dos punts en un examen de pocs centenars de preguntes pot ser pura sort.

6. Com llegir la fitxa d'un model#

Quan surt un model nou, sol venir amb una fitxa (model card) o un informe tècnic (technical report). Llegir-los bé és un ofici, i té un ordre: primer com és per dins, després amb què s'ha entrenat i com, i al final els resultats, que és la part més vistosa i la més fàcil de maquillar.

L'exemple de l'arquitectura és el més útil de tot el capítol. «671.000 milions totals i 37.000 milions actius» vol dir dues coses que van en direccions contràries: calcular cada paraula costa com un model de 37.000 milions, però guardar-lo costa com un de 671.000 milions, perquè no se sap quins especialistes (els experts) caldran fins que arriba la paraula. Barat de calcular i car de tenir. El capítol 13 ho explica sencer.

Què t'has d'endur#

• Un LLM d'avui és el Transformer de 2017 amb retocs; l'atenció, la peça de càlcul i el camí principal hi continuen.
• Gairebé tots els retocs serveixen per a l'estabilitat de l'entrenament o per a la memòria en l'ús, no per fer el model més llest.
• Els apunts de l'atenció (el KV-cache) són per conversa i creixen amb el text; els pesos es comparteixen. Per això compartir fotocòpies entre lectors (GQA, MLA) multiplica les persones que pots atendre.
• Els models gegants necessiten sostres perquè l'atenció no se saturi: quan una paraula s'ho emporta tot, el model deixa d'aprendre.
• Una comparativa sense data, sense les mateixes condicions o sense marge d'error no diu qui és millor.

Comprova que ho has entès#