11 · L'arquitectura Transformer

$\mathbf{E}[\text{ids}]$ se sol escriure com un producte de matrius perquè encaixi amb la resta de la notació, però ningú no el calcula així: multiplicar un vector de 29 components per una matriu de 29×24 costa 696 multiplicacions per tornar el mateix que una lectura d'índex. Aquí s'han fet les dues coses i s'han comparat amb Object.is, que no perdona ni un bit:

24 de 24 components són el mateix número exacte, i la diferència més gran és 0. No és que s’hi assembli: és el mateix valor en coma flotant, perquè la suma té un sol terme no nul.

$\mathbf{W}_O$ multiplica una concatenació, i un producte per una concatenació es parteix en blocs: $[\text{head}_1;\dots;\text{head}_H]\,\mathbf{W}_O = \sum_h \text{head}_h\,\mathbf{W}_O^{(h)}$, on $\mathbf{W}_O^{(h)}$ són les $d_h$ files de $\mathbf{W}_O$ que corresponen a aquell cap. No és una aproximació ni una manera de parlar: és una identitat algebraica, i aquí està calculada per tots dos costats.

La pitjor component de la diferència és 2,22·10⁻¹⁶. Que sigui zero és el que dona sentit a frases com «aquest és un induction head»: si la sortida fos una barreja no separable, la frase no tindria referent. Amb $H = 1$ la taula té una sola fila i la descomposició no diu res — és el cas on no es pot atribuir res a ningú.

Les quatre matrius de l'atenció són $d\times d$ passi el que passi: $\mathbf{W}_Q$, $\mathbf{W}_K$ i $\mathbf{W}_V$ projecten a $H\cdot d_h = d$ dimensions en total, i $\mathbf{W}_O$ en torna. Els caps només diuen com es talla aquell $d$ en trossos a l'hora de fer els productes escalars.

L'última columna és la que diu més: amb la mateixa llavor, la norma del vector de paràmetres és la mateixa a nou xifres per a tots els valors d'H, perquè és literalment el mateix vector. Canviar H no reinicialitza res ni afegeix res: només canvia per on es parteixen les columnes quan es fan els productes escalars. El que el model hi guanya no és capacitat, és poder atendre a diverses coses alhora — amb un sol cap, la softmax obliga a triar un únic patró per token.

El fitxer 03 ho va mesurar amb vectors gaussians solts. Aquí els logits surten de projectar els vectors de token per $\mathbf{W}_Q$ i $\mathbf{W}_K$, que és el que passa a dins d'un Transformer, i la predicció no canvia: si les components de $\mathbf{q}$ i $\mathbf{k}$ tenen variància 1, el producte escalar de $d_k$ termes independents té variància $d_k$. La desviació creix com $\sqrt{d_k}$, i per això es divideix per $\sqrt{d_k}$ i no per $d_k$.

L'última columna és la que importa: surt 1 sigui quina sigui l'amplada del cap. Sense l'escalat, passar de $d_k = 2$ a $d_k = 128$ multiplicaria la desviació dels logits per vuit, i la softmax d'un model ample arrencaria saturada.

El context és $\sum_j \alpha_{ij}\mathbf{v}_j$, una mitjana ponderada. Els pesos surten de productes escalars entre vectors de token, i els vectors de token no porten cap marca d'on eren: si es permuten les paraules del prefix, es permuten els sumands i la suma no es mou. Aquí s'ha permutat «el gos mossega l’home» i s'han comparat els logits de l'última posició.

Sense RoPE, la pitjor diferència és 2,22·10⁻¹⁶, que és l'arrodoniment de fp64 sobre una suma feta en un altre ordre: zero, vaja. Amb RoPE és 0,319. El model sense posicions no és que ho faci malament: és que no pot distingir les dues frases, perquè li arriben com el mateix conjunt de vectors.

Dos matisos que val la pena tenir presents. El primer: la màscara causal ja trenca part de la simetria, perquè cada posició veu un prefix diferent — el zero exacte és el de l'última posició, que les veu totes. El segon: per això el model d'aquesta mesura té una sola capa. Amb dues, les posicions intermèdies han vist prefixos diferents i el que arriba a l'última ja no és el mateix conjunt de vectors; la invariància deixa de ser exacta encara que el model continuï sense saber res de posicions.

Es prenen una query i una key, es col·loquen a totes les parelles de posicions de 0 a 24 —625 parelles— i s'agrupen els productes escalars per $m-n$. Si la promesa és certa, dins de cada grup tots els valors han de ser el mateix número.

La pitjor dispersió dels 49 grups és 1,33·10⁻¹⁵, i el canvi de norma més gran de tota la taula és 4,44·10⁻¹⁶. Això és el que vol dir «posicionament relatiu amb una operació absoluta»: cada vector es rota pel seu compte, sense saber res dels altres, i el producte escalar que en surt només sap la distància. I com que una rotació és ortogonal, no altera les normes — de manera que RoPE no toca ni l'escala dels logits ni el $\sqrt{d_k}$ que els calibra.

Són dos càlculs diferents: el primer fa un sol forward sobre les 11 posicions i fa la mitjana de les seves entropies creuades; el segon fa 11 forwards, un per cada prefix, i es queda la pèrdua de l'última posició de cadascun. Han de coincidir, i el motiu és la màscara causal: la posició $i$ del forward sencer ha vist exactament els mateixos tokens que veuria el forward del prefix fins a $i$, ni un més.

La pitjor diferència posició a posició és 0: zero exacte, perquè els dos càlculs fan literalment les mateixes operacions en el mateix ordre. Si la màscara causal no hi fos, aquesta columna no seria zero: la posició $i$ del forward sencer hauria vist el futur i prediria millor que el forward del prefix.

El model de la secció 7 no és una maqueta: té un vector de paràmetres, i es pot mesurar quant fa. Aquí es compara la seva longitud real amb el desglossament peça a peça i amb la regla del text.

El recompte real i el desglossament coincideixen exactament: 0 de diferència. Amb la regla en falten 2.112, i se sap d'on surten: la regla ignora les $\gamma$ de les normes (9 vectors de 64), suposa $d_{ff} = 8d/3$ exacta quan el model l'arrodoneix a un múltiple de vuit, i compta els embeddings una sola vegada quan aquest model té la capa de sortida separada. A aquesta escala això és un 1 %; a escala de Llama, on el terme $12nd^2$ domina de llarg, baixa per sota del mig per cent. Mou els controls fins a Llama 3 8B i mira l'«error de la regla» del readout.

$C \approx 6ND = 6 \times 7\cdot10^{10} \times 1{,}5\cdot10^{13}$ = 6,30·10²⁴ FLOPs. Amb 16.000 H100 a 400 TFLOP/s efectius, la màquina sencera fa $1{,}6\cdot10^{4}\times4\cdot10^{14} = 6{,}4\cdot10^{18}$ FLOP/s, de manera que hi caldrien 984.375,00 segons = 11,4 dies. El text diu «~11 dies», i quadra amb les xifres publicades.

El 6 no és arbitrari: són 2 FLOPs per paràmetre i token al forward —una multiplicació i una suma— i 4 més al backward, que calcula dos gradients per capa, el dels pesos i el de l'entrada. La regla no mira l'arquitectura: serveix igual per a un MoE si $N$ són els paràmetres actius, que és el que el fitxer 13 explota.

Amb la configuració que tens ara: 65,48 G paràmetres i 15,0 T tokens són 5,89·10²⁴ FLOPs, que amb 16.000 GPUs a 400 TFLOP/s són 10,7 dies. Aquestes dues fórmules et deixen estimar el cost de qualsevol entrenament en un sobre, i és exactament el que es fa abans de demanar el pressupost.