09 · RNN, LSTM, seq2seq i el naixement de l'atenció

El text diu que el gradient a través de $T$ passos conté $\prod_t \mathbf{W}_{hh}^\top\,\text{diag}(\tanh')$. Són dos factors, i tots dos es poden calcular a part del gradient: el radi espectral de $\mathbf{W}_{hh}$ —el mòdul del valor propi més gran, calculat amb la fórmula de Gelfand sobre la matriu sola— i la derivada mitjana de la tanh al llarg de la seqüència. El seu producte s'ha de veure al pendent de la recta de dalt.

El previst és una fita superior i no una igualtat: el radi espectral governa el creixement asimptòtic, i amb deu dimensions i quaranta passos el vector del gradient encara no s'ha alineat del tot amb la direcció dominant. Per això el mesurat hi queda una mica per sota. El que sí que és exacte és la conclusió: puja l'escala de W_hh fins que el radi passi d'1 i el pendent canvia de signe.

I per què no explota sempre que el radi passa d'1? Perquè hi ha el segon factor. Posa l'escala de W_hh a 2 i deixa l'escala de l'entrada a 1: el radi és 0,76 però la tanh satura, la seva derivada cau i el gradient s'esvaeix igualment. Baixa ara l'escala de l'entrada a 0,05 sense tocar res més i el mateix model explota. Cap dels dos factors sol no explica res.

Les dues xarxes tenen la mateixa amplada, la mateixa llavor i veuen exactament la mateixa seqüència. L'única diferència és per on torna el gradient: a la RNN, per $\mathbf{h}_t = \tanh(\mathbf{W}_{hh}\mathbf{h}_{t-1}+\dots)$, que el multiplica per una matriu i per una derivada a cada pas; a l'LSTM, per $\mathbf{c}_t = \mathbf{f}_t\odot\mathbf{c}_{t-1}+\dots$, que el multiplica per $\mathbf{f}_t$ i prou.

El factor mesurat per pas surt una mica per sota de $f$ i no just igual, i el motiu és honest: a cada pas, a part del que arriba de $\mathbf{c}_{t+1}$, hi entra també el que ve per $\mathbf{h}_t = \mathbf{o}_t\odot\tanh(\mathbf{c}_t)$. La multiplicació neta per $f$ és la del camí recurrent de la cel·la; la mesura de dalt recull tot el gradient. Baixa f a 0,9 i el factor s'hi acosta; posa-la a 1 i queda essencialment a 1.

És la mateixa idea que una connexió residual, descoberta divuit anys abans. Al fitxer 06, la comprovació de les connexions residuals mesurava que la resposta d'un bloc conté $\mathbf{v}$ intacta perquè $\partial y/\partial x = \mathbf{I} + \partial F/\partial x$. Aquí la $\mathbf{I}$ és $\mathbf{f}\approx 1$: l'única diferència és que l'LSTM la pot tancar quan li convé oblidar.

Hi ha $V^L$ frases possibles i el vector només té $2^{d\cdot q}$ valors diferents. Si n'hi ha menys que frases, pel principi del calaix dues frases han de compartir codi, i cap descodificador —per bo que sigui— no les pot distingir. La fracció màxima reconstruïble és exactament $2^{d q}/V^L = 2^{\,dq - L\log_2 V}$. No és una regla empírica: és aritmètica, i no depèn de si l'encoder és una LSTM, un Transformer o el que sigui.

Ara mateix no hi cap: falten 8,0 bits, i per això ni el millor codi imaginable no arriba al 0,39 %. Cap arquitectura no hi pot fer res; l'única sortida és no obligar-se a passar per un vector sol, que és exactament el que fa l'atenció.

Dues afirmacions que es poden comprovar amb números i no amb paraules. La primera: cada fila de $\alpha$ suma exactament 1 i no té cap valor negatiu, perquè surt d'una softmax. La segona, que es dedueix de la primera: $\mathbf{c}_t = \sum_j \alpha_{tj}\mathbf{h}_j$ no pot sortir de l'envolupant convexa dels $\mathbf{h}_j$: cap component del context pot ser més gran que el màxim d'aquella component entre els estats, ni més petita que el mínim.

El context més allunyat de l'envolupant dels estats de l'encoder se'n surt per 0,0, que és zero exacte i no un zero aproximat: no hi ha cap manera que una mitjana ponderada amb pesos positius que sumen 1 caigui fora. Baixa la temperatura fins a 0,05 i mira què passa a l'abast efectiu: la columna cau a 1 i el context passa a ser una còpia d'un sol estat de l'encoder. Puja-la a 4 i tendeix a 7: el context es torna la mitjana de tota la frase, que és exactament el coll d'ampolla que l'atenció venia a resoldre.

El cost per capa del Transformer té dos termes: les quatre projeccions, que valen $8Ld^2$, i l'atenció, que val $4L^2d$. Es creuen quan $4L^2 d = 8Ld^2$, és a dir a $L = 2d$, i aquesta és la frontera que decideix si el context llarg et surt car. Es pot resoldre amb un llapis; el widget el mesura a part, buscant a l'escombrat on les dues corbes de components es creuen de debò.

I el creuament de cost total, on és? Enlloc: resolent $4Ld^2 = 8Ld^2 + 4L^2d$ surt $L = -d$, que no existeix. Per capa, el Transformer sempre costa més que la RNN, i amb L = 2.048 i d = 1.024 en costa 4,00 vegades més. El bescanvi no és de FLOPs: és que aquests FLOPs es poden fer tots alhora, i els de la RNN han d'anar en fila índia. En una GPU amb desenes de milers de nuclis, fer tres vegades més feina en paral·lel guanya de llarg a fer-ne una tercera part en sèrie.

L'última fila del readout és la que el text diu que importa el 2026: en inferència, la RNN manté 131,1kB passi el que passi, i el Transformer arriba a 268,4MB amb aquest context, perquè la KV-cache creix amb cada token generat. Puja L a 131.072 i mira aquella xifra. És per aquesta porta que tornen els models d'espai d'estats.

Les tres operacions tenen la mateixa forma: $\sigma(a)\odot b$. Canvia què s'hi endolla.

L'LSTM i el MoE donen zero exacte: no és «prou a prop», són els mateixos bits de coma flotant, perquè un cop igualats els paràmetres són literalment la mateixa expressió. SwiGLU se'n separa per 1,11·10⁻¹⁶, que és l'arrodoniment de fp64: per arribar a σ(a)·b hi passa per una divisió i una multiplicació de més, i cadascuna arrodoneix. Aquella xifra és de l'ordre de 10⁻¹⁶, i no de l'ordre de la diferència entre dues operacions diferents.

I on deixen de ser la mateixa cosa? No a la porta: al voltant. Amb el top-k a 2 de 16, el router apaga el 88 % dels canals i la diferència salta a 0,804. Aquesta és tota la diferència entre una porta i un router: la porta modula, el router tria, i el que no tria no es calcula. És d'aquí que surt tot l'estalvi d'un MoE. SwiGLU, per la seva banda, lliga l'argument de la sigmoide amb la branca de senyal —les dues surten de la mateixa $x$— mentre que l'LSTM les té independents.