06 · Xarxes neuronals i backpropagation

Idea central: una xarxa neuronal és una composició de funcions diferenciables amb paràmetres. L'única màgia és que, amb prou capes i dades, la composició troba representacions útils sense que ningú les dissenyi.

1. De la neurona a l'MLP#🧭 sense fórmules

Una neurona: $a = \sigma(\mathbf{w}^\top\mathbf{x}+b)$ — una projecció lineal seguida d'una no-linealitat.

Una capa: $\mathbf{h} = \sigma(\mathbf{W}\mathbf{x}+\mathbf{b})$ amb $\mathbf{W}\in\mathbb{R}^{m\times n}$.

Un MLP (perceptró multicapa) apila capes:

Teorema d'aproximació universal: una xarxa amb una capa oculta prou ampla pot aproximar qualsevol funció contínua sobre un compacte. És un resultat d'existència, no de practicitat: no diu res sobre quantes neurones calen (poden ser exponencials) ni si l'optimització les trobarà. La profunditat és eficient allà on l'amplada és exponencialment cara — per això fem deep learning.

2. Funcions d'activació#🧭 sense fórmules

Per què SwiGLU? És una gated linear unit: una branca produeix el senyal i l'altra una porta multiplicativa que decideix quant en passa. Empíricament millora la pèrdua a igualtat de paràmetres. Com que afegeix una tercera matriu, es compensa reduint la dimensió oculta a $\tfrac{2}{3}\cdot 4d$ (per això veus dimensions estranyes com 11008 per a $d=4096$). Noah Shazeer ho va resumir memorablement dient que la seva efectivitat s'explica per la providència divina — és a dir: funciona i no sabem ben bé per què.

3. Backpropagation derivat#🧭 sense fórmules

Considera una xarxa de dues capes amb pèrdua $L$:

Enrere:

Patró general: el gradient d'una matriu de pesos = (senyal d'error que arriba) × (activació d'entrada)ᵀ. Ho reconeixeràs a totes les derivacions del camp.

# Backprop a mà, sense frameworks (NumPy)
z1 = X @ W1 + b1;  a1 = np.maximum(0, z1)
z2 = a1 @ W2 + b2; p  = softmax(z2)
loss = -np.log(p[range(n), y]).mean()

d2 = (p - onehot) / n                 # (n, out)
dW2 = a1.T @ d2;  db2 = d2.sum(0)
d1 = (d2 @ W2.T) * (z1 > 0)           # derivada de ReLU
dW1 = X.T @ d1;   db1 = d1.sum(0)

Autodiferenciació

Els frameworks construeixen un graf computacional i recorren les operacions cap enrere aplicant les regles locals. Tres detalls que has de saber:

• detach() / stop_gradient talla el flux (ho usaràs en RLHF, destil·lació, EMA).
• Gradient checkpointing: no guardes activacions, les recalcules → ~30% més de temps, molta menys memòria.
• VJP (vector-Jacobian product): els frameworks mai materialitzen jacobians; calculen $\mathbf{J}^\top\mathbf{v}$ directament.

4. El problema dels gradients (i les tres solucions)#🧭 sense fórmules

En xarxes profundes, el gradient es multiplica per molts jacobians. Si els valors propis són <1, s'esvaeix; si són >1, explota.

Les tres invencions que van fer possible el deep learning profund:

1. Connexions residuals (He et al., 2015): $\mathbf{y}=\mathbf{x}+F(\mathbf{x})$. El gradient té una "autopista" ($\partial\mathbf{y}/\partial\mathbf{x} = \mathbf{I} + \partial F/\partial\mathbf{x}$) que arriba intacte a les capes inicials. Sense residuals no hi hauria Transformers de 100 capes.
2. Normalització (Batch/Layer/RMSNorm): manté les activacions en un rang estable.
3. Inicialització adequada + activacions no saturants.

A més: gradient clipping ($\mathbf{g}\leftarrow \mathbf{g}\cdot\min(1, c/\|\mathbf{g}\|)$) és pràctica estàndard en LLMs, típicament amb $c=1.0$.

5. Inicialització#🧭 sense fórmules

L'objectiu és mantenir la variància de les activacions i dels gradients constant al llarg de les capes.

• Xavier/Glorot (per a tanh/sigmoid): $\text{Var}(W)=\frac{2}{n_{in}+n_{out}}$.
• He/Kaiming (per a ReLU): $\text{Var}(W)=\frac{2}{n_{in}}$ — compensa que ReLU mata la meitat del senyal.
• En LLMs: normal amb $\sigma=0.02$ (herència de GPT-2) i sovint escalat de les capes de sortida dels blocs residuals per $1/\sqrt{2N_{capes}}$, perquè el flux residual no creixi sense control amb la profunditat.

6. Per què funciona el deep learning? (l'honesta)#🧭 sense fórmules

No tenim una teoria completa. El que sí que sabem:

• Representacions jeràrquiques: les capes inicials aprenen característiques generals, les finals específiques. Verificable en visió; més difús però real en llenguatge.
• Biaix implícit de SGD: entre totes les solucions que ajusten l'entrenament, SGD tendeix a trobar-ne de "simples" (norma baixa, marge gran), cosa que generalitza.
• Sobreparametrització ajuda: contra la intuïció clàssica, més paràmetres faciliten l'optimització (el paisatge es torna més benigne) i sovint milloren el test (double descent).
• La lottery ticket hypothesis: dins d'una xarxa gran hi ha subxarxes petites que, amb la seva inicialització original, entrenen igual de bé.

7. Comprova que ho has entès#

8. Recursos#