02 · Càlcul i optimització

Idea central: entrenar un model = minimitzar una funció escalar (la pèrdua) movent-se en direcció contrària al gradient. Backpropagation no és més que la regla de la cadena aplicada eficientment.

1. Derivades i gradients#🧭 sense fórmules

Per a $f:\mathbb{R}\to\mathbb{R}$, la derivada $f'(x)$ és la taxa de canvi instantània. Per a $f:\mathbb{R}^d\to\mathbb{R}$ (una pèrdua!), el gradient és el vector de derivades parcials:

Jacobià i hessià

• Jacobià ($f:\mathbb{R}^n\to\mathbb{R}^m$): matriu $m\times n$ amb $J_{ij} = \partial f_i/\partial x_j$. Cada capa d'una xarxa té el seu jacobià.
• Hessià ($f:\mathbb{R}^d\to\mathbb{R}$): matriu $d\times d$ de segones derivades, $H_{ij} = \partial^2 f/\partial x_i \partial x_j$. Descriu la curvatura.

Per a un LLM amb $10^{11}$ paràmetres, l'hessià tindria $10^{22}$ entrades: inviable. Per això l'optimització de segon ordre pura no s'usa i s'aproxima amb mètodes diagonals (Adam) o de baix rang (Shampoo, Muon, K-FAC).

2. La regla de la cadena = backpropagation#🧭 sense fórmules

Per a funcions compostes $z = f(g(x))$:

Conseqüència pràctica: backprop costa ~2× el forward pass en FLOPs i necessita guardar les activacions intermèdies → la memòria és el coll d'ampolla. D'aquí surten gradient checkpointing i les tècniques del fitxer 17.

Derivades que has de saber de memòria

Softmax + cross-entropy (la combinació que entrena tots els LLMs) té un gradient meravellosament simple:

on $\mathbf{z}$ són els logits, $\mathbf{p} = \text{softmax}(\mathbf{z})$ i $\mathbf{y}$ és el one-hot de la resposta correcta. Prediu, resta la veritat, propaga. Aquesta elegància és una de les raons per les quals aquesta parella és universal.

3. Descens de gradient#🧭 sense fórmules

El learning rate $\eta$ és l'hiperparàmetre més important que existeix:

• massa gran → divergència o oscil·lació (pèrdua a NaN),
• massa petit → convergència lenta i risc de quedar-se en regions dolentes.

Schedules

La recepta moderna quasi universal:

1. Warmup lineal durant els primers ~0,5–2% de passos (evita que Adam, amb estimacions de moment encara pobres, faci salts destructius).
2. Cosine decay (o WSD: warmup–stable–decay, cada cop més comú perquè permet aturar-se en qualsevol moment) fins a ~10% del LR màxim.

def lr_at(step, warmup, total, peak, floor_ratio=0.1):
    if step < warmup:
        return peak * step / warmup
    prog = (step - warmup) / (total - warmup)
    cos = 0.5 * (1 + math.cos(math.pi * prog))
    return peak * (floor_ratio + (1 - floor_ratio) * cos)

def lr_at(step, warmup=1000, total=100000, peak=3.0e-4, floor_ratio=0.10):
    if step < warmup:
        return peak * step / warmup
    prog = (step - warmup) / (total - warmup)
    cos = 0.5 * (1 + math.cos(math.pi * prog))
    return peak * (floor_ratio + (1 - floor_ratio) * cos)

4. El paisatge de pèrdua#🧭 sense fórmules

• Convexitat: si $L$ és convexa, tot mínim local és global. La regressió logística ho és; una xarxa neuronal no.
• La bona notícia: en alta dimensió, els mínims locals dolents són rars. El que abunda són punts de sella (gradient zero però curvatura mixta), i el soroll de SGD ajuda a escapar-ne.
• Mínims plans vs aguts: hi ha evidència que els mínims "plans" (curvatura baixa) generalitzen millor. Batch petit i LR alt tendeixen a trobar-ne; algunes tècniques (SAM) ho busquen explícitament.

Condicionament

Si l'hessià té valors propis molt dispars ($\kappa = \lambda_{max}/\lambda_{min}$ gran), el descens de gradient zigzagueja. Solucions:

• Momentum: acumula velocitat, esmorteeix les oscil·lacions.
• Normalització (LayerNorm/RMSNorm): millora el condicionament del problema.
• Mètodes adaptatius (Adam): escala cada coordenada per la seva pròpia variància històrica.

5. Momentum, Adam i companyia#🧭 sense fórmules

Momentum (Polyak): $\mathbf{v}_t = \beta \mathbf{v}_{t-1} + \nabla L, \qquad \boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta\mathbf{v}_t$

Adam combina momentum (primer moment) amb escalat adaptatiu (segon moment):

AdamW desacobla el weight decay de l'actualització adaptativa ($\theta \leftarrow \theta - \eta\lambda\theta$ per separat) — és l'estàndard de facto per entrenar LLMs. Valors típics: $\beta_1=0.9$, $\beta_2=0.95$ (més baix que el 0.999 clàssic, per estabilitat a escala), $\epsilon=10^{-8}$, $\lambda=0.1$.

Cost de memòria: Adam guarda 2 estats per paràmetre. Per a un model de 7B en fp32 amb estats fp32: 7B×4 (pesos) + 7B×4 (grad) + 7B×8 (estats) = 112 GB només per als pesos, els gradients i l'optimitzador, sense comptar les activacions. D'aquí ZeRO, 8-bit optimizers i LoRA.

Novetats: optimitzadors basats en ortogonalització de l'actualització per matrius (Muon, i la família Shampoo/SOAP) han demostrat guanys reals d'eficiència de dades en preentrenament i comencen a aparèixer en models de frontera. La idea: tractar els gradients de matrius com a matrius, no com a vectors aplanats.

6. Multiplicadors de Lagrange i optimització amb restriccions (breu)#🧭 sense fórmules

Quan minimitzes $f(\mathbf{x})$ subjecte a $g(\mathbf{x})=0$, cerques punts on $\nabla f = \lambda\nabla g$. Ho trobaràs a:

• la derivació de la softmax com a distribució de màxima entropia amb restriccions,
• PPO i el seu terme KL (versió "penalitzada" d'una restricció de confiança),
• DPO, que resol en forma tancada un problema de RLHF amb restricció KL.

7. Errors comuns i diagnòstic#🧭 sense fórmules

Regla d'or del debugging: si el teu model no pot memoritzar (overfit) 8 exemples fins a pèrdua ~0, tens un bug, no un problema d'aprenentatge.

8. Comprova que ho has entès#

9. Recursos#