03 · Probabilitat i estadística

Idea central: un LLM és un model probabilístic $p_\theta(\text{token següent} \mid \text{context})$. Entrenar-lo és estimació de màxima versemblança. Avaluar-lo és inferència estadística. Si no domines aquest bloc, confondràs soroll amb progrés.

1. Fonaments#🧭 sense fórmules

Espai mostral $\Omega$, esdeveniments, probabilitat $P$ amb els axiomes de Kolmogorov. El que realment necessites:

Independència: $P(A,B)=P(A)P(B)$. Independència condicional: $P(A,B\mid C)=P(A\mid C)P(B\mid C)$ — la base dels models gràfics i de la factorització autoregressiva.

La regla de la cadena de la probabilitat (el cor d'un LLM)

2. Teorema de Bayes#🧭 sense fórmules

On apareix a l'IA moderna:

• Regularització L2 ≡ prior gaussià sobre els pesos (MAP).
• Model d'un LLM com a inferència bayesiana implícita sobre "quina distribució de text estic imitant?" — una de les explicacions teòriques de l'in-context learning.
• Calibratge i quantificació d'incertesa.
• logprobs d'un model es poden combinar amb un prior de tasca per a classificació.

3. Variables aleatòries i distribucions#🧭 sense fórmules

La distribució de Zipf del llenguatge (la freqüència de la $k$-èssima paraula més comuna $\propto 1/k$) explica per què la tokenització subparaula funciona, per què la cua llarga és tan cara i per què sempre hi ha coneixement rar que el model no ha vist prou.

Esperança, variància, covariància

Propietats que fas servir constantment:

• Linealitat: $\mathbb{E}[aX+bY]=a\mathbb{E}[X]+b\mathbb{E}[Y]$ (sempre, fins i tot amb dependència).
• $\text{Var}(aX)=a^2\text{Var}(X)$; si independents, $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)$.

Aplicació directa: per què l'atenció divideix per $\sqrt{d_k}$. Si $q_i, k_i \sim \mathcal{N}(0,1)$ independents, aleshores $\mathbf{q}^\top\mathbf{k}=\sum_i q_ik_i$ té variància $d_k$. Sense escalar, els logits creixen amb $\sqrt{d_k}$, la softmax se satura i els gradients s'esvaeixen. Dividir per $\sqrt{d_k}$ restaura variància 1. Aquest és l'únic misteri del "scaled" dot-product attention.

4. Teoremes límit#🧭 sense fórmules

• Llei dels grans nombres: la mitjana mostral convergeix a $\mu$.
• Teorema central del límit: $\bar{X}_n \approx \mathcal{N}(\mu, \sigma^2/n)$ per a $n$ gran. L'error estàndard cau com $1/\sqrt{n}$.

5. Estimació: MLE, MAP i bayesiana#🧭 sense fórmules

Màxima versemblança (MLE):

MAP afegeix un prior: $\arg\max_\theta \log p(D\mid\theta) + \log p(\theta)$. Un prior gaussià $\mathcal{N}(0,\sigma^2)$ dona exactament el terme de weight decay L2.

Bayesiana completa: integrar sobre tots els $\theta$. Inviable per a xarxes grans; s'aproxima amb ensembles, dropout en inferència (MC-dropout), o deep ensembles.

Propietats dels estimadors

• Biaix: $\mathbb{E}[\hat{\theta}]-\theta$. Variància: dispersió entre mostres. MSE = biaix² + variància.
• Aquest compromís reapareix arreu: models grans vs petits, regularització, mida del batch.

6. El compromís biaix–variància (i com el trenca el deep learning)#🧭 sense fórmules

Error esperat = biaix² + variància + soroll irreductible.

• Alt biaix (underfitting): el model és massa simple.
• Alta variància (overfitting): el model memoritza el soroll.

La corba clàssica en forma d'U (complexitat vs error de test) falla en el règim modern: apareix el double descent. Quan el model supera el punt d'interpolació (pot ajustar perfectament l'entrenament), l'error de test torna a baixar. Moltes xarxes profundes viuen en aquest règim sobreparametritzat. Els LLMs, en canvi, solen tenir menys paràmetres que tokens d'entrenament (un 70B en veu uns 15 bilions) i s'entrenen sovint amb menys d'una època sobre les dades: no veuen cap exemple prou vegades per memoritzar-lo, i per això "overfitting" en el sentit clàssic gairebé no és el problema principal al preentrenament (sí que ho és al fine-tuning amb poques dades).

7. Inferència estadística per avaluar models#🧭 sense fórmules

Aquesta secció és la que més t'estalviarà el ridícul professional.

Interval de confiança per a una proporció

Amb $n$ ítems i $\hat{p}$ encerts (Wilson és més fiable que la normal per a $n$ petit o $p$ extrem):

Comparar dos models

Com que els avalues sobre els mateixos ítems, usa un test aparellat (McNemar per a encerts binaris), que té molta més potència que comparar dues proporcions independents:

on $b$ = ítems que A encerta i B falla, $c$ = a l'inrevés.

Bootstrap (la navalla suïssa)

Quan la mètrica és complicada (BLEU, puntuació d'un jutge LLM, pass@k), remostreja:

import numpy as np
def bootstrap_ci(scores, n_boot=10_000, alpha=0.05):
    scores = np.asarray(scores)
    means = [np.mean(np.random.choice(scores, len(scores), replace=True))
             for _ in range(n_boot)]
    return np.percentile(means, [100*alpha/2, 100*(1-alpha/2)])

Múltiples comparacions

Si compares 20 variants de prompt amb $\alpha=0.05$, esperes 1 fals positiu per pur atzar. Corregeix (Bonferroni, Benjamini–Hochberg) o, millor, valida la millor variant en un conjunt held-out que no hagis tocat.

Variància del propi model

Amb temperature > 0 la sortida és estocàstica. Reporta mitjana i desviació sobre $k$ execucions, i fixa llavors quan calgui reproducibilitat. Compte: en GPU, ni amb temperature=0 tens determinisme bit a bit garantit (ordre de reducció, batching dinàmic).

8. Mostreig#🧭 sense fórmules

• Mostreig de la categòrica: és el que fa un LLM a cada pas. Vegeu temperatura/top-p al fitxer 15.
• Gumbel-max trick: $\arg\max_i (\log p_i + g_i)$ amb $g_i\sim\text{Gumbel}(0,1)$ mostreja exactament de $\mathbf{p}$ — útil per a versions diferenciables (Gumbel-softmax) en routers de MoE i models discrets.
• Importance sampling: reponderar mostres d'una distribució per estimar esperances d'una altra. És exactament el que fa la ràtio $\pi_\theta/\pi_{old}$ de PPO/GRPO.
• MCMC: menys central en LLMs, però clau per entendre models basats en energia i difusió.

9. Comprova que ho has entès#

10. Recursos#