04 · Teoria de la informació

Idea central: entrenar un LLM és entrenar un compressor. La funció de pèrdua és literalment "quants bits necessites per codificar el token següent". Entendre entropia, KL i entropia creuada et dona el vocabulari amb què estan escrits tots els papers del camp.

1. Informació i entropia#🧭 sense fórmules

La informació pròpia (sorpresa) d'un esdeveniment:

Amb $\log_2$ la unitat és el bit; amb $\ln$, el nat (el que usen les llibreries de deep learning).

L'entropia és la sorpresa mitjana:

• Màxima per a la uniforme: $H = \log V$.
• Zero per a una distribució determinista.
• Teorema de Shannon: $H(X)$ és el nombre mitjà mínim de bits per codificar mostres de $X$. No es pot comprimir més sense pèrdua.

2. Entropia creuada: la funció de pèrdua de tots els LLMs#🧭 sense fórmules

Per a entrenament d'LLM, $p$ és el one-hot del token real i $q=p_\theta$, de manera que

Això és tot. Una pèrdua de 2,0 nats vol dir que el model necessita ≈2,89 bits per token; equival a triar "a cegues" entre $e^{2.0}\approx 7.4$ opcions igualment probables.

3. Divergència KL#🧭 sense fórmules

Propietats i conseqüències:

• És zero si i només si $p=q$; sempre no negativa (desigualtat de Gibbs).
• No és simètrica ni és una distància. $D_{KL}(p\|q)\neq D_{KL}(q\|p)$.
  • Forward KL $D_{KL}(p\|q)$: mode-covering. Penalitza posar $q\approx0$ on $p>0$ → el model "escampa" massa (això és MLE).
  • Reverse KL $D_{KL}(q\|p)$: mode-seeking. El model es concentra en un mode → sortides més nítides però menys diverses. Això explica part de la pèrdua de diversitat després de RLHF.
• Jensen–Shannon és la versió simetritzada i acotada (la funció objectiu original de les GAN).

On la trobaràs:

• Terme de penalització en PPO/RLHF per no allunyar-se del model de referència.
• La solució en forma tancada del problema RLHF amb restricció KL és el que dona lloc a DPO.
• Objectiu de destil·lació de coneixement (estudiant imita professor).
• Terme de regularització del VAE (ELBO).

4. Perplexity#🧭 sense fórmules

1. No és comparable entre tokenitzadors diferents. Un model amb vocabulari de 32k i un de 256k no es poden comparar per PPL. Per comparar entre tokenitzadors, usa bits per byte (BPB): $\text{BPB} = \frac{L_{\text{nats}} \cdot N_{\text{tokens}}}{\ln 2 \cdot N_{\text{bytes}}}$.
2. No és comparable entre corpus. PPL sobre Wikipedia ≠ PPL sobre codi.
3. Correlaciona amb capacitat, però no la determina. Dos models amb la mateixa PPL poden diferir molt en raonament o seguiment d'instruccions, sobretot després del postentrenament (que sovint empitjora la PPL i millora la utilitat).

5. Informació mútua#🧭 sense fórmules

Quant redueix la incertesa sobre $X$ el fet de conèixer $Y$. Zero si són independents.

Apareix a: aprenentatge contrastiu (InfoNCE, la pèrdua de CLIP, és una fita inferior de la informació mútua), selecció de característiques, i anàlisi de què codifiquen les representacions internes (information bottleneck).

6. Compressió = intel·ligència?#🧭 sense fórmules

Hi ha una relació matemàtica exacta entre modelatge de llenguatge i compressió sense pèrdua: amb codificació aritmètica, un model que assigna log-probabilitat $\log_2 p(x)$ a una seqüència la pot codificar en $-\log_2 p(x)$ bits. Un LLM és un compressor sense pèrdua d'última generació — s'ha demostrat empíricament que models de llenguatge grans comprimeixen text (i fins i tot imatges i àudio) millor que compressors especialitzats com PNG o FLAC. Amb una condició: el compte inclou només els bits del missatge, no la mida del model, i el receptor necessita exactament el mateix model per descodificar-lo. Si s'hi suma el que pesa el model, cap LLM no guanya un compressor clàssic fins que el text a comprimir és molt més gran que el model.

D'aquí surten arguments (Solomonoff, Hutter, i el premi Hutter) que comprimir bé requereix entendre: per predir el token següent d'un teorema matemàtic cal, en el límit, fer la matemàtica. Aquest és el fonament teòric de "predir el token següent és suficient per a la intel·ligència general", una afirmació que continua sent discutida: els escèptics assenyalen que la compressió del corpus humà no garanteix ni generalització fora de distribució ni agència ni model del món causal.

7. Entropia i mostreig#🧭 sense fórmules

L'entropia de la distribució de sortida a cada pas és un senyal molt útil:

• Entropia alta → el model dubta → bona candidata per aturar-se, demanar eines o fer self-consistency.
• Entropia baixa però resposta incorrecta → el model està confiadament equivocat (símptoma de mala calibració, freqüent després de RLHF).
• Tècniques com min-p sampling o entropy-based sampling fan servir aquest senyal per adaptar el mostreig dinàmicament.

Calibratge: un model està ben calibrat si, de les prediccions amb confiança 0,8, n'encerta el 80%. Els models base preentrenats solen estar sorprenentment ben calibrats; el postentrenament (RLHF) sovint els descalibra cap a un excés de confiança.

8. Comprova que ho has entès#

9. Recursos#