Bloc 5avançat3 h

Abans d'això: Postentrenament: SFT, RLHF i DPO

19 · RL i models de raonament

El canvi de paradigma de 2024-2026: durant cinc anys, millorar un model volia dir fer-lo més gran i entrenar-lo amb més dades. Ara hi ha un segon eix: deixar-lo pensar més estona en el moment de respondre, i entrenar-lo amb RL perquè aquest pensament sigui productiu.

1. Chain-of-Thought: el precursor# sense fórmules

Wei et al. (2022) van observar que demanar "pensa pas a pas" millora dramàticament el rendiment en problemes de raonament.

Variants clàssiques: zero-shot CoT ("let's think step by step"), few-shot CoT, self-consistency (mostreja $k$ cadenes i vota la resposta majoritària — guany robust i barat), Tree of Thoughts, descomposició en subpreguntes.

La limitació: amb CoT via prompting, el model no està entrenat per pensar bé. Divaga, comet errors i no els detecta, i no sap quan parar.

La cadena de pensament com a memòria de treball

Dos models iguals, els mateixos passos: un respon la suma de cop i l'altre escriu les columnes abans. On es nota la diferència? I què guanya votant entre moltes cadenes?

Un pas de cada model per iteració; els punts de control a 500, 1.000 i 1.500 passos queden per als altres widgets.

amb raonament
resposta directa

Self-consistency: 100 sumes, fins a 15 cadenes cadascuna

pluralitat, mesurada
majoria absoluta, mesurada
binomial a la p mitjana

Model per a la self-consistency (passos d'SFT)

Cadenes per pregunta, k9

raonat, 500 passos: —
directe, 500 passos: —
raonat, 1.500 passos: —
directe, 1.500 passos: —
vot de pluralitat, k = 9: —

Entrena els dos models per veure les corbes

1.500 passos d'SFT de cada model, lots de 16 sumes, i l'encert sobre 200 sumes que no han vist cada 250 passos. Els models queden per als altres widgets de la pàgina.

Un exemple de la tasca: «^74+46=» → directe «120.», raonat «10,12:120.». El model és un mini-GPT de 16 dimensions i 2 capes; cada cadena de la self-consistency es mostreja a temperatura 1 amb la seva llavor.

2. RLVR: RL amb recompenses verificables# sense fórmules

La idea que ho va canviar tot: en dominis on la resposta es pot verificar automàticament (matemàtiques amb solució numèrica, codi amb tests, demostracions formals, tasques amb comprovador), no cal un model de recompensa après — la recompensa és la correcció mateixa.

r(x, y) = \begin{cases} 1 & \text{si la resposta final és correcta} \\ 0 & \text{altrament}\end{cases}

Per què és tan potent: una recompensa basada en regles és molt més difícil de hackejar que un model de recompensa neuronal. No és impossible: un verificador feble (unes proves que no cobreixen tots els casos, un extractor de respostes massa permissiu) també es pot enganyar, i el model ho trobarà. Pots escalar l'RL molt més agressivament sense que la política col·lapsi en text degenerat.

El resultat sorprenent de DeepSeek-R1 (2025): aplicant RL pur sobre un model base, sense cap SFT previ de traces de raonament, emergeixen espontàniament comportaments com verificar-se a si mateix, tornar enrere quan una via no funciona, dedicar més tokens als problemes difícils i reconsiderar assumpcions ("moments eureka" visibles a les traces). Ningú no li va ensenyar explícitament a fer això: és el que optimitza la recompensa de correcció. El model va aprendre per si sol que pensar més estona en els problemes durs paga.

La recompensa que no es pot hackejar

Si optimitzes una recompensa que és la correcció mateixa, la recompensa i l'encert són el mateix número. I si n'optimitzes una d'apresa que se li assembla molt?

El mateix entrenament que el widget de la cadena de pensament; quan arribi als 500 passos, aquest widget ja pot començar.

verificable: recompensa i encert (el mateix)
apresa: la recompensa
apresa: l’encert de debò

verificable: recompensa = encert: —
apresa: la que s’optimitza: —
apresa: l’encert de debò: —
errònies que no distingeix de les bones: —

Cal la política: el model raonat de 500 passos

La fa el widget de la cadena de pensament, al principi de la pàgina: 1.500 passos, que també es poden engegar des d’aquí.

3. GRPO i la família d'algorismes# sense fórmules

PPO necessita un model crític (value network) de mida comparable a la política: car i una font d'inestabilitat.

GRPO (Group Relative Policy Optimization) l'elimina. Per a cada pregunta, mostreja un grup de $G$ respostes i usa la seva pròpia estadística com a línia base:

A_i = \frac{r_i - \text{mean}(\mathbf{r})}{\text{std}(\mathbf{r})}

\mathcal{J}(\theta)=\mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\min\left(\rho_i A_i,\;\text{clip}(\rho_i, 1\pm\epsilon)A_i\right)\right] - \beta D_{KL}(\pi_\theta\|\pi_{ref}), \qquad \rho_i=\frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)}

Variants i millores posteriors: DAPO i Dr. GRPO (correccions de biaixos de longitud i de normalització), GSPO (raons d'importància a nivell de seqüència en lloc de token, més estable per a MoE), i versions asíncrones per a entrenament a gran escala. L'espai d'algorismes es mou molt ràpid; el que és estable és la idea: mostrejar grups, comparar dins del grup, actualitzar amb clipping.

Detalls que decideixen l'èxit:

Recompensa de format a més de la de correcció (obligar a posar el raonament entre etiquetes i la resposta en un format extraïble).
Filtrar problemes massa fàcils o massa difícils: si totes les mostres del grup encerten o fallen, l'avantatge és zero i no hi ha senyal. El currículum de dificultat és crític.
Control de longitud: sense ell, el model descobreix que allargar-se augmenta la probabilitat d'encertar i les traces creixen sense límit.
Temperatura i diversitat del mostreig: si el grup no és divers, no hi ha res a comparar.

GRPO

Com substitueix un grup de respostes a la mateixa pregunta el crític de PPO? I quan no hi ha res a aprendre d'un grup?

Un grup de 8 respostes amb p = 30 %

0 · -1,000 · -1,001 · +1,001 · +1,001 · +1,000 · -1,001 · +1,000 · -1,00

Recompensa · avantatge. Verd: es reforça; vermell: es penalitza; gris: el grup no té senyal.

L'objectiu retallat contra la ràtio ρ

A = +1: pla per sobre d’1+ε
A = −1: pla per sota d’1−ε

Cal la política de 500 passos: és el mateix entrenament que el del widget de la cadena de pensament.

G = 4 (16 preguntes)
G = 8 (8 preguntes)
G = 16 (4 preguntes)
G = 8, amb filtre

Encert per resposta, p30 %

Mida del grup, G8

Clipping, ε0,20

Llavor

La mateixa llavor dona sempre el mateix resultat.

suma dels avantatges: 0
sense senyal: pᴳ + (1−p)ᴳ: 5,8 %
mesurat, 20.000 grups: 5,6 %
G mínima per baixar del 10 %: 7

Amb p = 30 % i G = 8, la fracció de grups sense senyal és 5,77 %, i en 20.000 grups simulats en surt el 5,55 %

Un grup no té senyal quan totes les respostes encerten o totes fallen: la desviació és zero, tots els avantatges són zero i el gradient també. Amb respostes independents, això passa amb probabilitat pᴳ + (1−p)ᴳ, i la simulació hi queda a 1,3 errors estàndard. La suma dels avantatges del grup dibuixat és 0: zero, per construcció, perquè es resta la mitjana. Per això GRPO no necessita crític: la mitjana del grup fa de línia base. Per baixar del 10 % de grups sense senyal amb aquesta p, calen almenys 7 respostes per grup.

El clipping, amb ε = 0,20: gradient zero per sobre de 1,20 quan A > 0 i per sota de 0,80 quan A < 0; a l'altra banda, passa sencer

La ràtio ρ = π(o)/π_old(o) diu quant ha canviat la probabilitat d'un token des que es va mostrejar. Si l'avantatge és positiu i el token ja ha pujat més d'1+ε, el mínim tria el terme retallat, que és constant, i el gradient és zero: no es puja més. Si ha baixat, en canvi, el gradient hi és sencer, ρ·A, perquè allà l'actualització va en la direcció que toca. Amb A negatiu, al revés. És el que fa que moltes actualitzacions sobre el mateix lot no se'n vagin massa lluny.

I el biaix de longitud de Dr. GRPO: dues respostes errònies (A = −1), una de 5 tokens i una de 20. Amb la normalització per resposta de GRPO, cada token de la curta rep -0,200 i cada token de la llarga -0,050: la llarga es penalitza quatre vegades menys per token, i la política aprèn que equivocar-se llargament surt més barat. Dividint totes dues per la mateixa constant, com fa Dr. GRPO, reben el mateix.

Cal la política: el model raonat de 500 passos

100 iteracions de cada variant a partir de la mateixa política, 64 respostes per iteració, amb la KL k3 respecte a la política de partida (β = 0,02).

4. Escalat en temps d'inferència# sense fórmules

Un segon eix d'escala, ortogonal a la mida del model:

\text{rendiment} \propto f(\text{còmput d'entrenament}) + g(\text{còmput d'inferència})

Formes d'invertir còmput en inferència:

Cadenes més llargues (pressupost de pensament configurable).
Mostreig múltiple + agregació: self-consistency (vot majoritari), best-of-n amb un verificador.
Cerca guiada: MCTS o beam search sobre passos de raonament amb un PRM (process reward model, que puntua cada pas en lloc del resultat final).
Refinament iteratiu: generar, criticar, revisar. Compte: l'autocorrecció sense senyal extern funciona molt pitjor del que sembla; els models sovint "corregeixen" respostes que ja eren correctes.

Els límits, que convé conèixer:

Els rendiments són decreixents i logarítmics: cada duplicació del còmput dona un guany constant però petit.
Amb $k$ molt gran, el coll d'ampolla passa a ser el verificador, no el generador.
Hi ha tasques on pensar més no ajuda gens (recuperació de fets, tasques de percepció), i tasques on empitjora (l'overthinking existeix i és mesurable).
Econòmicament, canvia el model de negoci: el cost per resposta pot variar dos ordres de magnitud segons el pressupost de pensament.

Còmput en temps d'inferència

Si deixes que el model provi moltes vegades, quant guanyes per cada duplicació del còmput? I què passa quan qui tria la resposta bona s'equivoca?

Cal el model raonat del widget de la cadena de pensament.

pass@n = best-of-n amb verificador perfecte
●subconjunts mostrejats
vot de pluralitat
best-of-n, verificador imperfecte

Model (passos d'SFT)

En canviar-lo cal tornar a mostrejar.

El verificador accepta les correctes90 %

…i les errònies (falsos positius)10 %

Errònies que l'enganyen del tot5 %

D'entre les falses acceptades, les que rep amb més confiança que qualsevol correcta.

encert per mostra: —
pass@32: —
best-of-n: el màxim: —
best-of-4.096: —

Cal el model raonat

100 sumes que el model no ha vist, 32 respostes a temperatura 1 per a cadascuna.

5. Destil·lació de raonament# sense fórmules

Un resultat pràctic molt important: entrenar un model petit amb les traces de raonament d'un model gran és molt més efectiu que fer RL directament sobre el model petit. Models de 7-32B destil·lats de models de raonament grans superen models molt més grans no destil·lats en matemàtiques i codi.

Implicació estratègica: la capacitat de raonament, un cop descoberta per un model de frontera, es propaga ràpidament i barata a l'ecosistema obert. És una de les raons per les quals la distància entre models tancats i oberts s'ha reduït tant.

Destil·lació de raonament

Un model petit que gairebé no sap fer la tasca: què li va millor, fer RL ell sol o aprendre de les traces d'un que ja en sap? Amb el mateix còmput.

El professor és el model raonat de 1.500 passos del widget de la cadena de pensament.

destil·lació de les traces del professor
RL directe (GRPO)

estudiant, a l’inici: —
professor: —
amb RL: —
amb destil·lació: —
grups de l’RL sense senyal: —

Cal el professor: el model raonat de 1.500 passos

100 iteracions de GRPO (8 preguntes × 8 respostes), i tants passos de destil·lació com calgui per gastar el mateix. Cada 20 iteracions, l'encert de tots dos sobre 200 sumes noves.

El còmput es compta en operacions de token perquè el rellotge del navegador no és una bona mesura: generar i entrenar es paral·lelitzen de maneres molt diferents en una GPU. Un forward d'un token val 1; entrenar-lo, 3, que és la regla 6ND contra 2N del fitxer 16.

6. Més enllà de les matemàtiques: RL agèntic# sense fórmules

L'aplicació natural de l'RLVR és tot allò verificable: no només problemes de matemàtiques, sinó tasques d'enginyeria de software (el test passa o no), ús d'eines (la consulta retorna el que calia), navegació web (has trobat el fet?), i operació en entorns simulats.

Aquí apareixen els reptes oberts del camp el 2026:

Assignació de crèdit en trajectòries llargues (quin dels 50 passos va ser l'error?).
Entorns: construir entorns realistes, ràpids i verificables és ara el coll d'ampolla principal — més que els algorismes.
Recompenses per a tasques no verificables (escriptura, recerca oberta, judici) — on tornen els models de recompensa i els jutges, amb tots els seus problemes.
Fidelitat de la cadena de pensament: la traça que veus no és necessàriament el procés causal que ha portat a la resposta. Això té conseqüències serioses per a la seguretat: si vigilem el raonament visible, i el model aprèn a raonar de manera il·legible o a ocultar intencions, la supervisió falla. Hi ha una línia de recerca explícita sobre preservar la monitoritzabilitat del CoT.

Fidelitat de la cadena de pensament

La traça que el model escriu, és el que el porta a la resposta o és decoració? I per què és tan difícil saber quin pas d'una cadena llarga ha estat l'error?

El model raonat és el del widget de la cadena de pensament.

El mateix model i els mateixos lots, però la traça que s'ensenya són quatre xifres a l'atzar.

segueix la traça canviada
manté la resposta d’abans
una altra resposta

Variància de REINFORCE per a una decisió, contra T

recompensa al final
recompensa per pas (PRM)
●mostrejat, 20.000 cadenes

Canvi a la xifra de les unitats+1

Decisions de la cadena, T20

Encert de cada decisió, p60 %

raonat: segueix la traça: —
decoratiu: segueix la traça: —
variància, recompensa final, T = 20: 1,104
variància, recompensa per pas: 0,010

Cal el model raonat de 1.500 passos

És el del widget de la cadena de pensament, al principi de la pàgina.

L'assignació de crèdit: amb T = 20 decisions i la recompensa al final, la variància de l'estimador d'un pas és 1,104 (mostrejada, 1,101); amb una recompensa per pas, 0,010 (0,010)

Una cadena de T decisions, cadascuna encertada amb probabilitat p. Si la recompensa és el nombre d'encerts i només es coneix al final, l'estimador REINFORCE del gradient d'una decisió la multiplica per tota la recompensa, i hi porta el soroll de les altres T − 1: la variància creix linealment, +(T−1)·p²(1−p)² per decisió. Amb un model de recompensa de procés, que puntua cada pas, l'estimador d'una decisió només veu la seva, i la variància no depèn de T. Totes dues fórmules són exactes i els estimadors mostrejats (20.000 cadenes) hi queden a prop. És el «quin dels 50 passos va ser l'error?» del text: amb T = 50, calen 295 vegades més mostres per al mateix soroll.

7. Comprova que ho has entès#

0 de 7 resoltes

8. Recursos#

Marca els que hagis llegit

DeepSeek-AI (2025), DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (i la versió a Nature, 2025).
Wei et al. (2022), Chain-of-Thought Prompting Elicits Reasoning.
Snell et al. (2024), Scaling LLM Test-Time Compute Optimally.
Shao et al. (2024), DeepSeekMath (introducció de GRPO).
Lightman et al. (2023), Let's Verify Step by Step (process reward models).
Korbak et al. (2025), Chain of Thought Monitorability — posició conjunta de diversos laboratoris.

19 · RL i models de raonament

1. Chain-of-Thought: el precursor#🧭 sense fórmules

Self-consistency: 100 sumes, fins a 15 cadenes cadascuna

2. RLVR: RL amb recompenses verificables#🧭 sense fórmules

3. GRPO i la família d'algorismes#🧭 sense fórmules