19 · Pensar abans de respondre

Durant anys, fer un model millor volia dir fer-lo més gran i donar-li més text. Des del 2024 n'hi ha una segona manera: deixar-lo pensar més estona abans de respondre, i entrenar-lo perquè aquest pensament serveixi d'alguna cosa. Els models que ho fan s'anomenen models de raonament. Aquest capítol explica per què pensar en veu alta ajuda una màquina que només sap endevinar la paraula següent, i com se l'entrena a pensar bé.

1. Pensar en veu alta#

El 2022 es va veure una cosa curiosa: si a un model li demanaves «pensa pas a pas», encertava molts més problemes de raonament. Se'n diu cadena de pensament (chain of thought). Per entendre per què funciona, recorda com escriu un model: paraula a paraula, i per escriure cada paraula fa una quantitat fixa de càlcul, la mateixa per a «hola» que per a la resposta d'un problema difícil.

Pensa en multiplicar 47 per 38 de memòria, sense paper. Si t'obliguen a dir el resultat de cop, ho tens difícil. Amb paper, cada pas és petit, i el que necessites recordar ho tens escrit davant. Per a un model, el text que ja ha escrit és el seu paper: escriure passos intermedis és fer servir el text com a memòria de treball, i cada paraula de més és una passada de càlcul de més. No és una manera de parlar: es pot demostrar que un model que escriu passos intermedis pot resoldre problemes que un que respon de cop no pot.

N'hi ha variants. La més útil és senzilla i barata: fer la mateixa pregunta diverses vegades, deixar que el model raoni cada vegada pel seu compte, i quedar-se la resposta que més surt (self-consistency). Altres variants exploren diversos camins de raonament com un arbre, o descomponen la pregunta en subpreguntes.

El límit de tot això és que, demanant-li-ho, el model raona en veu alta però no està entrenat per raonar bé. Divaga, s'equivoca i no se n'adona, i no sap quan ha de parar.

2. Entrenar amb problemes que es corregeixen sols#

La idea que ho va canviar tot és molt senzilla. Al capítol 18, l'aprenentatge per reforç feia servir un jutge après, amb forats. Però hi ha molts problemes on no cal cap jutge, perquè la resposta es pot comprovar automàticament: un problema de matemàtiques té una solució, un programa passa les proves o no, una demostració formal és vàlida o no. En aquests dominis, la recompensa és simplement un punt si està bé i zero si no. Se'n diu aprenentatge per reforç amb recompenses verificables (RLVR, reinforcement learning with verifiable rewards).

Per què és tan potent: un jutge après es pot enganyar, i un corrector que comprova el resultat és molt més difícil d'enganyar. Una resposta incorrecta no treu punts per tenir bon aspecte. Això permet entrenar amb molta més força sense que el model acabi escrivint coses estranyes que només agraden al jutge. Difícil, però, no vol dir impossible: si el corrector és feble, el model també hi troba els forats. Unes proves que no cobreixen tots els casos es poden passar sense haver fet la feina, i un corrector que accepta la resposta escrita de qualsevol manera es pot enganyar amb el format.

El resultat més sorprenent va ser el de DeepSeek-R1, el 2025. Aplicant aquest tipus d'entrenament directament sobre un model base, sense ensenyar-li abans cap exemple de raonament, el model va començar a fer coses que ningú no li havia ensenyat: comprovar-se a si mateix, tornar enrere quan una via no funcionava, reconsiderar el que havia suposat i dedicar més paraules als problemes més difícils. A les traces s'hi veuen «moments eureka» («espera, aquí m'he equivocat»). Ningú no li va dir que pensar més estona en els problemes durs surt a compte: ho va trobar perquè era el que feia pujar els punts. (La tasca de sumar del camí matemàtic és massa petita per veure-ho: el format hi fixa la llargada de la resposta, i allà no hi ha res a descobrir.)

3. Competir amb un mateix#

L'algorisme clàssic d'aprenentatge per reforç per a models de llenguatge, el PPO del capítol 18 (proximal policy optimization), necessita un segon model, el crític, gairebé tan gran com el primer, que aprèn a preveure quina nota traurà cada resposta: sense referència, una nota de 0,7 no diu si és bona o dolenta. Aquest crític és car i és una font d'inestabilitat.

La solució que va popularitzar DeepSeek, GRPO (group relative policy optimization, «optimització relativa al grup»), se'l salta amb un truc: per a cada pregunta, el model respon un grup de vegades, per exemple setze, i la referència és la mitjana del grup. Les respostes que han anat millor que la mitjana es fan més probables; les que han anat pitjor, menys. El model competeix amb si mateix.

L'espai d'algorismes es mou molt de pressa (DAPO, Dr. GRPO, GSPO i d'altres corregeixen biaixos de l'original, per exemple que una resposta errònia llarga es penalitzava menys per paraula que una de curta). El que és estable és la idea: mostrejar grups, comparar dins del grup, i actualitzar amb prudència, sense moure's massa d'un sol cop. I hi ha uns quants detalls que decideixen si funciona:

• Una recompensa de format, a més de la de correcció: el raonament entre unes marques i la resposta en un lloc on es pugui llegir automàticament.
• Treure els problemes massa fàcils i massa difícils, perquè, com es veu a la figura, un grup on tots encerten o tots fallen no ensenya res. L'ordre de dificultat dels problemes (el currículum) és crític.
• Controlar la llargada: sense control, el model descobreix que allargar-se augmenta les opcions d'encertar, i els raonaments creixen sense límit.
• Varietat: si totes les respostes del grup s'assemblen, no hi ha res a comparar.

4. Més càlcul en el moment de respondre#

Si pensar més ajuda, tenim un segon botó per fer un model millor, independent de la seva mida: quant càlcul gasta quan respon. Hi ha diverses maneres de gastar-lo: deixar-lo pensar més estona (molts models ja tenen un «pressupost de pensament» que es pot triar), generar moltes respostes i votar o fer que un verificador triï la millor, explorar diversos camins de raonament amb un jutge que puntua cada pas i no només el resultat (un model de recompensa de procés, process reward model), o fer que el model generi, es critiqui i es revisi.

Aquest últim té trampa: corregir-se sense cap senyal de fora funciona molt pitjor del que sembla. Els models sovint «corregeixen» respostes que ja estaven bé.

Els límits convé tenir-los clars. Els rendiments són decreixents: cada vegada que es dobla el càlcul, es guanya, com a molt, un tros semblant a l'anterior, de manera que cada tros de millora costa el doble que el d'abans; i a prop del sostre, ni això. Amb molts intents, el que limita deixa de ser el model que genera i passa a ser el verificador que tria. Hi ha tasques on pensar més no ajuda gens, com recordar un fet (o el saps o no), i tasques on empitjora: pensar massa (overthinking) existeix i es pot mesurar. I canvia l'economia: segons quant el deixis pensar, el cost d'una resposta pot variar cent vegades.

5. Aprendre de les solucions del mestre#

Un dels resultats més pràctics: per fer que un model petit raoni bé, entrenar-lo amb els raonaments escrits per un model gran funciona molt millor que entrenar-lo per prova i error. Models d'entre 7.000 i 32.000 milions de paràmetres entrenats així superen en matemàtiques i en codi models molt més grans que no ho han estat. Se'n diu destil·lació de raonament.

El perquè és el mateix mecanisme de la secció anterior, vist des de l'altra banda.

El model gran ja ha pagat la part cara, que és descobrir quins raonaments funcionen; el petit només ha de copiar-los. La conseqüència estratègica és important: una capacitat de raonament que descobreix un model de frontera es propaga de pressa, i barata, als models oberts. És una de les raons per les quals la distància entre els models tancats i els oberts s'ha escurçat tant.

6. Més enllà de les matemàtiques#

La idea de les recompenses verificables serveix per a tot el que es pot comprovar, no només per a problemes de matemàtiques: arreglar un programa (les proves passen o no), fer servir eines (la consulta retorna el que calia), buscar a la web (has trobat el fet o no), o actuar en un entorn simulat. És la base dels agents que veuràs al capítol 23. Però aquí apareixen els problemes oberts del camp.

El primer és a qui donar el mèrit. Una tasca d'agent pot tenir cinquanta passos i una sola nota al final.

El segon són els entorns. Per entrenar un agent cal un món on pugui actuar i on es pugui comprovar si ho ha fet bé, i construir entorns realistes, ràpids i comprovables és avui el coll d'ampolla principal, més que no pas els algorismes. El tercer és el que no es pot comprovar: escriure bé, investigar una pregunta oberta, fer judicis. Allà tornen els jutges apresos, amb tots els problemes del capítol anterior.

I el quart és el més delicat: el raonament que veus no és necessàriament el que ha produït la resposta. Un model pot escriure un raonament que sembla bo i arribar a la resposta per una altra via.

Això importa per a la seguretat. Una de les maneres de vigilar què fa un model és llegir-ne el raonament; si el raonament visible no és el que causa la resposta, o si el model aprèn a raonar de manera il·legible o a amagar què pretén, aquesta vigilància falla. Hi ha una línia de recerca explícita, amb diversos laboratoris al darrere, per conservar la possibilitat de llegir i vigilar el raonament dels models.

Què t'has d'endur#

• Un model fa la mateixa quantitat de càlcul per cada paraula. Escriure passos intermedis és fer servir el text com a paper, i li permet resoldre problemes que de cop no podria.
• On la resposta es pot comprovar, no cal cap jutge: la recompensa és si està bé. Aquesta recompensa és molt més difícil d'enganyar que un jutge après (sempre que el corrector comprovi de debò el que importa), i amb ella els models aprenen sols a comprovar-se i a tornar enrere.
• GRPO fa que el model competeixi amb si mateix: respon diverses vegades i reforça les respostes millors que la mitjana del grup. Un grup on totes són iguals no ensenya res.
• Pensar més en el moment de respondre millora els resultats, però cada tros de millora costa el doble de càlcul que l'anterior, el verificador acaba sent el límit, i en algunes tasques no ajuda o empitjora.
• Un model petit aprèn a raonar molt millor copiant els raonaments d'un de gran que per prova i error.
• El raonament que es veu no sempre és el que ha produït la resposta, i això limita el que podem saber llegint-lo.

Comprova que ho has entès#

Per anar més lluny#