18 · Del model base a l'assistent

Després del preentrenament, el model ho sap gairebé tot, però si li fas una pregunta, no et respon. Com es converteix aquest lector incansable en un assistent que conversa, segueix instruccions i diu que no quan toca? Aquesta etapa es diu postentrenament (post-training), i té una sorpresa: gairebé no li ensenya res de nou. El que li ensenya és com comportar-se.

1. Què fa i què no fa el postentrenament#

Un model base és un simulador de text d'internet. Ha llegit fòrums, novel·les, manuals, discussions, receptes, i sap continuar qualsevol d'aquests documents amb la veu que toca. Si li escrius una pregunta, no la respon: la continua com continuaria el document més probable que comencés així, que sovint és una pàgina amb més preguntes.

Pensa en un actor que s'ha après tots els papers de totes les obres. El postentrenament no li ensenya obres noves: li diu quin paper ha de fer. D'aquí surt la llista del que fa i del que no fa. Sí que li ensenya a seguir instruccions, a respondre amb un format i un to consistents, a rebutjar peticions perilloses, a fer servir eines, a mantenir una conversa i a raonar en veu alta. No li afegeix coneixement de manera substancial, no li arregla el que no va aprendre llegint, i no li treu capacitats: les amaga, no les esborra. Tampoc no el fa més llest en brut.

Hi ha una hipòtesi famosa que porta aquesta idea a l'extrem, la de l'alineament superficial: si el coneixement ve tot del preentrenament, n'hi hauria d'haver prou amb poques dades per triar el paper. El 2023, un model (LIMA) va mostrar que amb mil exemples excel·lents ja s'obtenia un assistent decent. La hipòtesi és certa en part. Per a l'estil i el format, ho és molt. Però el postentrenament només pot fer servir el que el preentrenament ha deixat accessible: el camí matemàtic ho mesura amb un model que completa bé uns fets quan els hi escrius com a frase a mitges, però n'encerta menys quan els hi preguntes en format de conversa. I per al raonament i l'actuació autònoma, el postentrenament modern, amb aprenentatge per reforç (aprendre provant i rebent una nota, que veurem a la secció 3), sí que crea capacitats noves, com es veurà al capítol 19.

2. Primera etapa: ensenyar amb converses#

La primera manera d'ensenyar-li el paper és la més directa: mostrar-li milers de converses d'exemple ben fetes, una instrucció i la resposta ideal, i entrenar-lo a escriure-les. És el mateix entrenament de sempre, endevinar la paraula següent, però sobre aquestes converses. Se'n diu ajust supervisat, o SFT (supervised fine-tuning).

Hi ha un detall que importa: la conversa té torns, i el model només s'ha de corregir en els seus. Les instruccions i els torns de l'usuari els llegeix, però no se li demana que aprengui a escriure'ls.

El que decideix si l'SFT surt bé:

• Qualitat molt per sobre de quantitat. Deu mil exemples excel·lents guanyen mig milió de mediocres.
• Varietat de tasques i de formats.
• Una plantilla de conversa consistent. Els torns es marquen amb unes etiquetes especials, i una plantilla mal aplicada (n'hi ha prou amb una sola marca de més o de menys) espatlla el model.
• Equilibri entre ajudar i dir que no. Massa exemples de «no puc ajudar-te» fan un model que ho rebutja tot.
• Cada vegada més, exemples de raonaments escrits pas a pas i de trajectòries completes fent servir eines.

I poques passades sobre les dades, una a tres. Més passades vol dir que el model comença a memoritzar els exemples i a respondre sempre igual: més segur del que diu, no més encertat. (Al camí matemàtic, un model petit necessita moltes més passades per aprendre el format, i quan les fa, comença a recitar el que ha vist: el colze canvia amb la mida, el fenomen no.)

3. Segona etapa: aprendre del que preferim#

Per a «quina és la capital de França» hi ha una resposta bona. Per a «escriu un poema sobre la pluja», no. Escriure la resposta ideal és difícil fins i tot per a un expert, però tothom sap dir quina de dues li agrada més. Aquesta asimetria és la base de la segona etapa: en comptes d'exemples perfectes, comparacions.

Un jutge après de les comparacions

El primer pas és convertir les comparacions en una cosa que es pugui optimitzar: un jutge que, donada una resposta, li posi una nota.

L'aprenentatge per reforç i la corretja

Amb el jutge entrenat, el model ja pot practicar: escriu respostes, el jutge les puntua, i el model ajusta els seus pesos perquè les respostes ben puntuades siguin més probables. És aprenentatge per reforç (reinforcement learning), i el conjunt, el clàssic RLHF (reinforcement learning from human feedback, aprenentatge per reforç a partir de preferències humanes).

Però el jutge és un model après, i té forats. Si el model pot fer qualsevol cosa per pujar la nota, els acaba trobant: text estrany que el jutge puntua altíssim i que cap persona voldria llegir. Se'n diu fer trampa a la recompensa (reward hacking). La protecció és una corretja: una penalització que creix com més s'allunya el model del seu comportament de partida (el que tenia després de l'SFT). Tècnicament, el que mesura com s'ha allunyat és la divergència KL del capítol 4: la sorpresa de més que hi ha entre dues maneres de repartir les fitxes, la del model que aprèn i la del model de partida. Com de llarga ha de ser la corretja és, segons els que ho fan, el paràmetre més delicat de tot el procés.

A la figura es veu per què no hi ha una llargada bona a priori: a la pràctica no es coneix la qualitat de debò, només la nota del jutge. I hi ha un altre problema, d'enginyeria: el mètode clàssic per fer aquest aprenentatge, PPO (proximal policy optimization), necessita tenir quatre models a la memòria alhora (el que aprèn, el jutge, la referència i un quart, el crític, que preveu quina nota sol treure i així li diu si una nota és millor o pitjor del que s'esperava), és inestable i té molts botons per ajustar.

La drecera: DPO

El 2023 va aparèixer una alternativa que ho va simplificar molt, DPO (direct preference optimization). Parteix d'una observació matemàtica: el model ideal que busca l'RLHF amb corretja està lligat de manera exacta a la nota del jutge, i aquesta relació es pot girar: la nota es pot escriure en funció del mateix model i del de partida. Així, el model es pot entrenar directament amb les comparacions, sense jutge intermedi. A la pràctica, vol dir: puja la probabilitat de la resposta preferida i baixa la de la rebutjada, mesurant-ho respecte del model de partida. Sense jutge, sense que el model hagi d'escriure res durant l'entrenament, sense aprenentatge per reforç.

DPO és senzill, estable i barat: dos models a la memòria en comptes de quatre. Té tres limitacions: aprèn de parelles fixes, no de les seves pròpies respostes; pot baixar la probabilitat de totes dues respostes, com a la figura; i als nivells de màxima qualitat se sol quedar per sota d'un RLHF ben ajustat. D'aquí n'ha sortit tota una família de variants, amb noms que no cal recordar (IPO, KTO, que només necessita saber si una resposta és bona o dolenta, ORPO, SimPO), i les versions que tornen a generar parelles amb el model actual, que són les que més s'acosten a l'RLHF.

Jutges que no són persones

Recollir milions de comparacions humanes és car. L'alternativa és que les faci un altre model: se'n diu RLAIF (reinforcement learning from AI feedback: la mateixa idea, amb les opinions d'una IA en comptes de les de persones), i funciona sorprenentment bé. Una variant important és la IA constitucional (Constitutional AI, Anthropic, 2022): s'escriu una llista explícita de principis, una «constitució», i el model critica i revisa les seves pròpies respostes segons aquests principis; les revisions serveixen per a l'SFT, i les comparacions que fa el model segons la constitució entrenen el jutge. L'avantatge principal és que els valors queden escrits en un document que es pot llegir i discutir, en comptes d'estar repartits en milers d'anotacions. Una idea més recent, l'alineament deliberatiu, entrena el model a raonar explícitament sobre les normes de seguretat abans de respondre.

4. Patologies conegudes#

Tot el que s'ha vist fins ara té un punt feble comú: el model aprèn el que es premia, que no és exactament el que es vol. Les maneres en què això surt malament estan prou estudiades per tenir nom.

El fil que les uneix és la llei de Goodhart: quan una mesura es converteix en un objectiu, deixa de ser una bona mesura. Tota nota de preferència que s'optimitza a fons acaba premiant alguna cosa que no era el que es volia premiar. La figura següent ho ensenya amb l'optimització més senzilla possible, sense entrenar res: generar moltes respostes i quedar-se la que més agrada al jutge.

Les dues figures de la corretja i d'aquesta tenen la mateixa forma per la mateixa raó: el jutge va aprendre de les respostes que el model escrivia al principi, i fora d'aquell territori s'equivoca. Optimitzar-lo a fons és anar a buscar-hi exactament els seus errors. Un altre efecte que es veu en els dos casos: les respostes s'assemblen cada vegada més entre elles, perquè la pressió concentra totes les fitxes en les poques respostes que el jutge puntua més alt.

5. La recepta moderna#

Els assistents actuals no passen per una etapa de cada, sinó per un procés en diverses etapes que es repeteix.

Dues tendències clares. La primera: el pes del postentrenament en el càlcul total no para de créixer, i en alguns models de raonament ja és comparable al del preentrenament. La segona: la frontera entre preentrenar i postentrenar s'esborra, amb fases intermèdies (mid-training) que barregen dades de preentrenament molt bones amb dades d'instruccions.

Què t'has d'endur#

• Un model base no respon: continua documents. El postentrenament li ensenya quin paper fer, gairebé sense afegir-li coneixement, i només pot fer servir el que el preentrenament ha deixat accessible.
• L'SFT ensenya amb converses d'exemple, corregint només les respostes. Hi pesa molt més la qualitat que la quantitat.
• Comparar és més fàcil que escriure la resposta ideal. Amb comparacions s'entrena un jutge, i amb el jutge, el model aprèn per reforç.
• El jutge té forats, i una corretja impedeix que el model s'allunyi massa del seu comportament de partida per anar-los a buscar. DPO arriba a un lloc semblant sense jutge ni reforç.
• Les patologies (fer trampa al jutge, donar la raó, allargar-se, respondre sempre igual, dir que no a tot) tenen la mateixa arrel: s'aprèn el que es premia, no el que es vol.

Comprova que ho has entès#

Per anar més lluny#