04 · La sorpresa com a mesura

Quan llegeixes que un model té «una pèrdua de 2,1» o «una perplexitat de 8», què vol dir? Aquest capítol dona el vocabulari amb què estan escrits gairebé tots els resultats del camp, i una idea que el lliga tot: entrenar un LLM és ensenyar-lo a sorprendre's tan poc com pugui amb el text de debò. D'aquí surt, també, que un bon model de llenguatge és un bon compressor.

1. La informació és sorpresa#

Si en ple agost a Sevilla et diuen que demà farà sol, no t'han dit gairebé res: ja t'ho esperaves. Si et diuen que nevarà, t'han donat molta informació. La informació d'un fet es mesura com la seva sorpresa: com més improbable era, més sorprèn.

La unitat és el bit, la sorpresa de saber com ha caigut una moneda. Una cosa que passa una de cada quatre vegades sorprèn tant com encertar dues monedes seguides: 2 bits. I hi ha una propietat que fa aquesta mesura molt còmoda: si dues coses no tenen res a veure entre elles, la sorpresa de veure-les totes dues és la suma de les sorpreses.

L'entropia d'un repartiment és la seva sorpresa mitjana: quanta sorpresa t'endús, de mitjana, cada vegada que en surt un resultat. Hi ha una manera molt concreta de veure-la, que és comptar quantes preguntes de sí o no calen per endevinar el resultat.

Un repartiment segur té entropia zero: no hi ha res a preguntar. Un en què totes les opcions són igual de probables té l'entropia més alta possible.

Claude Shannon va demostrar que l'entropia és, a més, un límit: és el nombre mínim de bits per resultat que necessites de mitjana per guardar una llarga sèrie de resultats sense perdre res. Cap compressor no ho pot fer millor. Ho aprofitarem a la secció 6.

Els programes amb què s'entrenen els models no mesuren la sorpresa en bits sinó en nats, una altra unitat (com els quilòmetres i les milles). Un nat són 1,44 bits; quan llegeixis una pèrdua sense unitats, gairebé sempre són nats.

2. Com de sorprès queda el model#

Ara hi ha dos repartiments: el del món (com surten les paraules de debò) i el del model (com creu que surten). L'entropia creuada (cross-entropy) és la sorpresa mitjana que s'endú algú que espera el repartiment del model quan les coses passen segons el del món.

Per entrenar un LLM, això es fa d'una manera molt directa. A cada posició del text d'entrenament, el model reparteix les seves fitxes, arriba la paraula que venia de debò i es mesura com de sorprès ha quedat. La pèrdua del model és la mitjana d'aquestes sorpreses. Això és tot: la funció que entrena tots els LLMs és, literalment, com de sorprès queda el model amb el text de debò.

Entrenar és fer baixar aquest número, i al capítol 2 has vist com: el senyal que surt de cada sorpresa és el «prediu, resta la veritat» que es propaga enrere. Per fer-te una idea de les xifres, una pèrdua de 2,0 nats són uns 2,89 bits per peça, i equivalen a dubtar a cegues entre unes 7,4 opcions igual de probables cada vegada (la secció 4 explica d'on surt aquest número).

3. La distància entre dues maneres de repartir#

Si el model encertés exactament el repartiment del món, la seva sorpresa seria la inevitable: l'entropia del món. Com que no l'encerta, s'endú una mica de sorpresa de més. Aquesta sorpresa de més és la divergència de Kullback-Leibler, o KL, i és la manera habitual de mesurar com de diferents són dues maneres de repartir fitxes.

La KL mai no és negativa, i només és zero si els dos repartiments són idèntics. Però no és una distància com les del mapa: no és simètrica. Mesurar-la des de la realitat cap al model no dona el mateix que des del model cap a la realitat, i cada direcció castiga una cosa diferent.

Entrenar imitant text, com a la secció 2, minimitza la primera direcció: el model és castigat sobretot quan no dona fitxes a coses que passen, i per això tendeix a escampar-les. La direcció contrària castiga sobretot dir coses que no passen, i porta el model a quedar-se amb una sola de les opcions bones; això explica una part de la pèrdua de varietat que es veu en els models després d'ajustar-los amb preferències humanes. (Hi ha també una versió simètrica, la de Jensen-Shannon, que és la que feien servir en la seva forma original les GAN, una família de xarxes que generen imatges.)

La KL surt a molts llocs del curs. És la corretja del capítol 2 quan s'ajusta un model amb preferències humanes: millorar, però sense allunyar-se gaire del model de partida (capítol 18). També és la mesura que es fa servir quan un model petit aprèn a imitar un de gran (la destil·lació).

4. Perplexitat: entre quantes opcions dubta#

Una pèrdua de 2,0 nats és difícil d'imaginar. Hi ha una manera de traduir-la a una cosa que es veu: quantes opcions igual de probables donarien la mateixa sorpresa. Aquest número es diu perplexitat (perplexity). Una perplexitat de 10 vol dir que el model, de mitjana, dubta com si hagués de triar a cegues entre 10 paraules.

La primera trampa és la que més es nota, i es veu bé amb un exemple:

Per comparar models que tallen el text diferent, es fa servir la sorpresa per lletra o, més exactament, per byte: el byte és la unitat amb què l'ordinador guarda el text, i una lletra corrent n'ocupa un (una amb accent, dos). Els bits per byte no depenen de com es talla el text, perquè el text, guardat, ocupa els mateixos bytes es talli com es talli.

5. Quant et diu una cosa sobre una altra#

Si veus que la gent que passa pel carrer porta paraigua, saps més coses sobre si plou. Quanta incertesa sobre una cosa et treu saber-ne una altra es diu informació mútua. Si les dues coses no tenen res a veure, és zero; si una determina l'altra, te la treu tota.

Aquesta idea és al darrere dels models que aprenen a lligar imatges i textos (capítol 24): la seva manera d'aprendre consisteix, en el fons, a fer que la imatge i el seu text comparteixin tanta informació com sigui possible. També es fa servir per estudiar què guarden les representacions internes d'un model.

6. Un LLM és un compressor#

Imagina que tu i un amic teniu exactament el mateix model de llenguatge, i li vols enviar un text. En comptes d'enviar-li les lletres, li pots enviar una cosa molt més curta: per a cada paraula, només la informació justa per distingir-la entre les que el model esperava. Les paraules previsibles gairebé no costen res; les sorprenents costen més. Hi ha una tècnica (la codificació aritmètica) que ho fa exactament així: cada paraula costa tants bits com la seva sorpresa. Predir bé i comprimir bé són la mateixa cosa.

Un LLM, que no mira dues lletres enrere sinó tot el text anterior, prediu moltíssim millor que aquests comptatges, i per això és un compressor sense pèrdues excel·lent. S'ha mesurat que models grans comprimeixen text, i fins i tot imatges i so, millor que compressors especialitzats com els dels formats PNG o FLAC. Amb una condició que convé no oblidar: qui descomprimeix necessita el mateix model, i aquesta comparació no en compta la mida. Si se'n compta, cap LLM no guanya un compressor clàssic fins que el text a comprimir és molt més gran que el model mateix.

D'aquí surt un argument famós: si per comprimir bé cal predir bé, i per predir el pas següent d'una demostració matemàtica cal, en el límit, entendre la matemàtica, potser comprimir bé requereix entendre. És una de les raons per les quals hi ha qui pensa que predir la paraula següent pot ser suficient per arribar a una intel·ligència general. És una idea discutida: els escèptics responen que comprimir bé el text que ja han escrit els humans no garanteix ni saber-se'n sortir en situacions noves, ni actuar pel seu compte, ni tenir un model de com funciona el món.

7. L'entropia com a senyal#

L'entropia del repartiment que fa el model a cada pas és un senyal útil mentre genera. Si és alta, el model dubta entre moltes opcions, i potser és un bon moment per aturar-se, consultar una eina o generar unes quantes respostes i mirar si coincideixen. Algunes maneres de triar la paraula següent (capítol 15) fan servir aquest senyal per ajustar-se soles.

Però que el model no dubti no vol dir que tingui raó. Un model pot estar confiadament equivocat, i per detectar-ho cal mirar el calibratge: si, de les vegades que diu estar segur al 80 %, encerta el 80 %.

Què t'has d'endur#

• La informació d'un fet és la seva sorpresa, i es mesura en bits: una moneda és un bit. L'entropia és la sorpresa mitjana d'un repartiment.
• L'entropia creuada és com de sorprès queda el model amb el text de debò, i és la pèrdua amb què s'entrenen tots els LLMs.
• La KL és la sorpresa de més per creure un repartiment equivocat: mesura com de diferents són dues maneres de repartir fitxes, i no és simètrica.
• La perplexitat tradueix la pèrdua a «entre quantes opcions dubta el model», i no es pot comparar entre models que tallen el text diferent.
• Predir bé és comprimir bé: un LLM és un compressor excel·lent, sempre que qui descomprimeix tingui el mateix model.
• L'entropia del model indica quan dubta, però un model segur pot estar equivocat: per això cal mirar-ne el calibratge.

Comprova que ho has entès#

Per anar més lluny