16 · El preentrenament: llegir mig internet

D'on surt el que sap un ChatGPT? Abans de saber conversar, abans de saber ajudar, un model ha passat setmanes llegint una quantitat de text que cap persona no podria llegir en mil vides, i fent sempre el mateix exercici: endevinar la paraula següent. Aquest capítol explica aquesta etapa, que es diu preentrenament (pretraining), i per què el que hi decideix el resultat no és tant la màquina com el que se li dona a llegir.

1. L'objectiu: endevinar la paraula següent#

Imagina un joc de completar frases que no s'acaba mai. Et tapen la paraula següent d'un text qualsevol, hi apostes, te l'ensenyen, i en passes a la següent. El preentrenament és això, repetit bilions de vegades. A cada paraula, el model reparteix les seves cent fitxes entre les opcions, i la pèrdua és quant de sorprès ha quedat amb la que venia de debò (és la sorpresa del capítol 4). Entrenar vol dir anar retocant els milers de milions de números del model perquè, de mitjana, se sorprengui una mica menys.

La gràcia és que aquest joc tan pobre obliga a aprendre moltíssimes coses. Per completar bé «la capital de França és» cal saber geografia; per completar «ahir els nens…» cal gramàtica; per completar un problema cal saber sumar, i per completar un programa cal entendre què fa. Ningú no li ensenya cap d'aquestes coses per separat. Tot el que el model sap sobre el món, i el que de vegades anomenem raonament, surt d'aquí.

Les xifres d'un model gran actual fan mal de pensar. Llegeix entre 10 i 40 bilions de tokens (els trossos de paraula del capítol 10), durant setmanes o mesos, en desenes de milers de xips alhora. Només l'entrenament final costa entre desenes i centenars de milions de dòlars, i els experiments previs per decidir com fer-lo solen costar encara més. Hi ha excepcions que val la pena conèixer: DeepSeek-V3 va declarar uns 2,8 milions d'hores de xip, uns 5,6 milions de dòlars a preu de lloguer, perquè és un model de mescla d'experts (cada paraula només en fa servir una part, vegeu el capítol 13) i es va entrenar amb números de menys precisió. També aquí, la xifra és només la de l'execució final.

2. Les dades: on es guanya la partida#

Si el preentrenament és un estudiant que llegeix una biblioteca sencera, la qualitat de la biblioteca ho decideix gairebé tot. Un estudiant que llegeix mil vegades el mateix fullet publicitari no n'aprèn res; un que llegeix bons llibres de cada matèria, sí. Per això la feina més gran, i la menys vistosa, de fer un model és preparar el que llegirà.

La matèria primera és el web, que es descarrega a escala de milers de milions de pàgines (el crawl), i que és ple de brossa. El que se'n fa és passar-lo per una sèrie de garbells, cadascun amb el seu propòsit. A aquesta cadena de garbells se'n diu el pipeline de dades.

Dos d'aquests garbells mereixen una paraula més. El de les còpies (la deduplicació, deduplication) no és cosmètic: un text que surt mil vegades al web és un text que el model llegeix mil vegades, i acaba sabent-lo de memòria. I el dels exàmens (la descontaminació) és el que separa una nota honesta d'una d'inflada: si les preguntes amb què després es posarà nota al model eren a les dades, la nota mesura memòria, no capacitat. Es fa malament o poc, i és la raó de molts resultats massa bons per ser veritat.

L'altra lliçó dels pipelines moderns és que filtrar bé val més que tenir més. Un dels conjunts públics més estudiats, FineWeb-Edu, va mostrar que quedar-se només amb el text que un classificador considera educatiu dona millors models que multiplicar el volum. I una de les regles empíriques més útils: rellegir les mateixes dades fins a unes quatre vegades és gairebé tan bo com tenir-ne de noves; a partir d'aquí, el model deixa d'aprendre regularitats i comença a aprendre el text de memòria. (Amb els models petits del camí matemàtic, el punt on rellegir comença a fer mal arriba una mica més tard, cap a les vuit lectures; la forma és la mateixa.)

El que queda es barreja en unes proporcions que cada laboratori cuida com una recepta. Una part creixent ja no l'ha escrit cap persona: són dades sintètiques, text reescrit en format de lliçó, exercicis amb la solució comprovada o explicacions generades per un altre model. Funcionen, amb una condició que veurem a la secció 5.

3. Les lleis d'escala: més model i més dades, en la proporció justa#

Una de les sorpreses dels últims anys és que el resultat d'un entrenament es pot predir abans de fer-lo. Si entrenes models cada cop més grans, amb cada cop més dades, la pèrdua baixa d'una manera tan regular que, amb uns quants models petits, pots dibuixar la corba i allargar-la. Aquestes corbes són les lleis d'escala (scaling laws).

La primera lectura, el 2020, va ser: fes els models molt més grans. D'aquí van sortir GPT-3 i una generació de models enormes. El 2022, el treball de Chinchilla va trobar l'error de lectura. El cost d'entrenar és, aproximadament, la mida del model multiplicada pel text que llegeix: si dobles qualsevol dels dos, dobles el cost. Amb un pressupost fix, doncs, cada paràmetre de més es paga amb text de menys. I el millor repartiment resultava ser fer créixer les dues coses alhora, en proporció: uns 20 tokens llegits per cada paràmetre. Els models gegants de l'època eren massa grans per al poc que havien llegit. Chinchilla, quatre vegades més petit que Gopher i amb gairebé cinc vegades més text, el va guanyar amb el mateix càlcul.

Dues coses que el «20» del folklore no diu. Primer, no és una constant de la natura: surt de la llei ajustada, i amb els números tal com es van publicar al mateix article en surten uns 90; una rèplica de 2024 va trobar l'error, i amb els números corregits torna a sortir 20. Segon, la proporció només es manté fixa si la mida i les dades pesen igual a la llei, que és el que va passar amb aquelles dades però no ha de passar sempre.

I una tercera, que és la que fa que gairebé ningú no apliqui la recepta. Chinchilla minimitza el cost d'entrenar. Però un model es paga dues vegades: una en entrenar-lo i una altra cada vegada que respon. Un model que respondrà milers de milions de preguntes durant anys surt més a compte petit i molt entrenat: costa més de fer, però cada resposta és més barata. Per això avui tothom «sobreentrena»: centenars o milers de tokens per paràmetre. Llama 3 8B en va llegir uns 1.875 per paràmetre, noranta vegades el que diu Chinchilla.

La idea s'ha estès a gairebé tot: hi ha lleis d'escala per a models de mescla d'experts, per a quants bits de precisió es poden retallar, per a la barreja de dades, per a l'aprenentatge per reforç (aprendre provant i rebent una nota) i per al càlcul que el model fa mentre respon (el capítol 19). Però tenen un límit important: prediuen la pèrdua, no les capacitats. Saber que el model se sorprendrà un 3 % menys no et diu si sabrà resoldre un tipus de problema concret.

4. Capacitats emergents: un salt de debò o un efecte de la regla?#

El 2022 es va popularitzar una observació inquietant: algunes capacitats semblaven aparèixer de cop. Un model no sabia fer una tasca, el següent, una mica més gran, tampoc, i a partir d'una mida determinada, de sobte, sí. Si fos així, seria impossible preveure què sabrà fer el model següent.

L'any següent va arribar la crítica, i és d'aquelles que es poden entendre amb un exemple. Imagina un examen on la resposta té vuit paraules i només es dona el punt si totes vuit són bones. Un model que encerta cada paraula la meitat de les vegades no traurà gairebé mai el punt; un que n'encerta nou de cada deu, gairebé la meitat de les vegades. Si mesures la millora paraula per paraula, és una pujada suau; si la mesures amb tot o res, sembla un salt. El model és el mateix: el que canvia és la regla.

L'estat actual del debat és que una part important de l'emergència és un efecte de com es mesura, però no tota. Hi ha canvis genuïns, en què un mecanisme intern apareix de cop. L'exemple clàssic són els caps d'inducció (induction heads) del capítol 11, el circuit que aprèn a copiar el que va venir després d'una paraula la vegada anterior que va sortir: quan es forma, la pèrdua mateixa, que és una mesura suau, cau de cop. La lliçó pràctica és simple: davant d'un gràfic d'emergència, mira amb quina mesura s'ha fet. Si salta amb el tot o res però és suau amb una mesura contínua, no ha aparegut res; si salta també amb la pèrdua, hi ha alguna cosa nova a dins.

5. El mur de dades#

Hi ha un problema que les lleis d'escala fan evident: si per fer un model millor cal més text, el text humà de qualitat a internet és finit. Les estimacions públiques situen el moment d'esgotar-lo entre mitjans i finals d'aquesta dècada, i els models més grans ja hi són a prop. La data exacta depèn sobretot de com de pressa creixi el càlcul que s'hi dedica, i el sobreentrenament de la secció 3 l'avança: llegir més per paràmetre consumeix el pou abans.

La sortida principal són les dades sintètiques, i aquí cal la condició que havíem deixat pendent. Un model que aprèn del text escrit per un altre model, que va aprendre del text d'un altre model, s'assembla a una fotocòpia d'una fotocòpia: a cada còpia es perd detall. El que es perd primer és el que és rar, perquè una mostra finita de text no conté mai totes les paraules i construccions poc freqüents, i el que una generació no escriu, la següent ja no ho pot aprendre. Se'n diu col·lapse del model (model collapse).

Les defenses són dues: ancorar sempre en dades reals, barrejant-les en comptes de substituir-les, i verificar el que s'ha generat en comptes de fiar-se del generador (exercicis amb la solució comprovada, codi que s'executa). La recerca recent diu que el guany ve sobretot de la qualitat d'aquest filtratge i de la barreja, no de la mida del model que genera.

Les altres sortides del mur: el vídeo i l'àudio, que contenen molta més informació, i informació sobre el món físic i no només sobre text; les dades privades o llicenciades, amb acords amb editorials, fòrums i arxius; fer que el model generi la seva pròpia experiència en entorns on es pot comprovar si ho ha fet bé, que és la direcció que més creix (el capítol 19); i aprendre més per cada paraula llegida, amb millors currículums i optimitzadors. Rellegir fins a quatre vegades, de la secció 2, també hi ajuda una mica.

6. Memorització, privacitat i drets d'autor#

Un model no només aprèn regularitats: també es queda literalment amb una part del que llegeix, sobretot el que es repeteix i el que és insòlit, que no s'assembla a res més del que ha llegit. Un número de telèfon que surt una sola vegada en bilions de paraules difícilment el recordarà; un que surt seixanta-quatre vegades, potser sí. La manera de mesurar-ho és enginyosa, i es pot explicar sense cap compte.

D'aquí surten tres problemes seriosos. El de la privacitat: es poden extreure dades personals d'un model, i la deduplicació i el filtratge ho redueixen però no ho eliminen. El dels drets d'autor: hi ha litigis oberts arreu sobre si es pot entrenar amb text protegit, i el marc legal canvia d'un país a l'altre i encara no és estable. I el de l'avaluació: un model que ha memoritzat les preguntes d'un examen el passa sense saber-ne res, que és el problema dels exàmens de la secció 2 vist des de l'altra banda.

Què t'has d'endur#

• El preentrenament és un sol exercici, endevinar la paraula següent, repetit sobre bilions de paraules. Tot el que el model sap del món ve d'aquí.
• El que més decideix la qualitat del model són les dades: garbellar-les, treure'n les còpies i els exàmens i barrejar-les bé val més que tenir-ne més.
• Amb un pressupost fix, la mida del model i el text que llegeix s'han de fer créixer junts. Els «20 tokens per paràmetre» de Chinchilla són el punt d'equilibri si només comptes el cost d'entrenar; com que els models es fan servir molt, avui se'n posen centenars o milers.
• Moltes capacitats «emergents» són un efecte de mesurar amb tot o res; algunes, com els caps d'inducció, són canvis interns de debò. Mira sempre la mesura.
• El text humà s'acaba. Les dades sintètiques són la sortida principal, però només funcionen ancorades en dades reals i verificades.
• Un model memoritza literalment una part del que llegeix, sobretot el que es repeteix i el que és insòlit, amb conseqüències per a la privacitat, els drets d'autor i la fiabilitat dels exàmens.

Comprova que ho has entès#

Per anar més lluny#