Bloc 5nucli3-4 h

Abans d'això: L'arquitectura Transformer, Entrenament: optimitzadors, normalització i regularització

16 · Preentrenament: dades i lleis d'escala

Idea central: el preentrenament és on el model adquireix tot el seu coneixement i la major part de les seves capacitats. El postentrenament només decideix com les fa servir. I el que determina el resultat és, per aquest ordre: les dades, l'escala de còmput, i (molt més avall) l'arquitectura.

1. L'objectiu# sense fórmules

\mathcal{L}(\theta) = -\mathbb{E}_{x\sim\mathcal{D}}\left[\sum_t \log p_\theta(x_t\mid x_{<t})\right]

Una sola tasca —predir el token següent— sobre desenes de bilions de tokens. Tot el que sap el model sobre gramàtica, física, història, codi, i el que anomenem "raonament", surt d'aquí.

Números d'ordre de magnitud (2026):

Dades: 10–40 bilions (10¹³) de tokens.
Còmput: 10²⁴–10²⁶ FLOPs per als models de frontera.
Temps: setmanes o mesos en desenes de milers d'acceleradors.
Cost: desenes a centenars de milions de dòlars, només per a l'execució final (ignorant els experiments previs, que solen costar més).

El pressupost d'un model de frontera

Amb una arquitectura, uns tokens i unes GPUs, quants FLOPs, quants dies i quants dòlars? I amb un calendari fix, quantes GPUs?

FLOPs d’entrenament

6,35·10²⁴

6 × 70,6 G × 15,0 T

Temps de rellotge

11,6 dies

16.000 × H100 80 GB a 40 %

Cost de l’execució final

11,1 M dòlars

4,45 M hores a 2,50 dòlars

Arquitectura

L’exemple del fitxer 11.

Tokens d'entrenament, D15,0 T tokens

GPUs16.000

GPU

MFU: fracció del pic que es fa servir40 %

El fitxer 17 diu que el 35-55 % és bo a escala.

Preu per GPU i hora2,50 dòlars

Calendari objectiu90 dies

Per a la inversa: quantes GPUs calen per acabar a temps.

paràmetres, N: 70,55 G
FLOPs, 6ND: 6,35·10²⁴
temps: 11,6 dies
hores de GPU: 4,45 M
cost: 11,1 M dòlars
GPUs per a 90 dies: 2.063

Els tres ordres de magnitud del §1: 15,0 T tokens, 6,35·10²⁴ FLOPs, 16.000 GPUs

Magnitud	el text	aquesta combinació
Dades	10–40 bilions	15,0 T	dins de l’ordre del text
Còmput	10²⁴–10²⁶ FLOPs	6,35·10²⁴	dins de l’ordre del text
Acceleradors	desenes de milers	16.000	dins de l’ordre del text
Temps	setmanes o mesos	11,6 dies
Cost	desenes a centenars de milions de dòlars	11,1 M dòlars

La relació que lliga les cinc files és una divisió: els FLOPs de trainingFlops dividits pels FLOP/s efectius de la màquina, que són el pic per l'MFU: 990 × 40 % = 396 TFLOP/s per GPU. Les desenes de milers de GPUs no són un luxe: amb 6,35·10²⁴ FLOPs, fer-ho en 90 dies en demana 2.063, i amb deu vegades menys, deu vegades més temps.

N surt de les formes: 70,554 G; la regla 12·n·d² + V·d en diu 65,475 G (-7,2 %)

parameterBreakdown compta les matrius de debò —Q i O de d×d, K i V reduïdes per GQA a 8 caps, i les tres matrius de SwiGLU amb el d_ff = 3,50·d— i la regla del fitxer 11 suposa MHA i d_ff = 8d/3. Els dos errors van en sentits contraris i gairebé es compensen, però no del tot. I per saber que parameterBreakdown mateix no s'equivoca, el mateix model a escala petita, muntat de debò:

d = 64, 8 capes, 8 caps de Q i 1 de KV, d_ff = 224
Llargada del vector de pesos, `theta.length`	427.072
`layoutOf(cfg).total`	427.072
`parameterBreakdown(cfg).total`	427.072
La regla 12·n·d² + V·d	397.312 (-7,0 %)

Les tres primeres files coincideixen exactament: el recompte és el de debò. La quarta és la regla, i la seva desviació és la mateixa mena d'error que a escala gran. Per a un càlcul de sobre, un 10 % no canvia l'ordre de magnitud; per a un pressupost de desenes de milions de dòlars, sí que es nota.

Contra les xifres publicades: quants FLOP/s efectius van fer de debò

Les hores de GPU publicades permeten fer el càlcul al revés: 6ND dividit per les hores dona els FLOP/s que la màquina va fer de debò per GPU.

Model	6ND	hores publicades	TFLOP/s efectius	MFU
Llama 3.1 405B · 15,6T tokens	3,80·10²⁵	30,84 M de H100	342	35 %
DeepSeek-V3 · 33 G actius comptats (se n'anuncien 37) · 14,8T	2,94·10²⁴	2,79 M de H800	293	30 %

Llama 3.1 405B surt a uns 342 TFLOP/s per H100, un 35 % del pic en bf16: el rang del fitxer 17. Meta en va publicar un 38-43 %, i la diferència és que el seu recompte inclou els FLOPs de l'atenció, que 6ND ignora. DeepSeek-V3 és el cas que no encaixa amb el «desenes a centenars de milions de dòlars» del text: 5,6 M dòlars a 2 dòlars l'hora, perquè és un MoE —només paga uns 33 G paràmetres per token dels 671.000 milions que té— i es va entrenar en fp8. I el text té raó en l'altra meitat de la frase: aquesta xifra és només l'execució final, sense els experiments previs.

La fórmula que fa tot això és la del fitxer 11, C ≈ 6ND. El que aquest widget hi afegeix és la cadena sencera fins als dòlars, i la seva fragilitat: una MFU del 20 % en comptes del 40 % dobla el temps i el cost, i per això el fitxer 17 dedica una secció sencera a saber on es perd.

2. Les dades: on es guanya la partida# sense fórmules

2.1 Fonts típiques

Font	Proporció típica	Comentari
Web (Common Crawl i derivats)	50-70%	el gruix; qualitat molt desigual
Codi (GitHub i similars)	10-20%	millora el raonament també en text, un dels resultats empírics més sòlids
Llibres i articles acadèmics	5-15%	text llarg i coherent, molt valuós
Wikipedia i enciclopèdies	1-5%	densitat factual alta
Matemàtiques (proves, exercicis)	2-10%	creixent, clau per al raonament
Multilingüe	5-30%	depèn del model
Sintètiques	creixent, sovint decisiu	reescriptures, exercicis, diàlegs, traces de raonament

2.2 El pipeline de dades (la feina real)

Extracció: HTML → text net (trafilatura, resiliparse). Sembla trivial; no ho és.
Filtratge de qualitat: heurístiques (longitud, ràtio de símbols, repetició) + classificadors apresos de "sembla text educatiu?". FineWeb-Edu va demostrar que filtrar amb un classificador de qualitat val més que multiplicar el volum.
Deduplicació: exacta (hash), difusa (MinHash/LSH), i a nivell de document i de seqüència. La duplicació provoca memorització i malgasta còmput.
Descontaminació: eliminar text que solapi amb els benchmarks d'avaluació. Es fa malament o poc, i és la causa dels resultats inflats de molts models.
Filtratge de seguretat i PII: contingut il·legal, dades personals, toxicitat.
Mescla i currículum: proporcions per domini, sovint amb upsampling de fonts d'alta qualitat i un mid-training final amb dades molt curades i context llarg.

El pipeline de dades, executat

Un crawl passa per les sis etapes. Què treu cadascuna, i què se li escapa?

L'embut, etapa a etapa

entren	en treu	surten	de quina mena
264	0	264	—
264	41	223	10 brossa: fragment · 10 brossa: paraules clau repetides · 10 brossa: restes de marcat · 9 brossa: menú i peu de pàgina · 2 brossa: sopa de paraules
223	27	196	16 còpia exacta · 11 paràgraf original
196	33	163	18 còpia gairebé igual · 13 paràgraf original · 2 còpia exacta
163	8	155	3 paràgraf original · 3 examen copiat literalment · 2 només la pregunta de l’examen
155	7 tapats	155	—

Deduplicació difusa: MinHash i LSH

còpia gairebé igualActualitzat fa dos dies. El pescador surt al mar abans de sortir el sol. La barca del pescador és petita i vella. El pescador llança les xarxes al mar i encara Els peixos entren a …
còpia gairebé igualArticle de la redacció. L'aigua del pou és freda tot l'any. L'aigua de la font de la plaça raja tot l'any. L'aigua del riu baixa de la muntanya. L'aigua del mar és gairebé també L'…
paràgraf originalEl cavall del pagès és vell i tranquil. El pagès el porta al camp cada matí i el torna a l'estable al vespre. Abans el cavall estirava el carro; ara el carro el mou el tractor i el…
còpia gairebé igualAquest lloc web utilitza galetes pròpies i de tercers. Accepta-les o configura-les. Publicat el dilluns. El forn obre a les sis del matí. El forner comença a treballar a les sempre…
…i 29 més.

La corba en S de LSH amb 32 bandes de 4 files

1 − (1 − Jʳ)ᵇ
el llindar de Jaccard triat

Llindar de qualitat0,50

Probabilitat de «text bo» per sota de la qual es descarta.

Llindar de Jaccard0,60

Similitud a partir de la qual dos documents són duplicats.

Permutacions de MinHash, k128

Bandes de LSH

Bandes × files. El llindar de la corba en S cau a 0,42.

n de la descontaminació8-grames

GPT-3 feia servir 13.

Llavor

Un altre crawl amb la mateixa recepta.

documents del crawl: 264
en surten: 155
paraules que queden: 64 %
brossa que passa: 9 de 50
duplicats trobats: 34 de 34
exàmens que passen: 3

Deduplicació: l'exacta en treu 27; la difusa, 33 més, i troba 34 de les 34 parelles que la força bruta veu per sobre de 0,60

El hash exacte només veu els documents idèntics un cop normalitzats: minúscules i espais col·lapsats. Una quasi-còpia —una capçalera nova, dues paraules canviades— té un hash completament diferent, perquè un sol caràcter el canvia sencer. La difusa compara conjunts de trigrames de paraules amb Jaccard, i MinHash l'estima sense haver de comparar-los tots: 128 permutacions donen un error típic de 0,044 a Jaccard 0,5, que és √(J(1−J)/k).

Original

La nena pregunta si a Itàlia es menja igual que a Catalunya. El mestre diu que s'assemblen molt: oli, pa, tomàquet, peix i verdura. Diu que a Alemanya es menja més carn i més patata, que a Anglaterra es dina aviat i se s…

Quasi-còpia

Article de la redacció. La nena pregunta si a Itàlia es menja igual que a Catalunya. El mestre diu que s'assemblen molt: oli, pa, tomàquet, peix i verdura. Diu que a Alemanya es menja més carn i més patata, que a Anglate…

Aquesta parella té un Jaccard exacte de 0,872, i MinHash amb 128 permutacions l'estima en 0,898. El hash exacte les veu completament diferents. Amb bandes de 4 files, LSH les proposa com a candidates amb probabilitat 100 %.

Baixa el llindar de Jaccard per sota del de la corba en S (0,42) i LSH comença a deixar-se parelles que la força bruta sí que veu; puja'l per sobre de 0,8 i les quasi-còpies amb més canvis deixen de comptar com a duplicats. I la deduplicació també treu originals: de cada grup se'n queda el primer que ha arribat, que no sempre és l'original.

Qualitat: un 96 % d'encert sobre documents que no ha vist, i 8 de 10 sopes de paraules passen

El filtre és una regressió logística entrenada amb la meitat dels documents sobre sis característiques estandarditzades. El que ha decidit és als coeficients: positiu vol dir «sembla text bo».

longitud (log paraules)		0,20
ràtio de símbols		-2,83
repetició de trigrames		-0,39
paraules de funció		0,16
llargada de paraula		-0,17
puntuació final		4,93

On s'equivoca és on les característiques no poden veure res: una sopa de paraules són les paraules d'un paràgraf de debò remenades, amb la mateixa llargada, els mateixos símbols i les mateixes paraules de funció. Per a sis números de superfície és text bo. Una de les que passen: «i El en de oncles, caben. tarda avis. cansat reben dels sopa, Els dies juguen família taula dos els mentre tothom i torr…». És per això que els pipelines de debò no s'aturen aquí: CCNet filtra amb la perplexitat d'un model de llenguatge, i FineWeb-Edu amb un classificador entrenat sobre text etiquetat per un LLM —que llegeix, i no compta—. El text diu que filtrar així «val més que multiplicar el volum».

Descontaminació amb 8-grames: en caça 5, se n'escapen 3 i marca 3 documents nets

El filtre marca un document si comparteix algun n-grama de paraules amb algun ítem de l'examen. Els mateixos documents, amb cada n:

n	exàmens caçats	se n'escapen	falses alarmes
3	6	2	32
4	5	3	16
5	5	3	11
6	5	3	8
8	5	3	3
10	3	5	0
13	3	5	0

No hi ha cap n que ho faci bé, i aquest és el «es fa malament o poc» del text. Amb n petit, frases que el corpus conté legítimament —«és la capital de», «el gat dorm damunt la cadira»— marquen text net. Amb n gran, les preguntes copiades soles, que fan menys paraules que n, no es poden detectar mai. I les reescriptures se n'escapen amb tots els n que no marquen mig corpus: una pàgina que diu «de França, quina ciutat n'és la capital? Doncs París» conté la resposta de l'examen sense cap n-grama en comú.

Les dades personals són la cinquena etapa: 7 documents amb correus o telèfons tapats, i 1 que s'escapa perquè el correu està escrit amb paraules. I la sisena, la mescla, és el que queda: 155 documents de 264, que en un pipeline de debò es pesarien per domini abans d'entrenar.

Repetir dades: la regla de les quatre èpoques

Els mateixos passos i els mateixos tokens vistos, amb menys dades úniques repetides més vegades. A partir de quantes repeticions deixa de ser tan bo com tenir dades noves?

Sis models de d = 16 i 2 capes (7.952 paràmetres cadascun) entrenats en paral·lel sobre el corpus sencer, amb la pèrdua mesurada cada 20 passos sobre el 10 % del corpus que cap no veu.

Pèrdua sobre text no vist, durant l'entrenament

Al final: text nou contra text repetit

text no vist: si ha après
text repetit: si ha memoritzat

Amplada del model

Un model més gran memoritza abans: el colze es mou.

1 època: —
2 èpoques: —
4 èpoques: —
8 èpoques: —
16 èpoques: —
32 èpoques: —

Entrena una època sencera (340 passos) per poder llegir el resultat

Els sis models veuen exactament 43.520 tokens. El de dalt de la llista els veu tots una vegada; el de baix, 1.361 tokens repetits trenta-dues vegades. La comparació només és justa quan tots han fet tots els passos.

Repetir quatre vegades multiplica l'estoc de dades per quatre sense cost gairebé, i és una de les sortides del §5: al widget del mur de dades, quatre èpoques endarrereixen el creuament uns quants anys. Però només fins aquí: la corba de la dreta diu per què no es pot repetir indefinidament.

2.3 Dades sintètiques

Ja no és un recurs marginal: reescriure text web en format pedagògic, generar exercicis amb solució verificable, produir traces de raonament validades, i destil·lar models grans en dades per a models petits són pràctiques centrals. Riscos coneguts: col·lapse del model si t'alimentes recursivament de les teves pròpies sortides sense ancoratge en dades reals ni filtratge, i amplificació de biaixos del generador. La conclusió pràctica de la recerca recent: el guany ve sobretot de la qualitat del filtratge i de la mescla, no de la mida del generador.

3. Lleis d'escala# sense fórmules

3.1 Kaplan et al. (2020)

La pèrdua segueix lleis de potència en paràmetres, dades i còmput:

L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha_N}, \qquad L(D)\approx\left(\frac{D_c}{D}\right)^{\alpha_D}, \qquad L(C)\approx\left(\frac{C_c}{C}\right)^{\alpha_C}

La conclusió (interpretada llavors) va ser: fes models molt més grans. Va donar lloc a GPT-3 i a tota una generació de models enormes i infraentrenats.

3.2 Chinchilla (Hoffmann et al., 2022): la correcció

Amb un pressupost de còmput fix $C\approx 6ND$ , l'òptim és escalar $N$ i $D$ proporcionalment:

N_{opt}\propto C^{0.5}, \qquad D_{opt}\propto C^{0.5}, \qquad \frac{D}{N}\approx 20 \text{ tokens per paràmetre}

Chinchilla (70B, 1,4T tokens) va superar Gopher (280B, 300B tokens) amb el mateix còmput. Tots els models grans anteriors estaven infraentrenats.

Les lleis d'escala, ajustades

Cinc amplades entrenades de debò. Quina llei segueixen, quin exponent té, i amb un pressupost fix, quin repartiment entre paràmetres i dades dona la pèrdua més baixa?

Cinc models de d = 8 a 32 i 2 capes (2,7 k, 5,0 k, 8,0 k, 16,9 k, 29,2 k paràmetres) sobre el 90 % del corpus, en paral·lel. La pèrdua es mesura a 13 punts de control sobre el 10 % que cap no veu: 0 passos fets.

Pèrdua contra tokens, per amplada (log-log)

la llei de Chinchilla ajustada

IsoFLOP a 2,00·10⁹ FLOPs: quina amplada guanya

paràbola i el seu mínim, sobre els punts
l’òptim que diu la llei

Encara no hi ha cap punt: entrena l'escala.

Què compta com a N

Kaplan comptava sense embeddings; Chinchilla, tots. A aquesta escala els embeddings són molt.

Pressupost de la corba IsoFLOP, C2,00·10⁹ FLOPs

C = 6ND. Cada amplada hi arriba amb un D diferent.

α (paràmetres): —
β (dades): —
E (irreductible): —
D/N òptim (llei): —
D/N òptim (IsoFLOP): —

Entrena l'escala per ajustar-hi les lleis

Calen almenys 320 passos de les cinc amplades perquè hi hagi prou punts, i les 1.280 perquè l'ordre per amplades sigui net. Mentre entrena, els punts van apareixent al gràfic de l'esquerra i la corba IsoFLOP ja es pot llegir; els ajustos es fan quan s'atura, perquè el bootstrap fa dues-centes rèpliques.

Una llei d'escala no demana models bons: demana models comparables, entrenats igual, avaluats sobre el mateix text. Aquests en són, i per això n'hi ha prou amb cinc amplades de joguina per veure la forma. El que no es pot fer amb ells és extrapolar a 70.000 milions de paràmetres: els exponents d'aquí són els d'aquest règim.

3.3 L'era inference-optimal

Chinchilla optimitza el cost d'entrenament. Però un model es desplega i s'hi fan milers de milions de consultes: el cost d'inferència domina el cicle de vida total. Si pots posar la mateixa capacitat en menys paràmetres, cada consulta futura és més barata.

Conseqüència: tothom sobreentrena. Ràtios de 100–400 tokens per paràmetre són comunes (Llama 3 8B: ~1.875 tokens/param). Es paga més en entrenament per estalviar en inferència durant anys.

Chinchilla contra inference-optimal

Per a la mateixa pèrdua, quin model surt més barat si comptes també el que costarà servir-lo? I a partir de quantes consultes té sentit sobreentrenar?

Cost del cicle de vida a la pèrdua 2,022

Q = 0: només entrenar
Q = 1,00·10¹³
Q = 1,00·10¹⁴

Tokens per paràmetre òptims, segons els tokens servits

20: Chinchilla
1.875: el model de referència

Llei d'escala

Entrena l’escala del widget de dalt per poder fer servir la teva llei.

Pèrdua objectiu: la de

Tokens servits en tota la vida del model, Q1,00·10¹³ tokens

Tokens per consulta1000

Per passar de tokens a consultes.

pèrdua objectiu: 2,022
Chinchilla: N: 33,8 G
Chinchilla: D/N: 19,1
cicle de vida: N: 13,4 G
cicle de vida: D/N: 193
estalvi: 41 %

Sense consultes, l'òptim és el de Chinchilla: 19,1 tokens per paràmetre amb aquesta llei

Amb Q = 0, el cost del cicle de vida és el d'entrenar i res més, i l'òptim ha de coincidir amb el de Chinchilla. Coincideix —el test del projecte ho comprova a quatre xifres—. Amb la llei de Besiroglu et al. dona els ~20 del text. Canvia a la de Hoffmann tal com es va publicar i surt una altra cosa: ~91. És l'error que la rèplica va trobar: els paràmetres de la taula del paper no són coherents amb la conclusió del mateix paper, que va sortir dels altres dos mètodes.

Llama 3 8B · 15T tokens: 1.875 tokens per paràmetre és l'òptim a partir de 1,90·10¹⁴ tokens servits

És el número que el text no dona i que decideix si sobreentrenar té sentit. Amb 1,90·10¹⁴ tokens servits —1,90·10¹¹ consultes de 1.000 tokens— el model de 8 G paràmetres entrenat amb 15,0 T tokens és exactament el que minimitza el cost total. Per sota, és massa petit i massa entrenat; per sobre, encara convindria un model més petit.

I qui paga què. Amb aquest volum, entrenar-lo són 7,20·10²³ FLOPs i servir-lo, 3,04·10²⁴: la inferència és 4,2 vegades l'entrenament. El model de Chinchilla per a la mateixa pèrdua seria de 33,8 G paràmetres i 19 tokens per paràmetre: més barat d'entrenar, i 4,2 vegades més car a cada token servit.

El creuament: a 1,93·10¹² tokens servits, servir el model de Chinchilla costa tant com entrenar-lo

Per sota d'aquest volum, el cost d'entrenar domina i l'òptim és gairebé el de Chinchilla; per sobre, la inferència domina i l'òptim fuig cap a l'esquerra del gràfic de dalt. Amb Q = 1,00·10¹³, el model òptim és 2,5 vegades més petit que el de Chinchilla, s'entrena amb 193 tokens per paràmetre, i el total estalvia un 41 %. Aquesta és la raó per la qual «tothom sobreentrena»: un model que es servirà a milions d'usuaris durant anys viu molt a la dreta del creuament. El model de referència, amb aquest Q, costa 1,85 vegades l'òptim.

Tot això suposa que la llei d'escala continua valent a milers de tokens per paràmetre, que és molt més enllà d'on es va mesurar. Els models sobreentrenats reals encaixen amb la tendència, però amb una incertesa que creix com més t'allunyes. I Q és la variable que menys se sap: ningú no sap quants tokens servirà un model abans de desplegar-lo.

3.4 Lleis d'escala per a tot

El marc s'ha generalitzat: hi ha lleis d'escala per a MoE (nombre d'experts vs actius), per a precisió numèrica (quants bits pots retallar abans que la pèrdua compensi), per a la mescla de dades, per a RL de postentrenament, i per al càlcul en temps d'inferència (vegeu 19).

4. Capacitats emergents: el debat# sense fórmules

L'observació original (Wei et al., 2022): certes capacitats apareixen bruscament a partir d'una escala determinada, sense avís previ a escales menors.

La crítica (Schaeffer et al., 2023): moltes d'aquestes "emergències" són artefactes de la mètrica. Si mesures amb exact match (tot o res), qualsevol millora gradual sembla un salt; si mesures amb log-probabilitat o distància d'edició, la corba és suau.

Estat actual del debat: una part important de l'emergència és artefacte de mesura, però no tota. Hi ha transicions genuïnes en què un mecanisme intern nou apareix de cop (la formació dels induction heads, per exemple, es veu com un canvi de fase en la corba de pèrdua). La lliçó pràctica: desconfia dels gràfics d'emergència i mira sempre amb quina mètrica s'han fet.

Emergència: l'artefacte de la mètrica

La mateixa tanda, les mateixes prediccions, tres mètriques. Per què una sembla un salt i les altres no? I quan és un salt de debò?

Una tanda sola, amb 60 punts de control: 0 passos fets.

encert exacte, k = 5
encert per paraula elevat a 5
encert per paraula
log-probabilitat, del mínim al màxim
1 − distància d’edició

La tasca de recuperació, amb la pèrdua i l'encert cada 10 passos: 0 fets.

pèrdua sobre la resposta
encert (escala de 0 al màxim de la pèrdua)
ln 8: triar a l’atzar entre els vuit valors

Paraules de la frase, k5

Les mateixes prediccions, agrupades en frases més llargues o més curtes. No cal reentrenar.

encert per paraula: 0 %
encert exacte, k = 5: 0 %
log-prob de la frase: -33,96 nats
distància d’edició: 0,999

Entrena la tasca del diccionari per veure les tres corbes

Un model de 32 dimensions aprèn a traduir 512 paraules inventades. Cada 10 passos es mesura, per a cada paraula, si l'encerta i amb quina probabilitat, i d'aquí surten les tres mètriques per a frases de k paraules.

Entrena el contraexemple: la induction head

La tasca de recuperació del fitxer 14: una parella marca → valor amagada entre farciment, i el model l'ha de trobar i copiar. Mira la corba de la pèrdua, no la de l'encert.

La lliçó pràctica del text: desconfia dels gràfics d'emergència i mira amb quina mètrica s'han fet. Un benchmark d'encert exacte sobre respostes llargues fabricarà salts amb qualsevol model que millori a poc a poc; la mateixa tasca mesurada amb log-probabilitat dirà si hi ha res de nou.

5. El "mur de dades"# sense fórmules

El text humà d'alta qualitat a internet és finit. Les estimacions públiques situen l'esgotament del text públic útil entre mitjans i finals d'aquesta dècada, i els models de frontera ja hi treballen molt a prop.

Sortides:

Dades sintètiques filtrades i verificades (la principal).
Multimodalitat: vídeo i àudio contenen ordres de magnitud més informació (i informació sobre el món físic, no només sobre text).
Dades privades i llicenciades (acords amb editorials, fòrums, arxius).
RL i entorns: generar experiència pròpia en entorns verificables en lloc d'imitar text. És la direcció que més creix.
Millor eficiència de dades: currículums, optimitzadors millors, arquitectures que aprenen més per token.

El mur de dades

Quan s'acaba el text públic útil? No és una data: és un càlcul. De què depèn, i què passa amb la sortida principal, les dades sintètiques?

Consum de frontera contra estoc utilitzable

tokens del model de frontera
estoc × èpoques
creuament

Diversitat generació rere generació

sense text real
amb un 50 % de text real
la teva configuració

Estoc de text públic útil300 T tokens

Epoch AI estima uns 300 bilions, amb un factor 3 per banda.

Creixement anual de l'estoc7,0 %

Creixement anual del còmput de frontera4,0×

Tokens per paràmetre38

20 és Chinchilla; Llama 3 405B en va fer 38 i Llama 3 8B, 1.875.

Èpoques acceptables1,0

Text real barrejat a cada generació0 %

L'ancoratge del text: sense, el col·lapse.

Temperatura del generador sintètic1,00

Per sota d'1, el text surt «més net» i el col·lapse va més de pressa.

any del creuament: 2028,7
tokens del model de 2024: 15,9 T
diversitat final: 34 %
paraules diferents: 718 → 359

Amb aquests paràmetres el consum passa l'estoc el 2028,7; amb els de referència, el 2028,7

El càlcul és tancat. Els tokens del model de frontera surten de C = 6ND amb D = r·N: D = √(r·C/6). Els de 2024, amb 4,00·10²⁵ FLOPs i 38 tokens per paràmetre, surten a 15,9 T —Llama 3 405B en va fer 15,6 bilions—. Com que D creix amb l'arrel del còmput, multiplicar el còmput per 4,0 cada any només multiplica les dades per 2,00. El que el widget ha d'ensenyar és de què depèn la data, amb la resta fixa:

Tokens per paràmetre × 10	2026,9	-1,8 anys
Estoc × 3 (la incertesa de l’estimació)	2030,5	+1,8 anys
Quatre èpoques	2030,9	+2,2 anys
Còmput que creix 2× l’any, no 4×	2034,5	+5,8 anys

La palanca més grossa de la taula és «còmput que creix 2× l’any, no 4×», que mou la data 5,8 anys: el creixement del còmput és l'exponent de tot el càlcul. La ràtio de tokens per paràmetre, que és la que el widget del cicle de vida empeny amunt, l'avança 1,8 anys per cada factor 10: sobreentrenar per estalviar en inferència consumeix el mur abans. La incertesa de l'estoc, un factor 3, la mou 1,8 anys —el creixement és exponencial i un factor 3 són pocs anys—, i les quatre èpoques del widget de la repetició, 2,2.

Col·lapse: després de 10 generacions queden un 34 % dels quadrigrames i la pèrdua sobre text real passa de 1,94 a 3,33

Un model de quadrigrames de caràcters entrenat amb 12 k caràcters del corpus escriu 12 k caràcters; el següent s'entrena amb el que ha escrit l'anterior; i així deu vegades. El mecanisme és el de Shumailov et al. (2024): un quadrigrama que la mostra d'una generació no conté no pot tornar a sortir mai, perquè el model següent li dona probabilitat zero. La cua es perd primer —les paraules rares, les construccions poc freqüents— i el que queda és cada cop més repetitiu.

Generació	quadrigrames	paraules	pèrdua sobre text real
0	3.493	718	1,944
2	2.370	698	2,485
4	1.840	545	2,837
6	1.527	476	3,083
8	1.330	408	3,246
10	1.181	359	3,330

Amb un 50 % de text real a cada generació, el que es perd es torna a trobar: la diversitat acaba en un 98 % de l'original, contra el 34 % sense ancoratge. És la conclusió del text: el que salva les dades sintètiques és el filtratge i la barreja amb dades reals, no la mida del generador.

Les altres sortides, amb el que compren

Multimodalitat. A YouTube s'hi pugen unes 500 hores de vídeo per minut. Quinze anys a aquest ritme són 3,9 G hores, i a 290 tokens per segon —258 per fotograma a un fotograma per segon, més l'àudio— donen 4,12·10¹⁵ tokens: 14 vegades l'estoc de text. Amb molta menys informació per token, però sobre el món físic.
Dades privades i llicenciades: no canvien l'ordre de magnitud de l'estoc; en canvien la qualitat.
RL en entorns verificables: no consumeix text, en genera, i la seva mida no té sostre. És la direcció que més creix, i és el tema del fitxer 19.
Millor eficiència de dades: cada 2× d'eficiència és el mateix que dos cops més estoc, i mou la data 1,1 anys.

La projecció és una eina per pensar, no una predicció: cada paràmetre té una incertesa d'un factor 2 o 3, i la manera com s'han trencat les prediccions del mur fins ara ha estat sempre la mateixa —s'ha trobat més text del que es comptava, i s'ha après a fer-lo servir més vegades—.

6. Memorització, privacitat i drets d'autor# sense fórmules

Els models memoritzen literalment part de les dades, sobretot les duplicades i les rares. Això té tres conseqüències serioses:

Privacitat: possible extracció de PII; es mitiga amb deduplicació i filtratge, no s'elimina.
Drets d'autor: litigis oberts arreu sobre l'ús de text protegit per a entrenament; el marc legal és inestable i varia per jurisdicció.
Avaluació: la memorització de benchmarks és contaminació (25pendent).

Memorització i duplicació

Un secret que surt al corpus una vegada, quatre, setze o seixanta-quatre. Quant l'ha après el model, i a partir de quantes còpies el pot recitar?

Un mini-GPT de 32 dimensions (29.856 paràmetres) sobre el corpus sencer amb els secrets inserits: 54.569 caràcters. L'exposició es mesura als passos 150, 300, 450, 600, recorrent els mil candidats de cada secret.

log₂ 1000: el primer de la fila
1 bit: al mig de la fila

Llavor

Uns altres secrets, inserits en unes altres posicions.

0 còpies: —
1 còpia: —
4 còpies: —
16 còpies: —
64 còpies: —

Entrena el model per mesurar què ha memoritzat

El corpus porta 255 frases de secret inserides: tres secrets per a cada nombre de còpies, 1, 4, 16 i 64. Els de Marta, Pere, Jordi no hi són cap vegada: són el control.

La mesura fa servir mil candidats perquè es poden provar tots. Els secrets de debò —números de telèfon, adreces— tenen espais de milions o milers de milions, i aleshores l'exposició s'estima per mostreig, però vol dir el mateix: quants bits d'informació sobre aquell secret en concret ha après el model.

7. Comprova que ho has entès#

0 de 5 resoltes

Enuncia la conclusió de Chinchilla i explica per què gairebé ningú no l'aplica literalment avui.
Per què afegir codi al corpus millora el raonament també en tasques que no són de codi?
Perquè el codi és text amb una estructura lògica explícita —variables definides lluny d'on es fan servir, passos que depenen dels anteriors, un resultat que es pot comprovar— i predir-lo bé obliga a aprendre a seguir estat i encadenar passos, que és una habilitat que es transfereix.Perquè els benchmarks de raonament estan escrits en llenguatges de programació.Perquè el codi té més tokens per document, i més tokens sempre ajuden.Perquè el codi no té errors, i el model aprèn a no equivocar-se.
Què és el col·lapse del model i com s'evita? Al widget del mur de dades, barreja text real a cada generació i mira què fa la diversitat.
Objectiu:Al widget del mur de dades, puja el control «Text real barrejat a cada generació» fins al 30 % o més.
Vés al widget ↑real = per defecte
Quina és la crítica de Schaeffer et al. a les capacitats emergents?
Que molts salts són artefactes de la mètrica: amb encert exacte sobre respostes de diversos tokens, una millora suau de cada token es converteix en un salt, i amb log-probabilitat o distància d'edició la mateixa corba és suau.Que les capacitats emergents no existeixen: tota millora dels models és gradual.Que els salts vénen de la contaminació: els models grans han vist les respostes dels benchmarks.Que els salts vénen de fer servir massa pocs models, i amb més punts la corba seria suau.
Amb $C = 6ND$ : quants FLOPs calen per entrenar un model de 30B amb 8T tokens, i quants dies triga amb 4.000 GPUs a 400 TFLOP/s efectius?
diesMarge acceptat: 3 %

8. Recursos#

Marca els que hagis llegit

Kaplan et al. (2020), Scaling Laws for Neural Language Models.
Hoffmann et al. (2022), Training Compute-Optimal Large Language Models (Chinchilla).
Penedo et al. (2024), The FineWeb Datasets — el millor material públic sobre pipelines de dades.
Muennighoff et al. (2023), Scaling Data-Constrained Language Models (repetir dades).
Schaeffer et al. (2023), Are Emergent Abilities of Large Language Models a Mirage?
Villalobos et al., Will we run out of data? (Epoch AI).