10 · Tokenització

La longitud de seqüència no és una molèstia: és el que multiplica el cost de l'atenció, i el terme que mana a context llarg és $L^2 d$. Aquesta taula agafa el mateix text, el tokenitza de les tres maneres i calcula què costaria una capa d'atenció amb $d = 4096$ per a cadascuna.

Amb aquest text, processar-lo byte a byte costaria 14,4 vegades més d'atenció que amb subparaules, perquè la seqüència és 3,79 vegades més llarga i el cost va amb el quadrat. La columna de la dreta és l'altra meitat del compromís: amb paraules senceres, la taula d'embeddings passa a 5,5 M paràmetres, i això amb un vocabulari tret de deu mil paraules de corpus. Amb un corpus real seria de milions d'entrades.

I l'OOV. Amb vocabulari de paraules, el 0,0 % dels tokens d'aquest text cauen fora. No és que es tokenitzin malament: no hi ha cap manera de representar-los, i acaben en un <UNK> que perd la informació per sempre. Amb bytes i amb subparaules de nivell byte, aquella columna és zero passi el que passi, i prova el botó dels emojis per veure-ho.

La propietat que ha de complir un tokenitzador abans que cap altra: passar el text a enters i tornar-lo enrere ha de donar exactament el mateix text. Aquí es fa amb el text de prova, i es compara amb el que dona la variant de caràcters.

Amb byte-level, prova tots els botons: emojis, japonès, àrab, símbols matemàtics. Cap no falla, i no és sort. L'alfabet de partida són els 256 bytes sencers, hi surtin o no al corpus d'entrenament, i qualsevol seqüència de bytes és per definició una seqüència de símbols de l'alfabet. No hi pot haver <UNK> perquè no hi ha res que quedi fora. Canvia a «Caràcters» i prova els emojis altra vegada.

La compressió es mesura al corpus sencer, no al text de prova: 2,476 bytes per token amb 300 fusions. Sense cap fusió és exactament 1,000, perquè cada token és un byte. La corba de sota ensenya què guanyes per cada fusió que hi afegeixes, i que els guanys s'esgoten.

La diferència entre els tres no és de mecànica sinó de criteri. BPE fusiona la parella més freqüent i no optimitza res. WordPiece fusiona la que més puja la versemblança del corpus sota un model unigrama. Unigram LM comença amb un vocabulari gran i elimina el que menys versemblança costa. Per comparar-los de manera justa cal, doncs, mesurar exactament allò: la versemblança del corpus sota cada vocabulari, amb cadascun segmentant com sap.

Amb 500 tokens de vocabulari, guanya Unigram LM i perd BPE, amb 2,71 k nats de diferència sobre el mateix text. No és cosmètic: són milers de nats, i la comparació és justa perquè els tres vocabularis tenen exactament la mateixa mida i s'avaluen sobre el mateix corpus.

Que BPE perdi era previsible: és l'únic dels tres que no mira la versemblança en cap moment. La freqüència és una heurística raonable —les parelles freqüents solen ser les que més ajuden— però no és el mateix que el criteri. I que Unigram tendeixi a guanyar WordPiece té una segona raó a part del criteri: segmenta amb$\,\text{Viterbi}$, que troba la millor partició de la paraula, mentre que WordPiece agafa el prefix més llarg disponible i no torna enrere. Un algorisme voraç pot triar un tros llarg i car que obliga a partir malament la resta.

El text diu: «amb $d=4096$ i $V=256k$ són 1.000M de paràmetres només en aquesta matriu». És exacte: $4096 \times 256\,000 = 1{,}05\cdot 10^{9}$, i aquí en tens el número 1,049 G. Però el número sol no diu si és molt o poc: el que ho diu és quina fracció del model representa.

Aquí hi ha la resposta a «per què a models grans un vocabulari gran surt a compte i a models petits no». La taula del vocabulari creix com $d\cdot V$, linealment en l'amplada; el cos del model creix com $N\cdot d^2$, quadràticament. En un model petit, 128.000 tokens de vocabulari se'n mengen una part que ja no és negligible; en un de gran, la mateixa taula és una fracció petita i el que en treus — seqüències més curtes, i per tant menys cost quadràtic d'atenció— val molt més del que costa.

Weight tying és la resposta dels models petits: compartir la matriu d'entrada i la de sortida estalvia exactament $d\times V$ paràmetres, que amb aquesta configuració són 524,29 M —7,0 % del model sense compartir. Activa el commutador i mira la fila «fracció del model sencer» caure a la meitat. En models grans es deixa de fer, perquè l'estalvi ja no compensa la restricció que imposa.

Aquesta és la promesa del text: «més bytes per patch quan el text és previsible». No és una descripció del mecanisme, és una predicció comprovable, i aquí es comprova posant els cinc textos al mateix llindar i mesurant les dues magnituds per separat: l'entropia mitjana per una banda i la mida mitjana dels patches per l'altra.

La taula està ordenada per entropia creixent i la columna de la dreta baixa amb ella: com més sorprèn el text, més curts són els patches. És exactament el comportament que fa que la idea tingui sentit —el model gasta capacitat on passa alguna cosa i no on el text es pot endevinar— i és el contrari del que fa un vocabulari fix, que gasta el mateix passi el que passi.

La reconstrucció també s'hi comprova: concatenar els bytes dels patches torna el text exacte. Val la pena mirar-ho sobre els bytes i no sobre el text descodificat: una frontera de patch pot partir una «ó» pel mig, i llavors cap dels dos trossos és text vàlid tot sol encara que junts sumin el caràcter. És el mateix que passa amb els tokens de BPE de nivell byte.

El model d'entropia d'aquí són uns recomptes de bytes d'ordre 3 amb reculada; al Byte Latent Transformer és una xarxa petita que corre abans del model gran. La mecànica que decideix les fronteres és la mateixa: trencar quan la predicció es fa insegura.