Salta al contingut
Entendre els LLMs
Bloc 3intermedi2 h
IntuïtiuMatemàtic

Abans d'això: Fonaments de machine learning

08 · NLP clàssic i embeddings

Idea central: abans dels Transformers, el NLP ja havia descobert la idea més important del camp: el significat es pot representar com una posició en un espai vectorial, apresa a partir del context.

1. La hipòtesi distribucional# sense fórmules

"Coneixeràs una paraula per la companyia que manté." — J.R. Firth, 1957

Aquesta frase és el fonament conceptual de tot el NLP modern, LLMs inclosos. Si "gat" i "gos" apareixen en contextos semblants, han de tenir representacions semblants. Un LLM no fa res més sofisticat que portar aquesta idea al límit: el significat d'un token és funció de tot el que l'envolta.

La companyia que manté una paraula

Si el significat és la companyia, hauria de sortir dels recomptes de context i de res més. Surt?

Els deu veïns més propers de gat per cosinus de les files de coocurrència
#paraulacosinusbarraocurrències
1gos0,891421
2pagès0,861118
3dia0,845725
4pa0,841924
5quan0,840049
6pare0,839524
7nen0,839511
8dorm0,83799
9rei0,833317
10príncep0,83146

Cosinus entre la fila de «gat» i la de cada altra paraula del vocabulari. Una fila és el recompte de què surt dins de la finestra: 353 columnes, una per paraula del vocabulari. El cosinus amb «gos» val 0,891 i el de dues paraules sense res a veure ronda 0,520.

Entre parèntesis, les vegades que surt al corpus.

±4 paraules

Finestres petites capten sintaxi; les grans, tema.

5 ocurrències

Les paraules rares tenen files quasi buides i cosinus sense sentit.

corpus
10.130 paraules
vocabulari
353
parelles comptades
55.940
ocurrències de "gat"
23
veí més proper
gos
cosinus
0,8914
El cosinus surt dels recomptes, i de res més

Aquestes són les dues files senceres de la matriu de coocurrències —quantes vegades cada paraula ha sortit dins de la finestra de gat i de gos— restringides a les columnes on almenys una de les dues té recompte. El cosinus és el producte escalar dividit per les dues normes, i no hi intervé res més: cap xarxa, cap entrenament, cap paràmetre après.

contextgatgosproducte
el3228896
la11666
i6742
de7321
els4520
dorm6212
a4312
menja3412
és339
quan248
producte escalar de les 93 columnes1.160

cos⁡=1.16038,51⋅33,79=0,8914\cos = \frac{1.160}{38,51\cdot 33,79} = 0,8914 — el mateix número que surt al readout, calculat aquí amb les dues normes a la vista. Les dues paraules comparteixen 35 contextos diferents. Això és tota la hipòtesi distribucional: no s'ha mirat què vol dir cap paraula, només amb qui va.

Baixa la finestra a 1 i el veïnatge canvia de naturalesa: amb només la paraula del costat, el que s'assembla són les que fan la mateixa funció sintàctica. Puja-la a 8 i el que s'assembla són les del mateix tema. La mateixa matriu, dues nocions de semblança diferents, i cap de les dues no és la correcta.

Aquesta matriu és l'avantpassat directe de word2vec i de GloVe, i no de lluny: Levy i Goldberg van demostrar el 2014 que skip-gram amb negative sampling factoritza implícitament aquesta mateixa matriu, transformada amb PPMI i desplaçada. El que canvia de la secció 1 a la secció 4 no és la idea, és la representació: passar de V columnes esparses a tres-centes dimensions denses.

2. Models de n-grames# sense fórmules

p(xt∣x<t)≈p(xt∣xt−n+1,…,xt−1)p(x_t\mid x_{<t}) \approx p(x_t \mid x_{t-n+1},\dots,x_{t-1})

Estimats per comptatge amb suavitzat (Laplace, Kneser–Ney). Van dominar fins al 2010 i encara són útils com a baseline i per a tasques de baix recurs.

Per què no escalen:

  • El nombre de paràmetres creix com VnV^n (explosió combinatòria).
  • Cap generalització: "el gat menja peix" no ajuda gens a estimar "el felí devora bacallà". No hi ha noció de similitud.
  • El context és finit i curt (n=5 ja és inviable).

Els LLMs resolen exactament aquests dos problemes: representacions distribuïdes (generalització) i context llarg.

Models de n-grames: on es trenquen

Pujar l'ordre hauria de donar més context i millor predicció. Per què passa el contrari?

0 %50 %100 %
  • perplexitat al test (esquerra, log)
  • perplexitat a l’entrenament
  • contextos mai vistos (dreta, 0–100 %)
Perplexitat contra mida del corpus, amb n = 2
paraulesperplexitat
4311.152,0
8611.060,2
1.722893,1
3.014797,8
4.306737,7
6.028679,1
7.319615,7
8.611589,9
Text generat pel model d'ordre 2

poca amigues homes aules pugen junt la casa del muller civada baixen plenes juga recordar tan ensenyarà pesca dits països marxa següent mentrestant agradava tallats ella truca pàgines gana plens canonades expliqui pomes abans

A ordre 1 són paraules soltes; a ordre 4 o 5 comença a copiar trossos sencers del corpus, que és l'altra cara de tenir massa pocs contextos: no generalitza, memoritza.

2-grames

Paràmetres si es desés dens: V^n = 1,6 M

Suavitzat
0,100

A k petit el model confia en els recomptes; a k gran, en la uniforme.

8.600 paraules

El vocabulari es manté fix perquè la comparació sigui justa.

La mateixa llavor dona sempre el mateix resultat.

perplexitat al test
589,9
pèrdua
6,380 nats
contextos mai vistos
7,8 %
n-grames mai vistos
50,5 %
paràmetres densos (Vⁿ)
1,59 M
contextos observats
1.261
El número que explica l'explosió: els contextos que no s'han vist mai

La perplexitat no puja amb l'ordre perquè el model «es confongui»: puja perquè a partir d'un cert nn la immensa majoria dels contextos del test no s'han vist mai a l'entrenament, i llavors el model no respon amb el que ha après sinó amb el que li dicta el suavitzat. Aquesta taula ho mesura.

nperplexitatcontextos mai vistosVⁿvistos de debò
1344,20,0 %1,3 k1
2589,97,8 %1,6 M1.261
31.042,150,5 %2,0 G4.973
41.177,282,4 %2,5 T7.430
51.223,492,2 %3.201,1 T8.228
61.240,196,1 %4.039.765,3 T8.452

A l'ordre 5, el 92,2 % dels contextos del test són nous: el model podria haver estat entrenat amb un altre text i donaria gairebé el mateix. I la taula densa tindria 3.201,1 T entrades per a 8.228 contextos realment observats —una de cada 389,0 G. No és un problema d'implementació: amb deu mil paraules no hi ha manera de veure els contextos de cinc paraules, i amb deu mil milions tampoc, perquè el nombre de contextos possibles creix més de pressa que qualsevol corpus.

I el que no arregla res: el suavitzat reparteix massa entre els contextos no vistos, però no pot inventar-se quina paraula hi va. «El gat menja peix» no ajuda gens a estimar «el felí devora bacallà», perquè per a un model de n-grames aquelles sis paraules són sis símbols sense cap relació. Aquest és el segon problema que la secció esmenta, i el que les representacions distribuïdes venen a resoldre: la perplexitat que veus aquí s'ha de comparar amb la de qualsevol model neuronal del fitxer 04.

La perplexitat que surt aquí és exactament la mateixa funció del fitxer 04: exponencial de la pèrdua mitjana en nats. Un bigrama sobre deu mil paraules de català ronda les dues-centes, que vol dir que a cada paraula el model dubta com si triés entre dues-centes opcions equiprobables. Un LLM modern sobre text general ronda entre 5 i 15.

3. Representacions esparses: TF-IDF i BM25# sense fórmules

TF-IDF: pesa un terme per la seva freqüència al document i per la seva raresa al corpus:

tfidf(t,d)=tf(t,d)⋅log⁡Ndf(t)\text{tfidf}(t,d) = \text{tf}(t,d)\cdot\log\frac{N}{\text{df}(t)}

BM25 afegeix saturació de freqüència i normalització per longitud:

BM25(q,d)=∑t∈qIDF(t)⋅f(t,d)⋅(k1+1)f(t,d)+k1(1−b+b∣d∣avgdl)\text{BM25}(q,d) = \sum_{t\in q} \text{IDF}(t)\cdot\frac{f(t,d)\cdot(k_1+1)}{f(t,d)+k_1\left(1-b+b\frac{|d|}{\text{avgdl}}\right)}

TF-IDF i BM25: el rànquing i per què BM25 encara hi és

Repetir un terme deu vegades en un document, el fa deu vegades més rellevant?

  • BM25: satura
  • TF-IDF: lineal, sense sostre
  • límit IDF·(k₁+1) = 1,52
Rànquing dels vuit documents per a la consulta «bomba aigua»
#documentpuntuaciócontribució per termel'altre rànquing
1Avaries habituals de les bombes d’aigua48 paraules1,352
bomba 1,17aigua 0,18
1r
2Manual de la bomba MX-412052 paraules1,311
bomba 1,07aigua 0,24
2n
3Instal·lació del sistema de reg48 paraules1,131
bomba 0,95aigua 0,18
4t
4Com triar una bomba per al reg50 paraules1,117
bomba 0,94aigua 0,18
3r
5Aigua i estalvi a l’horta54 paraules0,278
bomba 0,00aigua 0,28
6è
6Informe de Marta Vilaseca sobre el consum del reg42 paraules0,259
bomba 0,00aigua 0,26
5è
7Manteniment del filtre48 paraules0,181
bomba 0,00aigua 0,18
8è
8El motor de dos-cents watts37 paraules0,000
bomba 0,00aigua 0,00
7è
Puntuació
1,20

A 0, la freqüència deixa de comptar del tot. El valor habitual és 1,2.

0,75

A 0, la longitud del document no compta. El valor habitual és 0,75.

Consultes que val la pena provar
consulta
bomba aigua
primer resultat
d3
documents amb puntuació
7 de 8
terme més rar
bomba (df 4)
límit de BM25 per aquell terme
1,525
longitud mitjana (avgdl)
47,4 paraules
La saturació de BM25, mesurada contra el seu límit

La diferència de forma entre les dues puntuacions es veu amb quatre números. TF-IDF és tf⋅idf\text{tf}\cdot\text{idf}: lineal en la freqüència, sense sostre. BM25 és idf⋅f(k1+1)f+k1(… )\text{idf}\cdot\frac{f(k_1+1)}{f + k_1(\dots)}, i quan f→∞f\to\infty tendeix a idf⋅(k1+1)\text{idf}\cdot(k_1+1) sense arribar-hi mai.

freqüènciaBM25× respecte d'1TF-IDF× respecte d'1
10,6931,00×0,6931×
20,9531,38×1,3862×
41,1731,69×2,7734×
81,3261,91×5,5458×
161,4192,05×11,09016×
∞1,5252,20×∞∞

Doblar la freqüència d'1 a 2 multiplica la puntuació de BM25 per 1,375, no per 2. I per molt que es repeteixi, no passarà mai de 1,525 = 0,693 · 2,2. Aquesta és la propietat que fa BM25 robust al farciment de paraules clau: un document que repeteix «bomba» cent vegades no guanya cent vegades més. Baixa k₁ a 0 i la freqüència deixa de comptar del tot; puja'l a 5 i la corba s'assembla molt més a la recta.

I l'altra meitat de per què encara hi és el 2026. Prova la consulta «MX-4120». Un sol document la conté i és exactament el que vols; tots els altres parlen de bombes d'aigua amb paraules diferents. Un embedding dens col·locaria els vuit documents molt a prop l'un de l'altre —tots parlen del mateix tema— i el codi de producte, que no té cap semàntica, es dissoldria. BM25 no entén res del tema i per això encerta: li dona una IDF alta perquè és rar, i cap altre document no el conté. La recepta guanyadora, com diu el text, és tenir totes dues coses.

Fixa't en el paper de b amb la consulta temàtica: amb b = 0 els documents llargs guanyen només per ser llargs (tenen més ocasions de contenir el terme), i amb b = 1 es penalitzen en proporció exacta a la seva longitud. El 0,75 habitual és el compromís, i surt de vint anys d'ajustar-lo contra col·leccions de referència: no d'una derivació.

4. Embeddings densos: word2vec i GloVe# sense fórmules

word2vec (Mikolov et al., 2013) — dues variants:

  • CBOW: prediu la paraula central a partir del context.
  • Skip-gram: prediu el context a partir de la paraula central. Amb negative sampling:
L=−log⁡σ(vc⊤vw)−∑k=1KEwk∼Pnlog⁡σ(−vwk⊤vw)\mathcal{L} = -\log\sigma(\mathbf{v}_c^\top\mathbf{v}_w) - \sum_{k=1}^{K}\mathbb{E}_{w_k\sim P_n}\log\sigma(-\mathbf{v}_{w_k}^\top\mathbf{v}_w) vrei−vhome+vdona≈vreina\mathbf{v}_{\text{rei}} - \mathbf{v}_{\text{home}} + \mathbf{v}_{\text{dona}} \approx \mathbf{v}_{\text{reina}}

Aquesta aritmètica vectorial va ser el moment "ostres" del camp el 2013. Les direccions de l'espai codifiquen atributs (gènere, temps verbal, capital-de-país). És l'avantpassat directe de la hipòtesi de representació lineal que sustenta la interpretabilitat moderna i les tècniques de steering (26pendent).

GloVe arriba a resultats semblants factoritzant la matriu de coocurrències — connectant explícitament amb SVD i LSA.

Limitació fatal: són estàtics

"banc" té un sol vector, tant si parles de seure com de diners. No hi ha desambiguació contextual. Aquesta limitació és la que van resoldre ELMo (2018), BERT (2018) i els Transformers en general: embeddings contextuals, on el vector d'un token depèn de tota la frase.

word2vec i l'aritmètica vectorial

Apropar el que coocorre i allunyar el que no. D'aquí en pot sortir rei − home + dona = reina?

reidonahomereinalaeliadelalelsésdelquevaleshiespobleambhaunanocadaunnensgentfaquanmatícasadentotciutatdiuportagranriuavisónescolamarplaçamésaiguaperdiadoscapitalestiufinsmaremestrepaparetardadesgatcapcuinagosparíssvananynoinoiasi
Projecció a les dues direccions principals (l'SVD del fitxer 01 sobre la matriu de vectors centrada). Dues dimensions de 48: el que es veu a prop hi és de debò, però el que es veu lluny pot ser a prop en alguna de les altres 46. Els números del rànquing es calculen amb les 48 dimensions, no amb aquestes dues.

Zero èpoques: el que veus és la inicialització aleatòria. Prem «+10 èpoques» unes quantes vegades i mira com es formen els grups.

8

Els K de la fórmula. Mikolov en recomanava 5–20 per a corpus petits.

±5

La mateixa llavor dona sempre el mateix resultat.

Entrenament, perquè es vegi la geometria formar-se
0 èpoques · 0 parelles
èpoques
0
vocabulari
308
analogia
rei − home + dona
posició de "reina"
169a de 308
cosinus amb la resposta
-0,0286
qui guanya
dies
El rànquing complet, amb els números, tant si encerta com si no

L'aritmètica vectorial se sol ensenyar amb una fletxa, i la fletxa amaga el que importa. Això és el rànquing sencer per cosinus amb vrei−vhome+vdona\mathbf{v}_{\text{rei}} - \mathbf{v}_{\text{home}} + \mathbf{v}_{\text{dona}}, amb els tres termes de l'analogia exclosos, com es fa sempre en aquesta avaluació.

#candidatcosinusocurrències
1dies0,358215
2germà0,33847
3sopa0,30766
4baixa0,29757
5mig0,29596
6un0,290458
7raïm0,28727
8princesa0,26897

Encara no s’ha entrenat res: els vectors són la inicialització aleatòria i el rànquing de dalt és soroll pur. Prem «+10 èpoques» i mira’l canviar.

Aquest corpus està fet per a això. Les regularitats de gènere, de nombre i de capital-de-país hi són perquè el text les repeteix en contextos paral·lels desenes de vegades. Amb deu mil paraules de text arbitrari no hi serien. Això no és trampa respecte del que passa a escala: word2vec sobre cent mil milions de paraules troba les mateixes regularitats exactament pel mateix motiu, que és que el llenguatge real les conté repetides milions de vegades. Aquí la repetició ha de ser densa perquè el corpus és petit.

La limitació fatal es veu al gràfic: «el» i «la» tenen un vector cadascun, i «banc» en tindria un de sol tant si parles de seure com de diners. Aquest espai no té cap manera de representar que una paraula vol dir coses diferents segons la frase. És exactament el que van resoldre ELMo, BERT i els Transformers: fer que el vector d'un token depengui de tot el que l'envolta, en comptes de ser una fila d'una taula.

5. Embeddings moderns de frases i documents# sense fórmules

Els embeddings que fas servir avui en RAG no són word2vec: són sortides d'un Transformer (tipus BERT o un decoder adaptat) entrenat amb aprenentatge contrastiu:

LInfoNCE=−log⁡exp⁡(sim(q,d+)/τ)∑jexp⁡(sim(q,dj)/τ)\mathcal{L}_{\text{InfoNCE}} = -\log\frac{\exp(\text{sim}(\mathbf{q},\mathbf{d}^+)/\tau)}{\sum_{j}\exp(\text{sim}(\mathbf{q},\mathbf{d}_j)/\tau)}

Parelles positives (pregunta–document rellevant) s'apropen; els negatius (sovint in-batch i hard negatives minerats) s'allunyen. τ\tau és la temperatura.

Conceptes pràctics:

  • Bi-encoder (ràpid, indexable) vs cross-encoder (llegeix query i document junts, molt més precís, però O(N)O(N) per consulta) → d'aquí el patró retrieve amb bi-encoder, reordena amb cross-encoder.
  • Matryoshka embeddings: entrenats perquè els primers kk components ja siguin útils → pots truncar de 1536 a 256 dimensions i perdre poc.
  • Embeddings amb instrucció: el mateix text es codifica diferent segons el prefix de tasca ("query:" vs "passage:"). Si no respectes el prefix del model, la qualitat cau en picat.
  • MTEB / MMTEB és el benchmark de referència per triar-ne un — amb la precaució habitual de contaminació i sobreajust al leaderboard.

Aprenentatge contrastiu i embeddings Matryoshka

Un embedding de 128 dimensions truncat a 32. Quant es perd de debò?

  • entrenat amb pèrdua Matryoshka
  • entrenat només a 128 dimensions

Què s'està optimitzant

LInfoNCE=−log⁡exp⁡(sim(q,d+)/τ)∑jexp⁡(sim(q,dj)/τ)\mathcal{L}_{\text{InfoNCE}} = -\log\frac{\exp(\text{sim}(\mathbf{q},\mathbf{d}^+)/\tau)}{\sum_j \exp(\text{sim}(\mathbf{q},\mathbf{d}_j)/\tau)}

El denominador recorre els 32 documents del lot. Amb la pèrdua Matryoshka, aquesta mateixa expressió es calcula 5 vegades —una per cada tall de 8, 16, 32, 64, 128 dimensions— i se'n suma el resultat.

Prem el botó d'entrenar per veure les dues corbes.

0,070

Baixa, la pèrdua castiga molt els negatius més propers. El 0,07 és el valor de CLIP.

32 parelles

Cada consulta veu els documents de tot el lot com a negatius: lot gran, tasca més difícil.

0

Documents minerats per ser els més semblants al positiu sense ser-ho.

k = 1
0,60

Com de lluny queda la consulta del seu document. Amb soroll alt, la tasca és molt més difícil.

La mateixa llavor dona sempre el mateix resultat.

Entrena els dos models alhora, amb la mateixa llavor
recall@1 amb 128 dim
—
truncat a 32, amb Matryoshka
—
truncat a 32, sense
—
truncat a 8, amb Matryoshka
—
truncat a 8, sense
—
memòria de l’índex a 32 dim
25 %
Encara no s'ha entrenat res

Prem «Entrena 300 passos». S'entrenen els dos models alhora sobre el mateix conjunt de 256 documents i amb la mateixa llavor, de manera que qualsevol diferència que en surti és de la pèrdua i no de la sort.

La temperatura val la pena mirar-la a part: puja-la a 1 i la pèrdua deixa de distingir els negatius propers dels llunyans, de manera que el model no aprèn la part fina; baixa-la a 0,01 i el gradient es concentra tant en el negatiu més proper que l'entrenament es torna inestable. Els hard negatives fan el mateix per una altra via: en comptes d'afinar la pèrdua, fan el lot més difícil.

6. Altres peces del NLP clàssic que encara trobaràs# sense fórmules

  • POS tagging, NER, parsing de dependències: avui els fa un LLM, però els conceptes lingüístics (sintaxi, morfologia) segueixen sent útils per analitzar comportaments.
  • CRF i HMM: models seqüencials probabilístics; bon exercici per entendre programació dinàmica (Viterbi) que reapareix en decodificació beam search.
  • Lematització i stemming: encara útils en cerca lèxica i en llengües morfològicament riques com el català.

Viterbi: la graella i el camí òptim

Hi ha S^T seqüències d'etiquetes possibles. Com se'n troba la millor sense provar-les totes?

elgatbaixalapilotaDETNOMVERB-1,0−∞−∞−∞-2,3−∞−∞-7,1-3,7-5,0−∞−∞−∞-6,8−∞
A cada cel·la, la millor log-probabilitat d'arribar-hi. Les línies fines són els punters enrere que la graella desa; la gruixuda és el camí que en surt llegint-los del final cap al principi. Les cel·les a −∞ són impossibles: un determinant no pot emetre «gat».
Els cinc etiquetatges més probables
#etiquetatgelog-probpart de la massa
1DET NOM VERB DET NOM-6,75998,55 %
2DET NOM NOM DET NOM-10,9791,45 %
3DET DET DET DET DET−∞0 %
4NOM DET DET DET DET−∞0 %
5VERB DET DET DET DET−∞0 %

Dels 243 etiquetatges possibles, ordenats per probabilitat. El segon és el que Viterbi ha descartat, i val la pena mirar per quant.

«canta» i «baixa» poden ser nom o verb: és on la programació dinàmica ha de decidir.

Les 243 seqüències possibles, dibuixades al fons.

etiquetatge òptim
DET NOM VERB DET NOM
log-probabilitat
-6,7585
operacions de Viterbi
39
operacions de la cerca exhaustiva
2.187
quant més cara
56×
massa que se’n du el camí òptim
98,6 %
El camí de Viterbi contra la cerca exhaustiva

Amb tres estats i 5 paraules hi ha 35=2433^{5} = 243 etiquetatges possibles, i encara es poden provar tots. És l'única situació on es pot comprovar que la programació dinàmica no s'ha deixat res, i val la pena fer-ho una vegada abans de fiar-se'n per sempre.

ViterbiDET NOM VERB DET NOM-6,75850882
Cerca exhaustivaDET NOM VERB DET NOM-6,75850882
diferència0,000000000000
operacions: 39 contra 2.18756× més

El mateix camí i la mateixa puntuació, amb 56 vegades menys operacions. El truc és que per saber la millor manera d'arribar a un estat al pas tt només cal saber la millor manera d'arribar a cada estat al pas t−1t-1: tot el que va passar abans ja està resumit en aquells 3 números. Viterbi costa T⋅S2T\cdot S^2 i l'exhaustiva STS^T; allarga la frase i la diferència creix exponencialment, no proporcionalment.

Fixa't també en l'última xifra del readout: el camí òptim només se'n du el 98,6 % de tota la massa de probabilitat de la frase. Els altres 242 camins se'n reparteixen la resta. Quedar-se amb el màxim és una decisió, no una certesa — i és exactament el mateix dilema que apareix a la decodificació d'un LLM, on el beam search busca el camí més probable i el mostreig respecta la distribució.

Aquest esquelet reapareix dues vegades més al currículum amb un altre nom. Al fitxer 10, la segmentació d'Unigram és exactament això: el millor cost fins a cada posició de la paraula i un punter enrere. Al fitxer 15, el beam search és Viterbi amb la poda que l'exactitud no permet: quan els estats són cinquanta mil tokens en comptes de tres etiquetes, T·S² ja tampoc no és factible i cal quedar-se amb els k millors camins a cada pas.

7. Comprova que ho has entès#

0 de 6 resoltes

  1. Enuncia la hipòtesi distribucional i explica com la implementa word2vec.
  2. Per què els models de n-grames no generalitzen? Amb un vocabulari de 50.000 paraules, quants paràmetres tindria un model de 5-grames desat dens?
    Marge acceptat: 5 %
  3. Quan et convé BM25 per sobre d'un embedding dens?
  4. Quina diferència hi ha entre bi-encoder i cross-encoder, i quan uses cadascun?
  5. Per què "banc" és un problema per a word2vec i no per a BERT?
  6. Troba una analogia que no funcioni, i mira per quant falla.

    Objectiu:Al widget de word2vec, entrena unes quantes desenes d'èpoques i prova les sis analogies. Deixa seleccionada una que no tregui la resposta esperada la primera, i mira el rànquing complet de la comprovació.

    Vés al widget ↑analogia = per defecte · llavor = per defecte

8. Recursos#

Marca els que hagis llegit

  • Jurafsky & Martin, Speech and Language Processing (3a ed., esborrany gratuït) — la bíblia del NLP.

  • Mikolov et al. (2013), Efficient Estimation of Word Representations.

  • Pennington et al. (2014), GloVe.

  • Robertson & Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond.

  • MTEB leaderboard (Hugging Face) per a embeddings actuals.