01 · Àlgebra lineal

Idea central: una xarxa neuronal és una pila de transformacions lineals amb no-linealitats entremig. Si entens què fa una matriu a un vector, entens el 70% de l'aritmètica d'un LLM.

1. Vectors: punts, direccions i significats#🧭 sense fórmules

Un vector $\mathbf{x} \in \mathbb{R}^d$ és una llista ordenada de $d$ números. En deep learning té tres lectures simultànies:

1. Punt en un espai de $d$ dimensions.
2. Direcció + magnitud (fletxa des de l'origen).
3. Representació ("embedding"): la codificació numèrica d'un concepte, token, imatge o usuari.

En un LLM, cada token es converteix en un vector de $d$ dimensions (típicament $d \in [2048, 16384]$). Tot el que passa després són operacions sobre aquests vectors.

Operacions bàsiques

El producte escalar (dot product) és l'operació més important de tot el camp:

Per què importa: el mecanisme d'atenció d'un Transformer és, essencialment, milions de productes escalars entre vectors query i key per decidir "què s'assembla a què". La cerca semàntica en un sistema RAG també és producte escalar entre embeddings.

Normes

Similitud cosinus = producte escalar de vectors normalitzats:

2. Matrius: funcions, no taules#🧭 sense fórmules

Una matriu $\mathbf{W} \in \mathbb{R}^{m \times n}$ és una funció lineal $\mathbb{R}^n \to \mathbb{R}^m$:

Aquesta segona lectura és la clau del deep learning: una capa lineal és un banc de detectors de patrons.

Multiplicació de matrius

• Cost: $O(mnp)$ per $\mathbf{A}\in\mathbb{R}^{m\times n}$, $\mathbf{B}\in\mathbb{R}^{n\times p}$. Això és literalment on van els FLOPs d'entrenar un LLM.
• No commutativa: $\mathbf{AB} \neq \mathbf{BA}$ (compondre transformacions en ordre diferent dona resultats diferents).
• Associativa: $(\mathbf{AB})\mathbf{C} = \mathbf{A}(\mathbf{BC})$ — i l'ordre canvia el cost enormement. Aquest fet és la base de LoRA i de moltes optimitzacions.

Regla del comptable de dimensions

En codi de deep learning, el 90% dels bugs són de forma (shape). Escriu sempre les dimensions:

# Batch de B seqüències de L tokens, model de dimensió d
x  = torch.randn(B, L, d)          # entrada
W  = torch.randn(d, 4*d)           # projecció
h  = x @ W                          # (B, L, 4d)   ← matmul aplicat a l'última dim

3. Matrius especials#🧭 sense fórmules

Les matrius ortogonals preserven longituds i angles: $\|\mathbf{Q}\mathbf{x}\| = \|\mathbf{x}\|$. Per això RoPE (rotary position embeddings) codifica la posició rotant els vectors: no en destrueix la magnitud ni la informació semàntica, només en canvia la fase.

4. Rang, espai columna i per què funciona LoRA#🧭 sense fórmules

El rang de $\mathbf{W}$ és el nombre de columnes linealment independents = dimensió de l'espai imatge. Una matriu $d \times d$ de rang $r \ll d$ té molta redundància: es pot escriure com

amb $2dr$ paràmetres en comptes de $d^2$. Amb $d=4096$ i $r=16$: 131k paràmetres en comptes de 16,7M — 128× menys.

Això és exactament LoRA: en lloc d'actualitzar $\mathbf{W}$ sencera durant el fine-tuning, aprens una actualització de rang baix $\Delta\mathbf{W} = \mathbf{B}\mathbf{A}$ i calcules $\mathbf{W}' = \mathbf{W} + \frac{\alpha}{r}\mathbf{B}\mathbf{A}$. La hipòtesi empírica és que l'adaptació a una tasca nova té rang intrínsec baix, encara que el model no el tingui.

5. Valors i vectors propis#🧭 sense fórmules

Un vector propi és una direcció que la transformació no gira, només estira (per un factor $\lambda$).

Per a matrius simètriques hi ha descomposició espectral: $\mathbf{A} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^\top$ amb $\mathbf{Q}$ ortogonal.

On importa:

• L'hessià de la pèrdua (matriu de segones derivades) és simètric; els seus valors propis descriuen la curvatura. Valors propis molt dispars → el paisatge és una vall estreta → SGD zigzagueja → per això calen momentum i Adam.
• Els valors propis de la matriu jacobiana recurrent expliquen per què els gradients de les RNN exploten ($|\lambda|>1$) o s'esvaeixen ($|\lambda|<1$).

6. SVD: la descomposició universal#🧭 sense fórmules

Tota matriu real $\mathbf{A}\in\mathbb{R}^{m\times n}$ admet

amb $\mathbf{U}, \mathbf{V}$ ortogonals i $\mathbf{\Sigma}$ diagonal amb valors singulars $\sigma_1 \geq \sigma_2 \geq \dots \geq 0$.

Teorema d'Eckart–Young: la millor aproximació de rang $k$ (en norma Frobenius o espectral) s'obté quedant-te amb els $k$ valors singulars més grans. Base de:

• PCA (l'SVD de les dades centrades),
• compressió de matrius de pesos,
• inicialització i anàlisi de LoRA,
• latent semantic analysis, l'avi conceptual dels embeddings,
• diagnòstic d'entrenament: l'espectre de valors singulars dels pesos diu si el model està "col·lapsant" a poques direccions.

import numpy as np
A = np.random.randn(200, 100)
U, S, Vt = np.linalg.svd(A, full_matrices=False)
k = 10
A_k = U[:, :k] @ np.diag(S[:k]) @ Vt[:k]        # millor aproximació de rang 10
err = np.linalg.norm(A - A_k) / np.linalg.norm(A)

7. Producte tensorial i broadcasting#🧭 sense fórmules

Els "tensors" del deep learning són arrays multidimensionals: $(B, L, H, d_h)$ = batch × longitud × caps × dimensió per cap. Dues regles pràctiques:

1. Broadcasting: dimensions de mida 1 s'expandeixen automàticament. (B,L,1) * (B,L,d) funciona.
2. einsum és el teu amic per no perdre't:

# atenció: scores[b,h,i,j] = sum_k q[b,h,i,k] * k[b,h,j,k]
scores = torch.einsum('bhik,bhjk->bhij', q, k) / math.sqrt(d_head)

8. Geometria dels espais d'alta dimensió#🧭 sense fórmules

Aquí la intuïció 3D et traeix. Fets contraintuïtius però crucials:

• Concentració de la mesura: en $\mathbb{R}^d$ amb $d$ gran, dos vectors aleatoris són gairebé ortogonals amb probabilitat altíssima ($\cos\theta \approx 0 \pm 1/\sqrt{d}$).

• Per això un espai de dimensió $d$ pot contenir exponencialment moltes direccions gairebé ortogonals (lema de Johnson–Lindenstrauss). Aquesta és la base de la superposició: un model amb $d=4096$ pot representar molts més de 4096 conceptes, cadascun en una direcció quasi-ortogonal. Ho veuràs al fitxer 26 — Interpretabilitatpendent.
• El volum es concentra a l'escorça: gairebé tota la massa d'una hiperesfera és a prop de la superfície. Per això normalitzar vectors aleatoris gairebé no els mou: ja vivien a prop de l'escorça. En embeddings apresos és diferent, perquè la norma pot portar informació (vegeu la secció 1), i normalitzar-los la llença.
• La "maledicció de la dimensionalitat" fa que la cerca exacta del veí més proper sigui inviable → per això els índexs vectorials (HNSW, IVF-PQ) són aproximats.

9. Comprova que ho has entès#

10. Recursos#