Salta al contingut
Entendre els LLMs
Bloc 5nucli3-4 h
IntuïtiuMatemàtic

Abans d'això: Preentrenament: dades i lleis d'escala, Teoria de la informació

18 · Postentrenament: SFT, RLHF i DPO

Idea central: un model base preentrenat no és un assistent: és un simulador de text d'internet. El postentrenament no li ensenya coneixement nou, li ensenya quin comportament adoptar — quina de les moltes "veus" que ha après ha de fer servir.

1. Què fa i què no fa el postentrenament# sense fórmules

Sí que faNo fa
Seguir instruccionsAfegir coneixement substancial
Format i estil consistentsArreglar llacunes del preentrenament
Rebutjar peticions danyosesEliminar capacitats (les amaga, no les esborra)
Usar eines i mantenir conversesFer el model més "intel·ligent" en el sentit brut
Activar el raonament explícit—

La hipòtesi de l'alineament superficial (LIMA, 2023) sosté que el coneixement ve del preentrenament i que el postentrenament només selecciona un subespai de comportaments — amb molt poques dades (1000 exemples excel·lents) ja s'obté un assistent decent. És parcialment certa: per a estil i format, molt; per a raonament i agència, el postentrenament modern (amb RL) sí que crea capacitats noves de manera substancial.

L'alineament superficial, mesurat

Si l'SFT només ensenya el format, un model preentrenat hauria de respondre bé fets que l'SFT no li ha ensenyat mai. I un de fet a partir de zero, no. És així?

Descarregant els pesos del model base (236 kB)…

Cada iteració fa un pas de les 9 variants, amb el mateix lot. Les 9 últimes iteracions avaluen cada variant sobre els 40 fets que l'SFT no ha vist.

  • base: encert
  • base: format
  • de zero: encert
  • de zero: format
  • el base en cru
  • a l’atzar, 1/8
Fets nous, amb n = 40
preguntade debòbasede zero
agost:lila——
contes:groc——
anirà:gris——
conte:rosa——
alta:negre——
cinc:groc——
cebes:blau——
aprèn:rosa——
Respostes d'exemple, amb n exemples d'SFT
el base, en cru
—
base + SFT, fets nous
—
zero + SFT, fets nous
—
a l’atzar
12,5 %
pèrdua del corpus
—
resposta sense «és»
—
Entrena les nou variants per veure el gràfic

Quatre mides de dades d'SFT (10, 20, 40 i 80 fets), cadascuna aplicada al base i a un model de zero, i una novena variant que respon només el color. Cada variant, 100 passos. En acabar, cadascuna respon els 40 fets que l'SFT no ha vist.

El prompt demanava 10, 30, 100 i 300 exemples. Aquí n'hi ha com a molt 80 perquè són tots els fets de l'SFT: amb més, es repetirien. Els 40 de l'avaluació no hi són mai, i són els mateixos per a totes les variants.

2. Etapa 1 — Supervised Fine-Tuning (SFT)# sense fórmules

Entrenament supervisat estàndard sobre parelles (instrucció, resposta ideal), amb la pèrdua calculada només sobre els tokens de la resposta.

<|system|>Ets un assistent útil.<|end|>
<|user|>Explica la fotosíntesi en dues frases.<|end|>
<|assistant|>[ ← la pèrdua es calcula des d'aquí ]La fotosíntesi és...<|end|>

El que determina la qualitat:

  • Qualitat ≫ quantitat. 10k exemples excel·lents baten 500k de mediocres.
  • Diversitat de tasques i de formats.
  • Plantilla de xat consistent (els special tokens importen; una plantilla mal aplicada arruïna el model).
  • Dades de rebuig i de no-rebuig equilibrades: massa exemples de "no puc ajudar-te" produeixen un model inútilment refractari.
  • Cada cop més: traces de raonament i trajectòries d'ús d'eines completes.

Hiperparàmetres típics: 1-3 èpoques (més = memorització i pèrdua de diversitat), LR petit (10−510^{-5} a 10−610^{-6}), packing de seqüències per eficiència.

SFT amb la pèrdua emmascarada

Què aprèn el model si la pèrdua compta també el torn de l'usuari? I què passa si l'avalues amb una plantilla que no és la de l'entrenament, o si repeteixes les dades moltes vegades?

La conversa tokenitzada: només compten els tokens de l’assistent

usercases:assistantés␣negre.enduserbaixar:assistantés␣roig.end

Decodificat: <|user|>cases:<|assistant|>és negre.<|end|><|user|>baixar:<|assistant|>és roig.<|end|>. Els tokens destacats són els que el model aprèn a escriure.

Dos models, les mateixes converses, un pas de cadascun per iteració.

pèrdua sobrefets noustorns inventatsplantilla mal aplicadacorpus
la resposta————
tot————

Els mateixos 81 exemples, una vegada i una altra, amb mesures a les èpoques 1, 3, 10, 30, 60.

  • encert, fets vistos
  • encert, fets nous
  • exposició del canari, sobre el màxim
La pèrdua compta

Canvia el dibuix de la plantilla: quins tokens entren a la pèrdua.

torns inventats, amb màscara
—
torns inventats, sense
—
plantilla bona → mal aplicada
—
canari, 60 èpoques
—
Entrena amb màscara i sense per comparar-los

150 passos cadascun, lots de 8 converses de dos torns, sobre els 80 fets de l'SFT. En acabar, cada model respon els 40 fets nous i es mira què escriu després del seu propi <|end|>.

Entrena 60 èpoques per veure la memorització

Els 80 fets de l'SFT i un canari, en lots de 8: 11 passos per època. Es mesura a les èpoques 1, 3, 10, 30, 60.

El canari fa servir lletres en comptes de xifres perquè el corpus no en té cap: «481» s'escriu «eib». L'exposició és la de Carlini et al. del fitxer 16, sobre els mil secrets possibles de tres lletres de a a j.

3. Etapa 2 — Aprenentatge de preferències# sense fórmules

El problema que resol: per a "escriu un poema", no hi ha una resposta correcta única, però els humans saben comparar dues respostes. És molt més fàcil i fiable recollir preferències (A≻BA \succ B) que respostes ideals.

3.1 RLHF clàssic (tres passos)

1. Recollir preferències. Anotadors (o models) comparen parells de respostes al mateix prompt.

2. Entrenar un model de recompensa rϕr_\phi amb la pèrdua de Bradley–Terry:

LRM=−E(x,yw,yl)[log⁡σ(rϕ(x,yw)−rϕ(x,yl))]\mathcal{L}_{RM} = -\mathbb{E}_{(x,y_w,y_l)}\left[\log\sigma\big(r_\phi(x,y_w)-r_\phi(x,y_l)\big)\right]

Normalment és el mateix LLM amb un cap escalar al final.

El model de recompensa de Bradley–Terry

Si només veus quina de dues respostes guanya, pots recuperar la recompensa que ho decidia? Fins a on, i per què és més fiable que demanar una puntuació?

ABCDEFGH
  • de debò, centrada
  • apresa, més la constant
400
1,00

Guanya i amb probabilitat σ((rᵢ − rⱼ)/τ).

0,0

Bradley–Terry no la veu: mira la pèrdua.

1,5

Tres anotadors: un sever (−b), un de just i un de generós (+b).

La mateixa llavor dona sempre el mateix resultat.

pèrdua BT
0,501299 nats
error, centrat
0,170
encert en parelles noves
73,2 %
el sostre
73,8 %
Llevat d'una constant: amb 400 parelles, l'error de la recompensa apresa és 0,170, i sumar-hi 0,0 deixa la pèrdua a 0,501299 nats

La pèrdua de Bradley–Terry, −log σ(r_w − r_l), només depèn de diferències. Per això el model torna a la recompensa de debò però no al seu nivell: l'ajust tria la de mitjana zero (la regularització L2 fa que, de totes les desplaçades, triï la més petita), i el dibuix compara les dues centrades. Mou la constant: les barres pugen i baixen, i la pèrdua es queda igual —0,501299 sense constant i 0,501299 amb—. Amb més parelles l'error baixa com l'arrel del nombre de parelles; amb τ gran, cada comparació diu menys i en calen més.

L'encert en parelles noves és el 73,2 %, i el sostre, el 73,8 %: el model no el pot passar

El sostre és exacte: amb soroll τ, fins i tot qui coneix la recompensa de debò només pot apostar pel guanyador més probable, i encerta max(σ(Δ/τ), 1 − σ(Δ/τ)) de cada parella. Feta la mitjana sobre les 28 parelles possibles, dona el 73,8 %. L'encert del model també és exacte, no una estimació: la probabilitat, parella per parella, que el guanyador sigui el que el model posa per davant. Quan el model ordena les vuit respostes igual que la recompensa de debò, iguala el sostre; no hi ha manera de passar-lo.

Anotadors amb biaix ±1,5: puntuant, l'error és 0,273; comparant, 0,178

El «és més fàcil comparar que puntuar» del §3, amb un nombre. Tres anotadors, cadascun amb el seu biaix, jutgen cada resposta 20 vegades. Puntuant, el biaix de qui li ha tocat entra sencer a la nota. Comparant, el mateix anotador jutja les dues respostes i el biaix hi entra per totes dues bandes: σ(r_i + b − r_j − b). Es cancel·la, i no aproximadament: amb la mateixa llavor, les comparacions surten idèntiques amb biaix i sense (error 0,178 en tots dos casos).

La contrapartida, que el text no diu: a igualtat de judicis i sense biaix, puntuar s'equivoca menys que comparar (0,087 contra 0,178), perquè una nota porta més informació que un «aquesta és millor». Amb el biaix ±1,5, les puntuacions passen a 0,273 i les comparacions es queden a 0,178. Les comparacions guanyen perquè els anotadors de debò no són calibrats.

Aquí el model de recompensa és «tabular»: un número per resposta, ajustat amb regressió logística sobre diferències sense terme independent. Un model de recompensa de debò és el mateix LLM amb un cap escalar, que veu el text i no un índex; el widget següent en fa servir un que veu característiques de la resposta.

3. Optimitzar la política amb PPO, amb penalització KL respecte al model SFT:

max⁡θ  Ey∼πθ[rϕ(x,y)]−β DKL ⁣(πθ ∥ πSFT)\max_\theta\; \mathbb{E}_{y\sim\pi_\theta}\left[r_\phi(x,y)\right] - \beta\, D_{KL}\!\left(\pi_\theta \,\|\, \pi_{SFT}\right)

La corretja KL

Optimitzar una recompensa apresa sense corretja porta la política on el model de recompensa s'equivoca. Quanta corretja cal, i on és el β que més recompensa de debò dona?

Les 24 respostes, de la més curta a la més llarga

62238547086llargada de la resposta (tokens)
  • π_ref
  • π*, tancat
  • ●gradient de política

La frontera: recompensa contra √KL, per a tot β

  • apresa (la que s’optimitza)
  • de debò
  • el β que més de debò dona
1,000

Petit: poca corretja. Gran: la política no es mou de la referència.

0,40

Quant premien cada deu tokens de més, a part de la qualitat.

Unes altres 24 respostes i unes altres preferències.

KL(π*‖π_ref)
0,30 nats
recompensa apresa
1,95
recompensa de debò
0,99
llargada mitjana
25 tokens
β on la de debò és màxima
0,316
El gradient de política, 3.000 passos amb 32 mostres, queda a una distància de variació total 0,001 de l'òptim tancat

L'òptim tancat, π* ∝ π_ref·e^(r̂/β), anul·la el gradient de l'objectiu: el més gran dels 24 components és 1,14·10⁻¹⁶. El gradient de política no el coneix: mostreja respostes de la política actual, reforça les que tenen més recompensa regularitzada que la mitjana del lot, i comença a la referència, com l'RLHF comença al model SFT. Aquí hi arriba: les barres de tots dos coincideixen.

La recompensa de debò és màxima a β = 0,316 (1,33); amb β = 0,01 és -3,33, mentre l'apresa arriba a 4,61

És el reward hacking, amb el mecanisme a la vista. Els anotadors premien les respostes llargues (γ = 0,40), i el model de recompensa n'aprèn un pendent de 0,44 per cada deu tokens. Les parelles que ha vist sortien totes de la referència, que gairebé no escriu res de més de 35 tokens, i allà la recompensa de debò no castiga la llargada. Fora d'aquell rang, el model extrapola: per a ell, com més llarg millor; per a la de debò, a partir de 45 tokens la resposta empitjora. Amb β gran la política no surt d'on hi ha dades; amb β petit en surt, la recompensa apresa continua pujant i la de debò s'enfonsa. El β bo és a mig camí, i s'ha de buscar: a la pràctica no es coneix la recompensa de debò, i per això el text diu que β és l'hiperparàmetre més delicat.

La recompensa de debò només la coneix el widget. El que hi ha a la pràctica és l'apresa i les avaluacions humanes o automàtiques que es facin: el que aquí és la corba discontínua, en un entrenament de debò s'ha de mesurar.

3.2 DPO: la drecera elegant

Direct Preference Optimization (Rafailov et al., 2023) parteix d'una observació: la solució òptima del problema RLHF amb restricció KL té forma tancada, i es pot invertir per expressar la recompensa implícita en termes de la política. Substituint-la a Bradley–Terry obtens una pèrdua supervisada directa:

LDPO=−E[log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))]\mathcal{L}_{DPO} = -\mathbb{E}\left[\log\sigma\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]

Avantatges: simple, estable, barat (2 models en comptes de 4). Limitacions: és off-policy (aprèn de dades fixes, no de les seves pròpies sortides), pot baixar la probabilitat d'ambdues respostes, i sol quedar-se per sota d'un PPO ben ajustat en els règims de màxima qualitat.

DPO: la drecera, i on es trenca

Si la pèrdua de DPO té el mateix òptim que l'RLHF, per què no ho fa exactament igual? Què li passa a la probabilitat de la resposta preferida?

Bandit: recompensa implícita de DPO contra la de debò

Sobre el model base: l'SFT en fa la referència, i DPO parteix d'allà amb β = 0,1.

  • log π(preferida)
  • log π(rebutjada)
  • marge β·(Δ_w − Δ_l)
0,300
DPO contra π*, distància TV
2,16·10⁻⁸
r − recompensa implícita
1,1706 ± 8,58·10⁻⁷
β·log Z
1,1706
log π(bona), mini-GPT
—
log π(dolenta)
—
Amb preferències exactes, l'òptim de DPO és el de l'RLHF amb KL a una distància 2,16·10⁻⁸, i la recompensa implícita és la de debò menys 1,1706; β·log Z = 1,1706

La derivació del text, en tres passos que es poden comprovar aquí. Primer, l'òptim de l'RLHF amb KL és π* = π_ref·e^(r/β)/Z. Segon, invertint-lo, la recompensa en funció de la política és r = β·log(π*/π_ref) + β·log Z. Tercer, a Bradley–Terry només hi entren diferències de recompenses, i la β·log Z es cancel·la: la pèrdua de DPO no la necessita. Minimitzant-la sobre les 24 respostes, amb totes les parelles pesades per la seva probabilitat de preferència de debò, s'arriba a la mateixa política que la fórmula. I la diferència entre la recompensa de debò i la implícita és la mateixa per a totes les respostes (1,1706, amb una dispersió de 1,72·10⁻⁶): exactament β·log Z = 1,1706.

Entrena SFT i després DPO al mini-GPT per veure les dues corbes

100 passos d'SFT sobre el model base —la referència de DPO— i 200 de DPO sobre 80 parelles de fets. Cada 10 passos es mesuren les log-probabilitats mitjanes de les respostes bona i dolenta.

La memòria: PPO té quatre models i DPO, dos. Per a un 7B, 252 GB contra 126 GB sense activacions

Amb la comptabilitat del fitxer 17: el que s'entrena paga 16 bytes per paràmetre (pesos, gradients, còpia mestra i els dos moments) i el que està congelat, 2.

models’entrena7B, precisió mixtaaquest, Float64
políticasí112 GB943,1 kB
crític (només PPO)sí112 GB943,1 kB
referènciano14 GB235,8 kB
model de recompensa (només PPO)no14 GB235,8 kB
PPO / DPO252 GB / 126 GB2,4 MB / 1,2 MB

La família que en va sortir: IPO (corregeix el sobreajust a preferències deterministes), KTO (només necessita etiquetes bo/dolent, no parells), ORPO (fusiona SFT i preferències en un sol pas), SimPO (sense model de referència), i variants online/iteratives que regeneren les dades amb la política actual — que són les que més s'acosten a PPO.

3.3 RLAIF i Constitutional AI

Substituir l'anotador humà per un model:

  • RLAIF: un LLM genera les etiquetes de preferència. Escalable i sorprenentment bo.
  • Constitutional AI (Anthropic, 2022): es defineix un conjunt explícit de principis (una "constitució"); el model critica i revisa les seves pròpies respostes segons aquests principis, i les revisions alimenten SFT; després s'entrena un model de preferència amb comparacions fetes pel propi model segons la constitució. Avantatge clau: els valors queden explícits i auditables en un document, en lloc d'implícits en milers d'anotacions.
  • Deliberative alignment: entrenar el model a raonar explícitament sobre la política de seguretat abans de respondre.

4. Patologies conegudes# sense fórmules

PatologiaDescripcióMitigació
Reward hackingexplotar forats del model de recompensaKL, ensembles de RM, RM actualitzats, recompenses verificables
Sicofànciaestar d'acord amb l'usuari per sobre de la veritatdades de preferència que premiïn la correcció, no la complaença; evals específiques
Verbositatrespostes llargues perquè els humans hi posen millor notanormalització per longitud, penalitzacions explícites
Impost d'alineamentpèrdua de capacitat bruta o de diversitatmesclar dades de preentrenament, KL, model merging
Col·lapse de diversitattotes les respostes s'assemblen (mode-seeking)temperatura, objectius que preservin entropia
Rebuigs excessiusrebutja peticions innocentsbalanç de dades, evals de "sobrerebuig"

La Llei de Goodhart és el fil conductor: tota mètrica de preferència que optimitzes deixa de mesurar el que volies mesurar.

Goodhart, mesurat

Com més s'optimitza una recompensa apresa, més s'allunya de la de debò. Des de quan, quant, i què hi té a veure la llargada de les respostes?

Recompensa contra √KL, per a n d'1 a 1.024

  • apresa
  • de debò
  • de debò, amb normalització per longitud

Llargada mitjana contra n

  • recompensa apresa
  • normalitzada per longitud
  • a partir d’aquí, la de debò castiga
64
0,40

La mateixa llavor dona sempre el mateix resultat.

KL exacta, n = 64
2,511 nats
log n − (n−1)/n
3,175 nats
apresa / de debò
2,62 / 0,93
llargada
39 → 26 tokens
entropia
2,18 → 1,14 nats
La KL de best-of-n no passa mai de log n − (n−1)/n: a n = 1.024, 5,376 nats contra 5,932

La fórmula que se sol citar és la KL de best-of-n quan la referència no té cap resposta amb massa pròpia —el cas continu—. Beirami et al. (2024) demostren que en general és una fita superior, i aquí es veu per què: amb 24 respostes discretes, quan n creix la política acaba posant tota la massa en la resposta que el model de recompensa puntua més alt, i la KL tendeix a 27,60 nats, menys el logaritme de la probabilitat d'aquella resposta a la referència. La fórmula continua creixent com log n. Amb n petit, les dues gairebé coincideixen (n = 2: 0,188 contra 0,193).

La corba de Gao: la recompensa de debò puja fins a n = 10 (1,36) i després baixa fins a 0,70; l'apresa no para de pujar

L'eix horitzontal és l'arrel de la KL, com a Gao et al. (2022). La recompensa apresa és el que best-of-n maximitza, i per construcció no pot baixar. La de debò la segueix mentre n és petit —triar la millor de poques respostes gairebé sempre és triar-ne una de bona— i se'n separa quan la pressió és prou gran per trobar les respostes on el model de recompensa s'equivoca: les llargues, que la referència escriu poc però que amb prou mostres acaben sortint. És la llei de Goodhart en una gràfica: la mètrica deixa de mesurar el que volies mesurar exactament quan comences a optimitzar-la a fons.

La verbositat: amb γ = 0,40, el model de recompensa paga 0,44 per cada deu tokens, i a n = 1.024 les respostes fan 50 tokens; normalitzant per longitud, 26

Els anotadors del widget prefereixen les respostes llargues, i el model de recompensa n'aprèn la llargada com si fos qualitat. Optimitzar-lo allarga les respostes: de 22 tokens de mitjana a la referència a 50 amb n = 1.024. La normalització per longitud —treure de la recompensa apresa el terme que depèn de la llargada— les deixa a 26 tokens, i la recompensa de debò a n = 1.024 passa de 0,70 a 1,56.

El col·lapse de diversitat: l'entropia de la política passa de 2,18 nats a 0,09 amb n = 1.024

Tota la pressió d'optimització cap a una recompensa fa el mateix: concentrar la massa. Amb la KL inversa de l'RLHF, KL(π‖π_ref), es veu millor per què: aquesta KL castiga posar massa on la referència no en té, però no castiga deixar sense massa llocs on la referència sí que en té. La política pot abandonar modes sencers sense pagar-ho. És el mode-seeking que el widget de la divergència KL del fitxer 04 dibuixa amb dues gaussianes, aquí en forma de respostes que ja no surten mai.

El bandit és el del widget de la corretja KL: 24 respostes, la referència n'escriu sobretot de curtes, i el model de recompensa és lineal en la qualitat i la llargada, ajustat amb 300 parelles de la referència.

5. La recepta moderna (2026)# sense fórmules

El pipeline típic d'un model de frontera és multietapa i iteratiu:

Base → SFT (instruccions + eines + raonament)
     → RL amb recompenses verificables (matemàtiques, codi, tasques amb test)
     → RL amb preferències (utilitat, estil, seguretat)
     → avaluació → nova ronda de dades → repetir

Dues tendències clares: (1) el pes del postentrenament en el còmput total no para de créixer, fins al punt que en alguns models de raonament és comparable al del preentrenament; (2) la frontera entre "postentrenament" i "entrenament" s'esborra, amb fases de mid-training que barregen dades de preentrenament d'alta qualitat amb dades d'instrucció.

La recepta, encadenada

Què aporta cada etapa del pipeline, i què costa? Les mateixes mesures després de l'SFT, de l'RL amb recompensa verificable i de les preferències.

Les iteracions d'RL són les cares: cadascuna genera 64 respostes i en fa el backward.

després deformatfets nousfets de l’SFTcorpusentropia
base—————
SFT—————
RL verificable—————
preferències—————

L'etapa d'RL, iteració a iteració

  • recompensa mitjana, a T = 1
  • grups sense senyal
fets nous: SFT → final
—
impost al corpus
—
entropia de la resposta
—
recompensa de l’RL
—
Encadena les tres etapes per omplir la taula

100 passos d'SFT, 60 iteracions de GRPO (8 preguntes × 8 respostes, amb la KL respecte a l'SFT) i 60 passos de DPO, sobre el mateix model. Les mesures, sobre els 40 fets que cap etapa no veu i sobre 40 dels 80 de l'SFT.

6. Comprova que ho has entès#

0 de 5 resoltes

  1. Per què és més fiable recollir preferències que respostes ideals?
  2. La pèrdua de Bradley–Terry és −log⁡σ(r(yw)−r(yl))-\log\sigma\big(r(y_w) - r(y_l)\big). Si el model de recompensa dona r(yw)=1,2r(y_w) = 1{,}2 a la resposta preferida i r(yl)=0,4r(y_l) = 0{,}4 a la rebutjada, quant val la pèrdua, en nats?
    natsMarge acceptat: ± 0,005
  3. Quina és la idea matemàtica que permet passar de l'RLHF a DPO?
  4. Per què el terme KL és imprescindible a l'RLHF? Al widget de la corretja KL, busca el β on la recompensa de debò és màxima.

    Objectiu:Al widget de la corretja KL, amb el biaix i la llavor per defecte, mou β fins que la recompensa de debò quedi a menys d'un 2 % del seu màxim.

    Vés al widget ↑beta = per defecte · gamma = per defecte · llavor = per defecte
  5. Explica tres patologies del postentrenament i com les detectaries amb avaluacions.

7. Recursos#

Marca els que hagis llegit

  • Ouyang et al. (2022), Training language models to follow instructions (InstructGPT) — el paper fundacional de RLHF en LLMs.

  • Rafailov et al. (2023), Direct Preference Optimization.

  • Bai et al. (2022), Constitutional AI: Harmlessness from AI Feedback.

  • Nathan Lambert, RLHF Book (gratuït en línia) — la millor referència completa i actualitzada.

  • Zhou et al. (2023), LIMA: Less Is More for Alignment.