Top-k, top-p e min-p sono tre regole per tagliare via i token meno probabili prima di estrarre quello da scrivere: top-k tiene un numero fisso di token, top-p i più probabili fino a una certa somma, min-p quelli abbastanza vicini al primo. In questo video partiamo dai racconti di Fan, Lewis e Dauphin del 2018, vediamo un esempio con “Il gatto dorme sul”, il limite di top-k, il nucleo di Holtzman, la soglia mobile di min-p, come si usano insieme alla temperatura e i due errori più comuni.
CAPITOLI
0:00 Introduzione
0:19 Fan, Lewis e Dauphin, 2018
0:50 Solo i primi 10
1:27 Definizione: tagliare, poi estrarre
1:58 Top-k
2:30 Il limite di top-k
3:01 Top-p, 2019
3:51 Min-p, 2024
4:29 Insieme alla temperatura
4:55 In pratica: i valori
5:22 Errore 1: il 90% dei token
5:54 Errore 2: probabilità uguali a prima
6:21 Ricapitolando
6:49 Prossimo termine: penalità di ripetizione
Glossario AI: un termine al giorno, in ordine di prerequisito, per capire davvero come funzionano i modelli di linguaggio. Ogni video si appoggia su quelli prima.
Playlist completa:
source