Tema

I concettimachine-learningNel grafo

Byte pair encoding

Famiglia di algoritmi che costruisce unità a lunghezza variabile fondendo ripetutamente coppie frequenti; la variante di Sennrich parte da caratteri, quella di GPT-2 dai byte

Si lega a

comprende l'addestramento BPE e la codifica BPE; costruisce il vocabolario

Dove se ne parla

  1. Dal testo ai token: il tokenizzatore