Tema

I concettimachine-learningNel grafo

Tabella delle fusioni BPE

L'elenco ordinato delle coppie che il tokenizzatore può fondere, appreso sul corpus di addestramento

Si lega a

è prodotta dall'addestramento BPE; governa la codifica BPE

Da qui ci si arriva

  1. Addestramento BPE

    La costruzione, su un corpus, della tabella ordinata delle fusioni e del vocabolario

  2. Codifica BPE

    L'applicazione a un testo nuovo della tabella delle fusioni già appresa

Dove se ne parla

  1. Dal testo ai token: il tokenizzatore