Si lega a
è la forma che la serie ha costruito; usa la maschera causale e la testa d'uscita; produce la rappresentazione contestuale
Da qui ci si arriva
- Encoder-only
La forma del Transformer che legge senza generare: trasforma la sequenza in rappresentazioni; la forma di BERT
- Encoder-decoder
La forma che legge e poi genera: il codificatore trasforma l'ingresso, il decodificatore produce l'uscita; la forma della traduzione e di T5