Tema

I concettimachine-learningNel grafo

Costo per token

Quanto si paga per ogni token di ingresso, di ragionamento e di uscita: dipende dalla lingua attraverso il tokenizzatore, dalla finestra di contesto, dai parametri attivi e dai token di ragionamento

Si lega a

unisce il token e il costo a consumo della serie sugli agenti; si legge sulla scheda del modello; cresce col costo quadratico dell'attenzione, coi parametri attivi e coi modelli di ragionamento; fra i modi di acquisto di un modello, colpisce per intero chi compra a servizio

Da qui ci si arriva

  1. Modi di acquisto di un modello

    Le tre forme in cui un modello di linguaggio si compra: a servizio pagando a token, come modello privato su macchine a noleggio pagando a ore, o su macchine proprie come investimento; ogni forma sposta il punto dove i costi colpiscono

Dove se ne parla

  1. Che cosa deve sapere chi decide prima di usare un modello di linguaggio: la serie in dieci decisioni