Google accelera Gemma 4: fino a 3 volte più veloce con la Multi-Token Prediction
La nuova tecnica MTP consente ai modelli Gemma 4 di triplicare la velocità di generazione senza perdita di qualità nell’output.
Google ha introdotto la Multi-Token Prediction (MTP) nei modelli open source Gemma 4, ottenendo un notevole incremento delle prestazioni per l'AI locale. Basata su una metodologia di speculative decoding, MTP consente al modello di prevedere più token futuri in parallelo, superando la classica generazione sequenziale autoregressiva.
I modelli Gemma 4, progettati per funzionare direttamente su hardware locale, si avvalgono ora di drafters leggeri che sfruttano la memoria cache condivisa per produrre rapidamente sequenze speculative. Questi token 'anticipati' vengono validati istantaneamente dal modello principale: se approvati, l’intera sequenza è accettata in un solo passaggio, altrimenti il sistema prosegue normalmente.
Secondo Google, la MTP può aumentare la velocità di inferenza fino a tre volte, senza compromettere la qualità generata. I test su dispositivi come Pixel e Apple M4 confermano un vantaggio tangibile, soprattutto su hardware consumer e mobile, con effetti positivi anche sull’autonomia dei dispositivi. La soluzione è distribuita con licenza Apache 2.0 e già integrata in framework come MLX, VLLM, SGLang e Ollama.
