Google presenta TurboQuant: AI più veloce e leggera senza perdita di qualità
Il nuovo algoritmo TurboQuant riduce di 6 volte la memoria richiesta dai LLM, mantenendo prestazioni e accuratezza elevate.
Google Research ha annunciato TurboQuant, un innovativo algoritmo di compression per ottimizzare le prestazioni dei large language model (LLM). La tecnologia consente una riduzione della memoria utilizzata fino a 6 volte, mantenendo al contempo la qualità degli output e aumentando la velocità di esecuzione degli algoritmi.
TurboQuant si concentra sulla compressione della key-value cache, elemento fondamentale per il funzionamento dei LLM, che memorizza informazioni chiave durante l'elaborazione dei dati. Il sistema utilizza due step principali:
- PolarQuant, che converte i vettori da coordinate cartesiane a coordinate polari, comprimendo efficacemente i dati senza perdita significativa di informazione.
- Quantized Johnson-Lindenstrauss (QJL), uno strato di correzione degli errori che riduce i vettori a informazioni essenziali, migliorando la precisione dell'attention score.
Secondo i test condotti da Google su modelli open source come Gemma e Mistral, TurboQuant ha garantito una compressione della cache fino a 3 bit senza richiedere ulteriore training e un incremento di velocità fino a 8 volte sugli acceleratori Nvidia H100.
Questa soluzione promette non solo una gestione più efficiente delle risorse per i data center, ma anche nuove opportunità per l’intelligenza artificiale su dispositivi mobili, dove le limitazioni hardware richiedono modelli più leggeri.
