Cloudflare ottimizza il caching e risparmia 100 TB di RAM
La riduzione del 90% delle server hashes permette a Cloudflare di tagliare drasticamente i consumi di memoria nei sistemi di caching.
Cloudflare ha annunciato un importante traguardo nell'ottimizzazione della memoria sui propri sistemi di caching, riuscendo a risparmiare ben 100 TB di RAM. Il risultato è stato ottenuto attraverso il perfezionamento dell'algoritmo di hash-mapping, fondamentale per la gestione dei cache server che servono le URL direttamente dalla memoria o dal disco.
Il servizio, basato sul framework open-source Pingora e sull'algoritmo Ketama, attribuisce a ciascuna URL una posizione in una mappa hash per indirizzare le richieste verso il server più adatto. In precedenza, la necessità di garantire una distribuzione equa del carico e la resilienza agli imprevisti comportava la creazione di circa 100.000 hash per ogni server, con notevole impatto sulla RAM utilizzata.
Gli ingegneri di Cloudflare hanno dimostrato che, riducendo il numero di hash per server del 90% (da 100.000 a 10.000), si ottengono prestazioni praticamente equivalenti, evitando sprechi di memoria. «L’analisi dei dati ha mostrato che incrementare le hash oltre le 10.000 per server produceva benefici trascurabili», si legge nel report tecnico.
Questa ottimizzazione è stata implementata come una nuova versione dell’algoritmo, garantendo reversibilità in caso di problemi. L’approccio evidenzia l’importanza di una gestione consapevole delle risorse nei moderni sistemi distribuiti.
