OpenAI lancia modelli linguistici open-weight per GPU consumer
I nuovi modelli gpt-oss-120b e 20b ottimizzati per dispositivi con 16GB di memoria
OpenAI ha presentato due nuovi modelli di linguaggio open-weight ottimizzati per le GPU consumer, denominati "gpt-oss-120b" e "gpt-oss-20b". Questi modelli sono progettati rispettivamente per funzionare su una GPU da 80GB e su dispositivi edge con soli 16GB di memoria.
Entrambi i modelli sfruttano un Transformer basato sul modello mixture-of-experts, noto grazie a DeepSeek R1, supportando fino a 131.072 lunghezze di contesto per inferenza locale. Il modello 120b attiva 5,1 miliardi di parametri per token, mentre il 20b ne attiva 3,6 miliardi.
Questi modelli utilizzano schemi di attenzione sparsa localmente e multi-query con gruppi di dimensione 8, integrando un'architettura di ragionamento Chain-of-Thought con attenzione all'efficienza e all'usabilità pratica.
OpenAI ha reso open-source questi modelli per facilitare l'accessibilità da parte degli sviluppatori e ha collaborato con diverse aziende per supportarli su piattaforme come ONNX Runtime, Azure, AWS e Ollama.
Durante le valutazioni, gpt-oss-120b ha superato l'o3-mini e ha eguagliato o superato l'o4-mini in coding, problem solving e query sanitarie. Il 20b ha mostrato prestazioni comparabili agli standard di o3-mini.
Cosa sono i modelli gpt-oss-120b e gpt-oss-20b rilasciati da OpenAI?
I modelli gpt-oss-120b e gpt-oss-20b sono nuovi modelli di linguaggio open-weight sviluppati da OpenAI. Il gpt-oss-120b è progettato per funzionare su GPU con 80 GB di memoria, mentre il gpt-oss-20b è ottimizzato per dispositivi con soli 16 GB di memoria, rendendolo adatto all'uso su hardware consumer. Entrambi i modelli utilizzano un'architettura Mixture-of-Experts
Quali sono le principali caratteristiche dell'architettura Mixture-of-Experts (MoE) utilizzata in questi modelli?
L'architettura Mixture-of-Experts
In quali ambiti i modelli gpt-oss-120b e gpt-oss-20b hanno dimostrato prestazioni competitive?
Durante le valutazioni, il gpt-oss-120b ha superato il modello o3-mini e ha eguagliato o superato l'o4-mini in compiti di coding, problem solving e query sanitarie. Il gpt-oss-20b ha mostrato prestazioni comparabili agli standard di o3-mini, rendendolo adatto per applicazioni che richiedono ragionamento avanzato su hardware con risorse limitate.
Quali sono i vantaggi dei modelli open-weight rispetto ai modelli closed-source?
I modelli open-weight, come gpt-oss-120b e gpt-oss-20b, offrono maggiore trasparenza e flessibilità rispetto ai modelli closed-source. Gli sviluppatori possono accedere ai pesi del modello, personalizzarli e adattarli a casi d'uso specifici, favorendo l'innovazione e la personalizzazione. Inoltre, l'esecuzione locale dei modelli su hardware consumer migliora la privacy e riduce la dipendenza da servizi cloud.
Come si confrontano i modelli gpt-oss con altri modelli open-source disponibili?
I modelli gpt-oss-120b e gpt-oss-20b sono progettati per offrire prestazioni competitive rispetto ad altri modelli open-source. Ad esempio, il gpt-oss-120b raggiunge prestazioni vicine al modello o4-mini di OpenAI nei principali benchmark di ragionamento, pur funzionando su una singola GPU da 80 GB. Questo li rende opzioni valide per sviluppatori che cercano modelli efficienti e personalizzabili.
Quali sono le implicazioni della licenza Apache 2.0 per gli sviluppatori che utilizzano i modelli gpt-oss?
La licenza Apache 2.0 consente agli sviluppatori di utilizzare, modificare e distribuire liberamente i modelli gpt-oss-120b e gpt-oss-20b, anche per scopi commerciali, senza preoccupazioni legate a restrizioni di copyleft o rischi di brevetto. Questo favorisce l'adozione e l'integrazione dei modelli in una vasta gamma di applicazioni e progetti.
