Le AI di Google, OpenAI e Anthropic si sfidano giocando a Pokémon
I modelli di intelligenza artificiale vengono valutati tramite streaming di partite a Pokémon, testando logica e pianificazione strategica.
Le principali aziende nel settore dell'AI, come Google, OpenAI e Anthropic, stanno utilizzando i videogiochi retro della serie Pokémon per testare e confrontare le capacità dei loro modelli avanzati. Secondo quanto riportato dal Wall Street Journal, l'approccio prevede di far giocare i modelli LLM a titoli come Pokémon Blue, trasmettendo le partite in streaming su Twitch per valutare le prestazioni in tempo reale.
Secondo David Hershey di Anthropic, "Pokémon si è rivelato un banco di prova meno vincolato rispetto ad altri giochi storicamente utilizzati, offrendo sfide complesse in termini di ragionamento e pianificazione". I modelli AI devono infatti affrontare decisioni complesse: scegliere quando rischiare in battaglia, come gestire il roster e pianificare il percorso migliore per progredire nel gioco, testando reasoning, risk assessment e long-term planning.
Questa modalità di valutazione consente di osservare e quantificare in modo oggettivo le performance delle AI, fornendo dati utili anche per applicazioni reali. Mentre GPT e Gemini hanno già completato Pokémon Blue, il modello Claude di Anthropic è ancora impegnato nella sfida, segno della difficoltà del test e del valore nell'utilizzo dei videogiochi per affinare le capacità di inferenza delle intelligenze artificiali.
