Google lancia Android Bench per valutare i modelli AI nello sviluppo app
Android Bench permette di confrontare le performance dei LLM nelle attività reali di coding Android, facilitando la scelta dei developer.
Google ha presentato Android Bench, un nuovo benchmark pensato per valutare le capacità dei large language models (LLM) nelle attività di sviluppo Android. Lo strumento nasce dall'esigenza di identificare quali modelli AI siano realmente in grado di affrontare i problemi concreti che i developer incontrano nella programmazione di app.
Il benchmark mette alla prova le AI su task reali prelevati da progetti pubblici su GitHub, chiedendo ai modelli di ricreare pull request e risolvere problemi analoghi a quelli tipici della community. L'efficacia viene verificata non solo sull'apparenza ma sulla reale risoluzione del bug o issue, offrendo così una misurazione oggettiva dell'utilità dei modelli nelle sfide reali.
I risultati della prima versione di Android Bench mostrano divari significativi: i modelli testati completano con successo dal 16% al 72% dei compiti proposti. "Pubblicare questi risultati dovrebbe rendere più semplice per i developer confrontare i modelli e scegliere quelli più affidabili", spiega Google.
Oltre a supportare le scelte dei professionisti, Android Bench punta a stimolare il miglioramento dei modelli AI. A tale scopo, Google ha reso disponibili su GitHub metodologia, dataset e framework di test, favorendo un'evoluzione costante degli strumenti AI per Android.
