Nvidia e Microsoft risolvono un grande problema con Copilot+
Nvidia e Microsoft collaborano per superare l'ostacolo principale che affligge attualmente i PC con Copilot+
.webp)
Nvidia e Microsoft stanno risolvendo un grande problema con Copilot+. Grazie a una collaborazione, svilupperanno un'API che consentirà agli sviluppatori di eseguire le loro app AI-accelerate sulle schede grafiche RTX di Nvidia. Questo permetterà di avere app più potenti e di farle girare su PC al di fuori del Copilot+ umbrella. Inoltre, l'API introdurrà capacità di generazione potenziate da recupero (RAG) nel runtime di Copilot, consentendo all'IA di accedere a informazioni specifiche localmente per fornire soluzioni più utili.
Una collaborazione vincente
Nvidia e Microsoft stanno lavorando insieme per superare l'ostacolo principale che affligge attualmente i PC con Copilot+. Quando Microsoft ha annunciato i PC con Copilot+ alcune settimane fa, una domanda dominava su tutte: Perché non posso eseguire queste applicazioni AI sulla mia GPU? Al Computex 2024, Nvidia ha finalmente fornito una risposta.
Nvidia e Microsoft stanno collaborando a un'Interfaccia di Programmazione delle Applicazioni (API) che consentirà agli sviluppatori di eseguire le proprie app accelerate da AI sulle schede grafiche RTX. Ciò include i vari Small Language Models (SLM) che fanno parte dell'esecuzione di Copilot, utilizzati come base per funzionalità come Recall e Live Captions.
Un'opportunità per gli sviluppatori
Con il toolkit, gli sviluppatori possono consentire alle app di essere eseguite localmente sulla propria GPU anziché sull'NPU. Ciò apre la porta non solo a applicazioni AI più potenti, poiché le capacità di AI delle GPU sono generalmente superiori rispetto alle NPU, ma anche alla possibilità di essere eseguite su PC che attualmente non rientrano nell'ambito di Copilot+.
Un passo avanti significativo
I PC con Copilot+ attualmente richiedono un'unità di elaborazione neurale (NPU) in grado di gestire almeno 40 Tera Operazioni al Secondo (TOPS). Al momento, solo il Snapdragon X Elite soddisfa tale criterio. Tuttavia, le GPU hanno capacità di elaborazione AI molto più elevate, con modelli di fascia bassa che raggiungono anche i 100 TOPS, e opzioni di fascia alta che superano ulteriormente questo limite.
Ulteriori funzionalità e strumenti
Oltre all'esecuzione sulla GPU, la nuova API aggiunge capacità di generazione con recupero aumentato (RAG) all'esecuzione di Copilot. RAG fornisce all'AI l'accesso a informazioni specifiche localmente, consentendole di fornire soluzioni più utili. Abbiamo visto RAG in piena azione con Chat with RTX di Nvidia all'inizio di quest'anno.
Oltre all'API, Nvidia ha annunciato il RTX AI Toolkit al Computex. Questa suite per sviluppatori, che arriverà a giugno, combina vari strumenti e SDK che consentono agli sviluppatori di ottimizzare modelli AI per applicazioni specifiche. Nvidia afferma che utilizzando il RTX AI Toolkit, gli sviluppatori possono rendere i modelli quattro volte più veloci e tre volte più piccoli rispetto all'utilizzo di soluzioni open source.
Il futuro dell'AI
Stiamo assistendo a una serie di strumenti che consentono agli sviluppatori di creare applicazioni AI specifiche per gli utenti finali. Alcune di queste applicazioni sono già presenti nei PC con Copilot+, ma è probabile che vedremo molte più applicazioni AI a questo punto l'anno prossimo. Abbiamo l'hardware per eseguire queste app, dopotutto; ora abbiamo solo bisogno del software.
.webp)
.webp)
.webp)
.webp)
.webp)
.webp)