1. News
2. NVIDIA potenzia la velocità di GenAI con TensorRT in esecuzione locale

NVIDIA sta potenziando la velocità di GenAI con TensorRT in esecuzione locale, offrendo un'accelerazione estrema dell'AI su hardware NVIDIA RTX. Grazie ai Tensor Core, TensorRT-LLM ottimizza i modelli AI per l'esecuzione su hardware NVIDIA, consentendo di eseguire rapidamente generatori di testo e immagini AI in locale. Con l'hardware NVIDIA RTX, è possibile eseguire tra 200 e 1.300 TOPS, senza la necessità di una connessione internet. NVIDIA si conferma come uno dei principali attori nel campo dell'AI, offrendo soluzioni accessibili e personalizzabili per l'utente.

AI in crescita

Negli ultimi anni, l'Intelligenza Artificiale ha conosciuto un'esplosione di popolarità, con chatbot e generatori di immagini che guidano gran parte di questo aumento. Questi strumenti vengono addestrati ampiamente su vasti set di dati chiamati Large Language Models (LLM), dai quali attingono per generare i risultati che vediamo.

Tuttavia, ottenere rapidamente quei risultati dipende da una potenza di calcolo seria. Oltre 100 milioni di utenti stanno già mettendo a frutto l'hardware potente di NVIDIA per eseguire modelli di intelligenza artificiale. Questo perché NVIDIA offre hardware che eccelle in quel processo, noto come inferenza, con GPU che includono core appositamente progettati per le capacità di AI, e combina questo hardware con il software TensorRT che ottimizza le prestazioni trovando essenzialmente scorciatoie per lavorare attraverso i modelli senza sacrificare l'accuratezza.

Tensor Cores e TensorRT

Questi core alimentati da AI sono noti come Tensor Cores, e sono il cuore pulsante di TensorRT di NVIDIA, un software che gestisce le applicazioni di AI per funzionare sull'hardware di NVIDIA per un'estrema accelerazione della loro inferenza.

Mentre un computer tipico potrebbe avere l'hardware per eseguire tra 10 e 45 AI teraops (TOPS), le ultime GPU NVIDIA RTX possono eseguire tra 200 e 1.300 TOPS, e tutto questo a livello locale. Le GPU dei data center possono spingere ulteriormente.

TensorRT-LLM

Utilizzando TensorRT-LLM, un software che prende modelli di AI e li ottimizza per funzionare sull'hardware di NVIDIA, questi Tensor Cores possono essere messi al lavoro con gli ultimi LLM popolari, come Llama2 o Mistral.

Questo rende facile non solo eseguire rapidamente questi LLM su dispositivi senza la necessità di inviare informazioni avanti e indietro tra il computer e un data center (cioè, senza la necessità di una connessione internet), ma rende anche possibile alimentare il LLM con nuove informazioni per personalizzarlo e quindi interrogarlo con queste nuove informazioni in mente.

ChatRTX

NVIDIA ha persino creato ChatRTX per semplificare questo processo per i nuovi utenti.

Con la velocità di elaborazione locale accelerata dai Tensor Cores e la personalizzazione disponibile, TensorRT e TensorRT-LLM rendono l'AI sempre più accessibile, e questo ha reso NVIDIA uno dei principali attori del settore.

Se hai hardware NVIDIA RTX nel tuo sistema, puoi sfruttare TensorRT ora per iniziare ad eseguire generatori di testo e immagini di AI a livello locale. E questo è solo l'inizio di ciò che puoi fare.

Per rimanere aggiornato sulle ultime novità su TensorRT e sulle capacità di AI di NVIDIA, segui la serie AI Decoded di NVIDIA. Lì troverai notizie sull'AI così come spiegazioni utili e digeribili sulla tecnologia che lavora dietro le quinte e sguardi dimostrativi su come gli altri stanno utilizzando l'AI alimentata da RTX per affrontare tutti i tipi di sfide.