NVIDIA potenzia la velocità di GenAI con TensorRT in esecuzione locale
Il motore dietro le menti
.webp)
AI in crescita
Negli ultimi anni, l'Intelligenza Artificiale ha conosciuto un'esplosione di popolarità , con chatbot e generatori di immagini che guidano gran parte di questo aumento. Questi strumenti vengono addestrati ampiamente su vasti set di dati chiamati Large Language Models (LLM), dai quali attingono per generare i risultati che vediamo.
Tuttavia, ottenere rapidamente quei risultati dipende da una potenza di calcolo seria. Oltre 100 milioni di utenti stanno già mettendo a frutto l'hardware potente di NVIDIA per eseguire modelli di intelligenza artificiale. Questo perché NVIDIA offre hardware che eccelle in quel processo, noto come inferenza, con GPU che includono core appositamente progettati per le capacità di AI, e combina questo hardware con il software TensorRT che ottimizza le prestazioni trovando essenzialmente scorciatoie per lavorare attraverso i modelli senza sacrificare l'accuratezza.
Tensor Cores e TensorRT
Questi core alimentati da AI sono noti come Tensor Cores, e sono il cuore pulsante di TensorRT di NVIDIA, un software che gestisce le applicazioni di AI per funzionare sull'hardware di NVIDIA per un'estrema accelerazione della loro inferenza.
Mentre un computer tipico potrebbe avere l'hardware per eseguire tra 10 e 45 AI teraops (TOPS), le ultime GPU NVIDIA RTX possono eseguire tra 200 e 1.300 TOPS, e tutto questo a livello locale. Le GPU dei data center possono spingere ulteriormente.
TensorRT-LLM
Utilizzando TensorRT-LLM, un software che prende modelli di AI e li ottimizza per funzionare sull'hardware di NVIDIA, questi Tensor Cores possono essere messi al lavoro con gli ultimi LLM popolari, come Llama2 o Mistral.
Questo rende facile non solo eseguire rapidamente questi LLM su dispositivi senza la necessità di inviare informazioni avanti e indietro tra il computer e un data center (cioè, senza la necessità di una connessione internet), ma rende anche possibile alimentare il LLM con nuove informazioni per personalizzarlo e quindi interrogarlo con queste nuove informazioni in mente.
ChatRTX
NVIDIA ha persino creato ChatRTX per semplificare questo processo per i nuovi utenti.
Con la velocità di elaborazione locale accelerata dai Tensor Cores e la personalizzazione disponibile, TensorRT e TensorRT-LLM rendono l'AI sempre più accessibile, e questo ha reso NVIDIA uno dei principali attori del settore.
Se hai hardware NVIDIA RTX nel tuo sistema, puoi sfruttare TensorRT ora per iniziare ad eseguire generatori di testo e immagini di AI a livello locale. E questo è solo l'inizio di ciò che puoi fare.
Per rimanere aggiornato sulle ultime novità su TensorRT e sulle capacità di AI di NVIDIA, segui la serie AI Decoded di NVIDIA. Lì troverai notizie sull'AI così come spiegazioni utili e digeribili sulla tecnologia che lavora dietro le quinte e sguardi dimostrativi su come gli altri stanno utilizzando l'AI alimentata da RTX per affrontare tutti i tipi di sfide.
