Cos'è un token AI?
Uno degli aspetti più importanti dell'IA generativa è la sua unità più piccola
.webp)
Un AI token è l'unità più piccola in cui le parole o frasi vengono suddivise per essere elaborate da un modello linguistico generativo. Questi token permettono ai modelli di analizzare ed interpretare testi in modo efficiente, generando contenuti in modo simile all'unità basata sui token. Le aziende utilizzano limiti di token per ottimizzare le prestazioni dei modelli AI. I token permettono ai modelli di avere una memoria più ampia attraverso limiti o finestre di contesto più ampi.
Recentemente Google ha annunciato che Gemini 1.5 Pro aumenterà da una finestra di contesto di 1 milione di token a 2 milioni. Questo suona impressionante, ma cosa diavolo è un token comunque?
Alla base, anche i chatbot hanno bisogno di aiuto nel processare il testo che ricevono in modo da poter comprendere concetti e comunicare con te in modo simile all'essere umano. Questo viene realizzato utilizzando un sistema di token nello spazio dell'IA generativa che suddivide i dati in modo che siano più facilmente digeribili dai modelli di IA.
Un token AI è l'unità più piccola in cui una parola o una frase può essere suddivisa quando viene elaborata da un grande modello di linguaggio (LLM). I token tengono conto di parole, segni di punteggiatura o sottostringhe, che consentono ai modelli di analizzare ed interpretare efficacemente il testo e, di conseguenza, generare contenuti in un modo simile basato sull'unità. Questo è simile a come un computer convertirà i dati in zeri e uno Unicode per una più facile elaborazione. I token consentono a un modello di determinare un pattern o una relazione all'interno di parole e frasi in modo da poter prevedere termini futuri e rispondere nel contesto della tua richiesta.
Quando inserisci una richiesta, la frase e le parole sono troppo lunghe per essere interpretate da un chatbot così come sono - devono essere suddivise in pezzi più piccoli prima che il LLM possa elaborare la richiesta. Vengono convertiti in token, quindi la richiesta viene inviata e analizzata e una risposta ti viene restituita.
Il processo di trasformare il testo in token è chiamato tokenizzazione. Esistono molti metodi di tokenizzazione, che possono differire in base a varianti, tra cui istruzioni di dizionario, combinazioni di parole, lingua, ecc. Ad esempio, il metodo di tokenizzazione basato sullo spazio suddivide le parole in base agli spazi tra di esse. La frase 'Sta piovendo fuori' sarebbe suddivisa nei token 'È', 'piovendo', 'fuori'.
La conversione generale dei token seguita nello spazio dell'IA generativa indica che un token equivale approssimativamente a quattro caratteri in inglese - o 3/4 di una parola - e 100 token equivale approssimativamente a 75 parole. Altre conversioni suggeriscono che una o due frasi equivalgono a circa 30 token, un paragrafo equivale a circa 100 token e 1.500 parole equivalgono a circa 2.048 token.
Sia che tu sia un utente generale, un programmatore o un'azienda, il programma di IA che stai utilizzando sta impiegando token per svolgere i suoi compiti. Una volta che inizi a pagare per i servizi di IA generativa, stai pagando per i token per mantenere il servizio al suo livello ottimale.
La maggior parte dei marchi di IA generativa ha anche regole di base su come i token funzionano sui loro modelli di IA. Molte aziende hanno limitazioni sui token, che pongono un tetto al numero di token che possono essere elaborati in un'unica operazione. Se la richiesta è più grande del limite di token su un LLM, lo strumento non sarà in grado di completare una richiesta in un'unica operazione. Ad esempio, se inserisci un articolo di 10.000 parole per la traduzione in un GPT con un limite di 4.096 token, non sarà in grado di elaborarlo completamente per dare una risposta dettagliata perché tale richiesta richiederebbe almeno 15.000 token.
Tuttavia, le aziende hanno rapidamente avanzato le capacità dei loro LLM, aggiungendo al limite dei token nuove versioni. Il modello BERT di Google basato sulla ricerca aveva una lunghezza massima di input di 512 token. Il LLM GPT-3.5 di OpenAI, che esegue la versione gratuita di ChatGPT, ha un massimo di 4.096 token di input, mentre il LLM GPT-4, che esegue la versione a pagamento di ChatGPT, ha un massimo di 32.768 token di input.
Ciò equivale approssimativamente a 64.000 parole o 50 pagine di testo. Il Gemini 1.5 Pro di Google che fornisce funzionalità audio al brand AI Studio ha una finestra di contesto standard di 128.000 token. Il LLM Claude 2.1 ha un limite fino a 200.000 token di contesto. Ciò equivale approssimativamente a 150.000 parole o 500 pagine di testo.
Ci sono diversi tipi di token utilizzati nello spazio dell'IA generativa che consentono ai LLM di identificare le unità più piccole disponibili per l'analisi. Ecco alcuni dei principali token che interessano un modello di IA.
Ci sono diversi vantaggi dei token nello spazio dell'IA generativa. Principalmente, agiscono come connettore tra il linguaggio umano e il linguaggio informatico quando si lavora con LLM e altri processi di IA. I token aiutano i modelli a elaborare grandi quantità di dati contemporaneamente, il che è particolarmente vantaggioso negli spazi aziendali che utilizzano LLM. Le aziende possono lavorare con limiti di token per ottimizzare le prestazioni dei modelli di IA. Con l'introduzione di future versioni di LLM, i token consentiranno ai modelli di avere una memoria più ampia attraverso limiti o finestre di contesto più alti.
Altri vantaggi dei token risiedono negli aspetti di formazione dei LLM. Poiché sono unità
.webp)
.webp)
.webp)
.webp)
.webp)
.webp)