LLM per studenti delle elementari

Oggi, nel settore, la parola d'ordine più gettonata è LLM.
Modelli come Claude 3.5 e Grok3 continuano a emergere,
e aumentano anche i servizi che utilizzano LLM, come Rütten e Zeta.

Come sviluppatori, prima o poi integreremo LLM nei nostri servizi,
quindi è meglio conoscere i concetti di base per evitare di essere colti impreparati!
Ecco perché ho riassunto le parole chiave principali.

LLM

LLM (Large Language Model), in parole semplici,
"è un'IA che capisce il testo in input e risponde con un altro testo".
Modelli come GPT-4o, Claude 3 e Grok3 ne sono esempi classici.

Oggi, LLM non si limita a generare frasi,
ma esegue una varietà di attività, tra cui codifica, analisi di immagini e risoluzione di equazioni.
Direi che siamo entrati nell'era in cui gli sviluppatori utilizzano l'IA come strumento.

Tool Call, Function Call

LLM non si limita a fornire risposte,
"ma è anche possibile richiedere di chiamare gli strumenti necessari per svolgere il lavoro".

Ad esempio,

• se l'utente dice "Calcola questo numero",
• LLM richiede di chiamare l'API della calcolatrice
• e trasmette il risultato all'utente.

Tuttavia, LLM non chiama direttamente l'API,
dobbiamo implementarla noi nel codice ㅜㅜ

RAG (Retrieval-Augmented Generation)

Per quanto intelligenti siano gli LLM,
generano risposte solo in base ai dati con cui sono stati addestrati.
Allora, come si recuperano informazioni come le ultime notizie o i documenti aziendali?

In questo caso, è necessario RAG.

• Prima vengono cercate (Retrieval) le informazioni necessarie nel database esterno,
• poi viene generata (Generation) la risposta in base a tali informazioni.

In questo modo, LLM può anche riflettere le informazioni più recenti.

In altre parole, prima di rispondere, vengono forniti i dati necessari per la risposta, e la risposta viene data tramite sintesi o sulla base di questi dati.
Tutto questo si chiama RAG.

4B, 8B, 308B? Cosa significano questi numeri?

Nei modelli LLM, si vedono numeri come 8B e 70B.
Questo indica il numero di parametri (Parameter) con cui il modello è stato addestrato.

• 8B (8 miliardi) → modello leggero, veloce
• 308B (308 miliardi) → modello enorme, ma lento

Modelli più grandi sono più precisi, ma possono essere costosi e lenti.
Oggi, l'utilizzo di modelli leggeri è una tendenza.

Modelli più pesanti sono più lenti nel rispondere,
quindi il tasso di abbandono degli utenti finali è più alto.

Multi-agente (Multi-Agent)

LLM non gestisce tutto da solo,
ma diverse piccole IA (agenti) collaborano.

Ad esempio:

• uno si occupa della codifica
• uno si occupa dell'analisi dei dati
• uno si occupa dell'organizzazione dei documenti.

Dividendo i compiti in questo modo,è possibile ottenere risposte più veloci e accurate.
Non è un po' come in un'azienda? Qualcuno si occupa del front-end... qualcun altro del back-end...

Feedback di convalida (Validation Feedback)

LLM non fornisce sempre risposte corrette.
Potrebbe anche fornire risposte errate.

Quindi è necessario il Validation Feedback.

• Se l'utente fornisce un feedback su correttezza o meno della risposta di LLM,
• il modello può diventare sempre più intelligente.

Automatizzando questo processo,è possibile creare un sistema in cui LLM impara da solo.

Oppure, quando sono definite le chiamate di funzione o il formato di risposta,
è possibile obbligare a rispettare il formato se non lo si fa.

Come utilizzare Function Call in OpenAI

Per utilizzare effettivamente Function Call con GPT-4o di OpenAI,
è possibile implementarlo come mostrato di seguito.

🔹 Esempio TypeScript

Utilizzando Function Call in questo modo,
LLM può evolvere non solo nella semplice generazione di testo,
ma in una **\"vera IA utile\"** che esegue funzioni reali.

Agentica

Compilare i valori degli argomenti dettagliati di FunctionCall può essere molto fastidioso.
Pertanto, strumenti come Vercel ai e LangChain utilizzano la libreria zod per
eseguire il Validation Feedback, verificando se i valori degli argomenti restituiti da LLM sono corretti.

Quindi, eseguono Function Call con alta precisione.

Tuttavia, scrivere manualmente gli schemi con zod per ogni singolo argomento di una funzione complessa è inevitabilmente noioso,
e per gli sviluppatori può sembrare\"noioso\".

Pertanto, consiglio la libreria Agentica.

Con questo semplice codice, le funzioni di tre classi e gli endpoint di swagger sono
definite come Function Call e impostate per essere chiamate automaticamente durante la conversazione..

In questo modo, viene creato un semplice \"agente chatbot\".

L'ambito di utilizzo di LLM e IA sta diventando sempre più semplice.
È incredibile fino a che punto è arrivato lo sviluppo tecnologico.