LLM voor basisschoolkinderen

Het heetste keyword in de branche op dit moment is LLM.
Modellen zoals Claude 3.5 en Grok3 duiken steeds vaker op,
en er komen steeds meer diensten bij zoals Rytr en Zeta die gebruik maken van LLM.

Als ontwikkelaar zullen we op een gegeven moment ook LLM aan onze dienst moeten toevoegen,
dus is het misschien verstandig om de basisconcepten alvast te leren kennen om niet in paniek te raken!
Daarom heb ik de belangrijkste keywords eens op een rijtje gezet.

LLM

LLM (Large Language Model) is, simpel gezegd,
"een AI die tekst begrijpt en er met tekst op reageert".
Modellen zoals GPT-4o, Claude 3 en Grok3 zijn hier voorbeelden van.

LLM's doen tegenwoordig meer dan alleen zinnen genereren,
ze kunnen ook coderen, afbeeldingen analyseren en vergelijkingen oplossen.
Ik denk dat we nu in een tijdperk leven waarin ontwikkelaars AI als tool kunnen gebruiken.

Tool Call, Function Call

LLM's geven niet alleen antwoorden,
je kunt ze ook vragen om "de benodigde tools op te roepen om je te helpen".

Bijvoorbeeld,

• als een gebruiker zegt "bereken deze getallen"
• vraagt de LLM de rekenmachine API op te roepen,
• en het resultaat wordt vervolgens doorgegeven aan de gebruiker.

Maar de LLM roept niet zelf de API op,
wij moeten de daadwerkelijke aanroep zelf coderen ㅜㅜ

RAG (Retrieval-Augmented Generation)

Hoe slim een LLM ook is,
hij genereert antwoorden alleen op basis van de reeds verwerkte gegevens.
Hoe haal je dan informatie op zoals het laatste nieuws of interne documenten?

Dan heb je RAG nodig.

• Eerst wordt de benodigde informatie opgehaald (Retrieval) uit een externe database,
• en op basis van die informatie wordt het antwoord gegenereerd (Generation).

Op deze manier kan de LLM ook de nieuwste informatie verwerken.

Met andere woorden, voordat de LLM antwoordt, wordt eerst de benodigde informatie toegevoegd, en het samenvatten of het antwoord op basis daarvan wordt
allemaal RAGgenoemd.

4B, 8B, 308B? Wat betekenen die getallen?

Bij LLM-modellen zie je vaak getallen zoals 8B en 70B staan.
Dit staat voor het aantal parameters (Parameter) waarmee het model is getraind.

• 8B (8 miljard) → licht model, snel
• 308B (308 miljard) → enorm groot model, maar traag

Hoe groter het model, hoe preciezer het is, maar de snelheid en de kosten kunnen een probleem zijn.
De trend is nu om lichte modellengoed te gebruiken.

Hoe zwaarder het model, hoe langzamer de responstijd,
wat leidt tot een hoger afbreukpercentage bij eindgebruikers.

Multi-Agent

Een LLM verwerkt niet alles alleen,
maar werkt samen met meerdere kleine AI's (agenten).

Bijvoorbeeld:

• een agent is verantwoordelijk voor het coderen,
• een agent voor data-analyse,
• en een agent voor het ordenen van documenten.

Door de taken te verdelen,wordt het sneller en nauwkeuriger.
Net als in een bedrijf, toch? De een doet frontend, de ander backend...

Validation Feedback (Validatie feedback)

Een LLM geeft niet altijd het juiste antwoord.
Hij kan ook fouten maken.

Daarom is Validation Feedbacknodig.

• Als de gebruiker feedback geeft of het antwoord van de LLM juist of onjuist is,
• kan het model steeds slimmer worden.

Dit kan geautomatiseerd worden om een systeem te creëren waarin de LLM zichzelf leert.

Of als Function Call of het antwoordformaat is vastgelegd,
kan het worden afgedwongen dat het formaat wordt gevolgd.

Function Call gebruiken bij OpenAI

Om Function Call daadwerkelijk te gebruiken met OpenAI's GPT-4o,
kun je het als volgt implementeren.

🔹 TypeScript voorbeeld

Door Function Call op deze manier te gebruiken,
kan de LLM niet alleen tekst genereren,
maar ook daadwerkelijke functies uitvoeren, waardoor het een **"echt nuttige AI"** wordt.

Agentica

Het handmatig invullen van de argumenten voor Function Call kan erg vervelend zijn.
Daarom gebruiken tools zoals Vercel ai en LangChain de zod-bibliotheek om
Validation Feedback uit te voeren op de door de LLM geretourneerde argumenten.

Dit zorgt voor een hoge nauwkeurigheid bij Function Call.

Maar het handmatig maken van schema's met zod voor complexe functieargumenten is gewoon erg vervelend,
en ontwikkelaars vinden het misschien"een klusje".

Daarom raad ik de bibliotheek Agentica aan.

Met slechts deze eenvoudige code kunnen de functies in de drie klassen en de endpoints van de swagger
worden aangewezen als Function Call en automatisch worden aangeroepen tijdens een gesprek...

Zo is er een eenvoudige "chatbot-agent"gemaakt.

Het werken met LLM en AI wordt steeds eenvoudiger.
De technologische vooruitgang is angstaanjagend.