LLM dla uczniów szkół podstawowych

Najgorętsze obecnie w branży słowo kluczowe to LLM.
Ciągle pojawiają się nowe modele, takie jak Claude 3.5 czy Grok3,
a także rośnie liczba usług wykorzystujących LLM, takich jak Rytton czy Zeta.

Jako deweloperzy, prędzej czy później będziemy musieli wdrożyć LLM w naszych usługach,
więc lepiej zapoznać się z podstawowymi pojęciami, aby uniknąć zaskoczenia!
Dlatego postanowiłem uporządkować najważniejsze słowa kluczowe.

LLM

LLM (Large Language Model) to, mówiąc prosto,
"sztuczna inteligencja, która rozumie tekst i odpowiada na niego tekstem".
Przykładem takich modeli są GPT-4o, Claude 3 i Grok3.

Obecnie LLM to coś więcej niż tylko generowanie zdań.
Potrafią one wykonywać różne zadania, takie jak kodowanie, analiza obrazów czy rozwiązywanie równań.
Wydaje się, że nadeszła era, w której programiści wykorzystują AI jako narzędzie.

Tool Call, Function Call

LLM nie tylko udziela odpowiedzi,
ale można je też poprosić o "wywołanie potrzebnych narzędzi w celu wsparcia pracy".

Na przykład,

• jeśli użytkownik poprosi o "obliczenie tych liczb",
• LLM poprosi o wywołanie API kalkulatora,
• a następnie przekaże wynik użytkownikowi.

LLM jednak nie wywołuje API bezpośrednio,
to my musimy zaimplementować to w kodzie ㅜㅜ

RAG (Retrieval-Augmented Generation)

Nawet najinteligentniejsze LLM
generują odpowiedzi na podstawie już istniejących danych.
Jak więc uzyskać dostęp do najnowszych wiadomości lub wewnętrznych dokumentów firmy?

Wtedy potrzebne jest RAG.

• Najpierw wyszukiwane są (Retrieval) potrzebne informacje w zewnętrznej bazie danych,
• a następnie generowana jest (Generation) odpowiedź na ich podstawie.

Dzięki temu LLM może uwzględniać najnowsze informacje.

Innymi słowy, zanim LLM odpowie, najpierw podajemy mu niezbędne materiały, a następnie generuje podsumowanie lub odpowiedź na ich podstawie,
wszystko to nazywa się RAG.

4B, 8B, 308B? Co oznaczają te liczby?

Obok modeli LLM często widzimy liczby takie jak 8B czy 70B.
Oznaczają one liczbę parametrów (Parameter) modelu.

• 8B (8 miliardów) → lekki model, szybki
• 308B (308 miliardów) → bardzo duży model, ale wolny

Im większy model, tym bardziej precyzyjny, ale może to generować wyższe koszty i obniżać szybkość.
Obecnie trendem jest efektywne wykorzystanie lekich modeli.

Im cięższy model, tym wolniejsza odpowiedź,
co prowadzi do wzrostu odsetka rezygnacji użytkowników.

Multi-Agent (Wielu Agentowi)

LLM nie musi zajmować się wszystkim samodzielnie,
może współpracować z wieloma mniejszymi AI (agentami).

Na przykład:

• jeden agent zajmuje się kodowaniem,
• drugi analizą danych,
• a trzeci organizacją dokumentów.

Podział zadań pozwala na szybsze działanie i bardziej precyzyjne odpowiedzi.
Jak w firmie, prawda? Jeden zajmuje się front-endem, drugi back-endem...

Validation Feedback (Weryfikacja Zwrotna)

LLM nie zawsze mają rację.
Mogą udzielać błędnych odpowiedzi.

Dlatego potrzebna jest Validation Feedback.

• Jeśli użytkownik poda informację zwrotną na temat poprawności odpowiedzi LLM,
• model może stać się coraz bardziej inteligentny.

Można zautomatyzować ten proces i stworzyć system samouczący się dla LLM.

Lub też, gdy zdefiniowane są Function Call lub format odpowiedzi,
można wymusić przestrzeganie formatu.

Jak używać Function Call w OpenAI

Aby użyć Function Call z GPT-4o OpenAI,
można to zaimplementować w następujący sposób.

🔹 Przykład w TypeScript

Dzięki wykorzystaniu Function Call,
LLM może nie tylko generować tekst,
ale także wykonywać rzeczywiste funkcje, stając się **"naprawdę użyteczną AI"**.

Agentica

Szczegółowe wypełnianie wartości parametrów w Function Call może być bardzo żmudne.
Dlatego takie narzędzia jak Vercel ai czy LangChain wykorzystują bibliotekę zod do
weryfikacji zwrotnej (Validation Feedback) poprawności wartości parametrów zwracanych przez LLM.

W ten sposób realizowane są dokładne Function Call.

Jednak ręczne tworzenie schematów zod dla złożonych funkcji i ich parametrów może być bardzo uciążliwe i
programiści mogą odczuwać to jako "nudne" zadanie.

Dlatego polecam bibliotekę Agentica.

Za pomocą tak prostego kodu, funkcje z trzech klas i punkty końcowe swagger zostały
zdefiniowane jako Function Call i skonfigurowane do automatycznego wywoływania podczas konwersacji..

W ten sposób stworzyliśmy prostego "agenta czatu".

Obszar pracy z LLM i AI staje się coraz prostszy.
Postęp technologiczny jest naprawdę przerażający.