LLM para Crianças do Ensino Fundamental

A palavra-chave mais quente no setor atualmente é LLM.
Modelos como Claude 3.5 e Grok3 estão surgindo continuamente,
e serviços que utilizam LLM, como o Rütten e o Zeta, também estão aumentando.

Como desenvolvedor, em algum momento integraremos um LLM ao nosso serviço,
então, para não ficarmos perplexos naquela hora, acho melhor entendermos os conceitos básicos antecipadamente!
Portanto, decidi organizar algumas palavras-chave essenciais.

LLM

LLM (Large Language Model) em termos simples é
"uma IA que entende o texto inserido e responde com texto".
Modelos como GPT-4o, Claude 3 e Grok3 são exemplos representativos.

Atualmente, o LLM vai além da simples geração de frases,
realizando diversas tarefas, como codificação, análise de imagens e resolução de equações.
Acho que não estamos mais na era em que o desenvolvedor usa a IA como uma ferramenta.

Tool Call, Function Call

O LLM não apenas responde,
"mas também pode ser solicitado a chamar as ferramentas necessárias para ajudar no trabalho".

Por exemplo,

• Se o usuário disser "Calcule este número,"
• o LLM solicitará a chamada da API da calculadora
• e enviará o resultado de volta ao usuário.

No entanto, o LLM não chama a API diretamente,
precisamos implementar a chamada real em código ㅜㅜ

RAG (Retrieval-Augmented Generation)

Por mais inteligente que seja o LLM,
ele gera respostas com base apenas nos dados com os quais foi treinado.
Então, como recuperamos informações como as últimas notícias ou documentos internos?

É aí que entra o RAG.

• Primeiro, ele pesquisa (Retrieval) as informações necessárias em um banco de dados externo,
• e depois gera (Generation) uma resposta com base nessas informações.

Dessa forma, o LLM também pode refletir as informações mais recentes.

Em outras palavras, antes que o LLM responda, ele recebe os materiais necessários para a resposta, e o resumo ou a resposta com base nisso é chamado de
tudo RAG.

4B, 8B, 308B? Qual o significado desses números?

Ao observar os modelos LLM, vemos números como 8B e 70B anexados.
Isso significa o número de parâmetros (Parameter) que o modelo aprendeu.

• 8B (8 bilhões) → Modelo leve, rápido
• 308B (308 bilhões) → Modelo enorme, mas lento

Quanto maior o modelo, mais sofisticado ele é, mas a velocidade e o custo podem ser um problema.
Atualmente, o uso demodelos levesestá se tornando uma tendência.

Quanto mais pesado o modelo, mais lenta é a resposta,
o que leva a uma alta taxa de abandono dos usuários finais.

Multi-agente (Multi-Agent)

O LLM não lida com tudo sozinho,
mas várias IAs menores (agentes) trabalham juntas.

Por exemplo:

• Um cuida da codificação
• Outro cuida da análise de dados
• Outro cuida da organização de documentos.

Ao dividir as tarefas dessa maneira,a velocidade aumenta e respostas mais precisas são possíveis.
Não é como uma empresa? Alguém cuida do front-end... alguém cuida do back-end...

Feedback de Validação (Validation Feedback)

O LLM nem sempre diz a verdade.
Ele pode dar respostas incorretas.

Portanto, é necessário o Feedback de Validação.

• Se o usuário fornecer feedback sobre se a resposta do LLM está correta ou incorreta,
• o modelo pode se tornar cada vez mais inteligente.

Isso pode ser automatizado para criarum sistema em que o próprio LLM aprende.

Ou, quando a chamada de função ou o formato de resposta são definidos,
podemos forçar o cumprimento do formato se ele não for seguido.

Como usar a chamada de função no OpenAI

Para usar realmente a chamada de função usando o GPT-4o do OpenAI,
pode ser implementado da seguinte maneira.

🔹 Exemplo em TypeScript

Usando a chamada de função dessa maneira,
o LLM pode evoluir para uma **"IA realmente útil"** que não apenas gera texto,
mas também executa funções reais.

Agentica

Preencher os valores dos parâmetros dessas chamadas de função pode ser muito trabalhoso.
Portanto, ferramentas como Vercel ai e LangChain usam a biblioteca zod para
fornecer feedback de validação sobre se os valores de parâmetros retornados pelo LLM estão corretos.

Assim, uma chamada de função com alta precisão é realizada.

No entanto, escrever um esquema com zod para cada parâmetro de uma função complexa é inevitavelmente trabalhoso,
e o desenvolvedor pode achar que é"uma chatice".

Portanto, recomendo a bibliotecaAgentica.

Com apenas este código simples, as funções em três classes e os endpoints swagger são
definidos como chamadas de função e configurados para serem chamados automaticamente durante a conversa...

Portanto, um simples"agente de chatbot"foi criado.

Assim, o campo de lidar com LLM e IA está se tornando cada vez mais fácil.
É assustador até onde o desenvolvimento tecnológico chegou.