Do Zero ao LLM com Delphi

Capítulo 1 - O modelo que vamos construir

É fácil ter a impressão de que trabalhar com modelos de linguagem consiste em enviar uma pergunta a um serviço e receber uma resposta. Do ponto de vista de uma aplicação, muitas vezes é exatamente isso que acontece: montamos uma requisição HTTP, uma mensagem enviada segundo um protocolo comum da Web; serializamos os dados em JSON, um formato textual de troca de dados; aguardamos o servidor; e processamos o resultado. Esse trabalho pode exigir boa engenharia, mas quase tudo o que torna o modelo capaz de continuar um texto permanece do outro lado da conexão.

Em vez de perguntar como chamar um modelo pronto, perguntaremos o que precisa existir para que um programa receba uma sequência de texto, encontre regularidades nela e estime qual elemento deve aparecer em seguida. Construiremos essas partes em Delphi e treinaremos seus parâmetros na CPU, o processador principal do computador. Acompanharemos o momento em que uma saída inicialmente aleatória começa a reproduzir padrões do corpus, isto é, do conjunto de textos usado como dado de aprendizado.

O resultado não será um concorrente dos grandes modelos comerciais ou abertos. Será um pequeno modelo de linguagem educacional, deliberadamente limitado para que possamos examinar seus dados, suas operações e seus erros. Ainda assim, ele cumprirá literalmente o ciclo proposto no título: será construído, treinado e executado por nós.

Essa distinção define o restante da obra. Usar um modelo permite criar aplicações. Construir um modelo permite compreender o mecanismo que essas aplicações utilizam.

Antes de conhecer cada peça, precisamos enxergar o sistema completo. Os nomes aparecerão novamente ao longo do livro, acompanhados de contas e código. Nesta primeira passagem, a meta é apenas saber o que cada parte faz e por que ela existe.

Comecemos pelo termo mais amplo. Inteligência artificial, no contexto deste livro, é o campo que estuda e constrói sistemas capazes de realizar tarefas que associamos a percepção, previsão, decisão ou produção de conteúdo. Essa expressão abrange técnicas muito diferentes. Nosso projeto trabalhará com uma delas: uma rede neural treinada para prever o próximo token de uma sequência.

Uma rede neural é uma função composta por operações numéricas e valores ajustáveis. Esses valores são chamados de parâmetros. No começo, os parâmetros ainda não representam os padrões do corpus. Durante o treinamento, o programa compara previsões com respostas conhecidas e altera um pouco esses números. “Aprender”, aqui, significa realizar muitos desses ajustes até que certas previsões melhorem.

Um Transformer é uma arquitetura de rede neural criada para processar sequências. Arquitetura, neste caso, significa a organização das partes e o caminho percorrido pelos dados — algo próximo ao modo como um desenvolvedor organiza classes, métodos e responsabilidades em um sistema. O Transformer recebe uma sequência de vetores, permite que cada posição reúna informação de outras posições relevantes e devolve uma nova sequência de vetores enriquecidos pelo contexto.

Portanto, Transformer não é sinônimo de inteligência artificial, de modelo de linguagem ou de produto como um assistente de conversa. Ele é a arquitetura central que usaremos dentro de um sistema maior. Nosso modelo de linguagem completo também precisará de tokenizador, parâmetros aprendidos, corpus, processo de treinamento, projeção de saída e estratégia de geração.

Delphi é uma linguagem de

Queremos que o programa estime qual token pode vir depois. Sem entrar ainda nas contas, a figura acompanha a sequência enquanto ela muda de representação. Os IDs mostrados são apenas ilustrativos: os valores reais dependem do vocabulário construído a partir do corpus.

Se o token escolhido representar programação, ele será anexado à sequência. O modelo executará o mesmo caminho novamente para escolher o token seguinte. É assim que uma continuação cresce: um token por vez. O programa não escreve previamente um parágrafo inteiro escondido; cada escolha cria o contexto da próxima.

O nome bloco Transformer designa um conjunto de operações que pode ser repetido em pilha. O DelphiLM usará dois blocos. Em cada um, encontraremos estas peças:

Não precisamos memorizar a tabela. Ela serve para impedir uma confusão comum: o Transformer não é uma operação única. É uma composição de mecanismos, e cada mecanismo responde a um problema concreto.

A palavra causal também tem um sentido específico. Ao prever o próximo token, o modelo pode consultar os tokens anteriores, mas não pode