Série Inteligência Artificial, parte 3 de 4. Este ensaio continua o percurso iniciado em aprendizado de máquina e redes neurais, agora aplicado à linguagem.
Os grandes modelos de linguagem, conhecidos pela sigla LLM (do inglês large language models), são hoje a face mais visível da inteligência artificial. Eles estão por trás dos assistentes conversacionais, das ferramentas que escrevem legendas e roteiros e, como discutido no ensaio sobre o que são agentes de IA, do núcleo de decisão de uma nova geração de agentes. Apesar disso, poucos usuários sabem explicar o que um LLM faz quando responde a uma pergunta.
A resposta curta é que um modelo de linguagem estima qual é a continuação mais provável de um texto. A resposta longa envolve uma arquitetura publicada em 2017, chamada Transformer, um processo de pré-treino com volumes enormes de texto e uma série de descobertas, algumas surpreendentes, sobre o que esses modelos conseguem fazer quando crescem. Entender esse percurso ajuda a usar as ferramentas com mais critério e a avaliar com mais cuidado o que se diz sobre elas.
Este texto apresenta os antecedentes da arquitetura, o mecanismo de atenção, as duas grandes famílias de modelos pré-treinados, o aprendizado em contexto e a pesquisa sobre prompts, e termina com as críticas mais relevantes e as implicações para quem produz conteúdo.
Antes do Transformer: palavras como vetores
Para que uma rede neural processe texto, as palavras precisam virar números. Um passo importante foi a técnica de Mikolov et al. (2013), que representa cada palavra como um vetor em um espaço de muitas dimensões, aprendido a partir dos contextos em que ela aparece. Palavras usadas em contextos parecidos ficam próximas nesse espaço. Essas representações, chamadas embeddings, capturam relações de sentido sem que ninguém as programe.
Faltava lidar com sequências. Durante anos, a solução foram as redes recorrentes, que leem o texto palavra por palavra e carregam um estado de uma etapa para a seguinte. Elas tinham dois problemas: eram lentas, porque não podiam processar a sequência em paralelo, e tinham dificuldade com dependências longas. Bahdanau, Cho e Bengio (2014) propuseram, para a tradução automática, um mecanismo de atenção que permitia ao modelo consultar diretamente as partes relevantes da frase de origem ao gerar cada palavra da tradução. Essa ideia seria levada ao extremo três anos depois.
A arquitetura Transformer e o mecanismo de atenção
Vaswani et al. (2017) apresentaram o Transformer, uma arquitetura que dispensa a recorrência e se baseia inteiramente em atenção. O ponto central é a autoatenção: ao processar cada palavra, o modelo calcula o quanto ela deve considerar cada uma das outras palavras da sequência. Na frase “o cliente devolveu o produto porque ele estava com defeito”, a autoatenção permite que a representação de “ele” seja influenciada sobretudo por “produto”.
Três características explicam o impacto da proposta:
- Paralelismo: como não há leitura sequencial, o treinamento aproveita muito melhor os processadores gráficos, o que viabilizou modelos e bases de dados muito maiores.
- Atenção com múltiplas cabeças: o modelo calcula várias atenções em paralelo, cada uma podendo captar um tipo diferente de relação entre palavras.
- Codificação de posição: como a atenção, sozinha, não sabe a ordem das palavras, informações de posição são somadas às representações.
O artigo original foi testado em tradução automática e usava duas partes, um codificador e um decodificador. As famílias de modelos que vieram depois aproveitaram uma ou outra dessas partes.
Pré-treino: BERT, GPT e a escala
Duas famílias
Radford et al. (2018) mostraram que um modelo do tipo decodificador, pré-treinado de forma generativa em grande quantidade de texto para prever a próxima palavra, podia depois ser ajustado com poucos dados para tarefas específicas, superando abordagens anteriores. É a origem da linha GPT. No ano seguinte, Devlin et al. (2019) apresentaram o BERT, baseado no codificador. Em vez de prever a próxima palavra, o BERT aprende a recuperar palavras ocultadas aleatoriamente, usando o contexto dos dois lados. Modelos como o BERT se destacam em tarefas de compreensão, como classificação e busca; modelos como o GPT, em geração de texto.
O padrão que se consolidou foi o do pré-treino seguido de adaptação. Bommasani et al. (2021) chamaram esses sistemas de modelos de fundação, porque servem de base para muitas aplicações diferentes. Os autores alertam que essa centralização tem um lado arriscado: defeitos do modelo de base são herdados por todas as aplicações construídas sobre ele.
Leis de escala e aprendizado em poucos exemplos
Kaplan et al. (2020) observaram que o desempenho de modelos de linguagem melhora de forma previsível, seguindo leis de potência, à medida que crescem o número de parâmetros, a quantidade de dados e o poder de computação. Esse resultado empírico orientou investimentos bilionários em modelos cada vez maiores.
Brown et al. (2020) apresentaram o GPT-3, com 175 bilhões de parâmetros, e documentaram o aprendizado em contexto. Sem nenhum ajuste nos pesos, o modelo conseguia executar tarefas novas apenas a partir de uma instrução e de alguns exemplos colocados no próprio texto de entrada. Os autores distinguem três situações: sem exemplos (zero-shot), com um exemplo (one-shot) e com poucos exemplos (few-shot). O mesmo artigo registra limitações, como a dificuldade em certas tarefas de raciocínio e a reprodução de vieses presentes nos dados.
Um modelo que apenas prevê a próxima palavra, porém, não necessariamente segue instruções de forma útil. Ouyang et al. (2022) mostraram que ajustar o modelo com demonstrações humanas e com aprendizado por reforço a partir de preferências humanas, técnica conhecida como RLHF, produzia respostas que os avaliadores preferiam, mesmo com modelos bem menores. Esse tipo de ajuste está na base dos assistentes conversacionais.
O que a pesquisa diz sobre prompts
Se o modelo aprende em contexto, a forma como a tarefa é apresentada importa. Wei et al. (2022) mostraram que incluir no prompt exemplos com o raciocínio intermediário escrito passo a passo, técnica que chamaram de cadeia de pensamento, melhorava o desempenho em problemas de aritmética, senso comum e manipulação simbólica. Um detalhe importante do estudo: o ganho aparecia sobretudo em modelos suficientemente grandes. Em modelos menores, a técnica ajudava pouco ou nada.
Kojima et al. (2022) foram além e mostraram que, mesmo sem exemplos, uma simples instrução para que o modelo raciocine passo a passo antes de responder já melhorava o desempenho em várias tarefas de raciocínio. Esses trabalhos deram base científica a práticas que circulavam de modo informal.
É preciso, porém, cautela ao transformar esses resultados em receitas. Os experimentos foram feitos com modelos e conjuntos de teste específicos, e não há garantia de que os efeitos se repitam da mesma forma em modelos lançados depois, treinados de outras maneiras. O princípio estável é outro: clareza na tarefa, contexto suficiente e exemplos representativos tendem a melhorar as respostas. Fórmulas mágicas, não.
Debate e críticas: papagaios estocásticos?
A crítica mais citada vem de Bender et al. (2021). As autoras apontam custos ambientais e financeiros do treinamento de modelos cada vez maiores, a dificuldade de documentar e auditar bases de dados gigantescas, que tendem a sobrerrepresentar visões hegemônicas, e o risco de que textos fluentes sejam tomados como prova de compreensão. Para elas, um modelo de linguagem combina sequências de forma probabilística, sem referência ao significado, e a sensação de que ele entende está em quem lê. A metáfora do papagaio estocástico vem desse artigo.
O debate está em aberto. Há pesquisadores que interpretam o desempenho em tarefas de raciocínio como sinal de representações internas ricas, e outros que consideram esses resultados frágeis e sensíveis à formulação do problema. Vale notar que o próprio fenômeno da cadeia de pensamento, descrito por Wei et al. (2022), é medido por desempenho em testes, não por acesso ao que se passa dentro do modelo. Kaufman (2022) insiste em separar as capacidades efetivas desses sistemas da imagem antropomórfica que se projeta sobre eles. Para o estudante, a recomendação é separar o que foi medido empiricamente do que é interpretação.
Aplicação: o que isso muda na produção de conteúdo
Saber que o modelo prevê continuações prováveis explica vários comportamentos que criadores encontram no dia a dia. Textos genéricos aparecem quando o prompt é genérico, porque o mais provável é o lugar-comum. Dar contexto concreto, como público, tom de voz, exemplos de posts que funcionaram e informações do produto, desloca a probabilidade para respostas mais específicas. Esse é o aprendizado em contexto descrito por Brown et al. (2020) aplicado ao marketing.
A arquitetura também explica limites. O modelo tem uma janela de contexto finita, não consulta a internet por padrão e não tem acesso garantido a fatos recentes. Datas, preços, números e citações precisam sempre ser conferidos. O post prático sobre o que é inteligência artificial generativa (e o que ela não é) traz exemplos desse cuidado. Para quem pesquisa, a mesma lógica vale para resumos de artigos: um LLM pode resumir bem um texto fornecido e, ainda assim, inventar uma referência que não existe.
Para pesquisar: questões e caminhos para TCC
- Prompts com exemplos produzem legendas avaliadas como mais adequadas à marca do que prompts sem exemplos? Método: experimento com avaliação cega por juízes e análise estatística.
- Como redatores e social media brasileiros incorporaram LLMs à rotina e que mudanças percebem na qualidade e na autoria? Método: entrevistas e análise temática.
- Que metáforas (assistente, papagaio, cérebro, estagiário) a imprensa brasileira usa para descrever os grandes modelos de linguagem? Método: análise de enquadramento.
- Estudantes universitários conseguem identificar textos gerados por LLM em tarefas acadêmicas? Método: experimento com textos humanos e gerados, controlando o tema.
- O desempenho de LLMs em português difere do desempenho em inglês em tarefas de marketing? Método: estudo comparativo com conjunto de tarefas padronizado.
Palavras-chave de busca: “grandes modelos de linguagem”, “modelos de linguagem”, “processamento de linguagem natural”, “engenharia de prompt”, “inteligência artificial generativa”; em inglês, “large language models”, “transformer architecture”, “self-attention”, “in-context learning”, “chain-of-thought prompting”, “foundation models”.
Considerações finais
Os grandes modelos de linguagem resultam da combinação de uma arquitetura eficiente, o Transformer, com pré-treino em escala e ajustes por preferências humanas. A pesquisa mostrou capacidades inesperadas, como aprender tarefas a partir de exemplos no próprio prompt e melhorar com instruções de raciocínio passo a passo. Mostrou também limites sérios, como os custos, os vieses herdados dos dados e a distância entre fluência e compreensão.
Na parte 4, que encerra a série, o foco será o limite mais sensível para quem pesquisa e produz conteúdo: a alucinação, quando o modelo gera informações falsas com toda a aparência de verdade, e as estratégias para reduzi-la, como a geração aumentada por recuperação.
Referências
BAHDANAU, Dzmitry; CHO, Kyunghyun; BENGIO, Yoshua. Neural machine translation by jointly learning to align and translate. arXiv, 2014. arXiv:1409.0473.
BENDER, Emily M. et al. On the dangers of stochastic parrots: can language models be too big? In: PROCEEDINGS OF THE 2021 ACM CONFERENCE ON FAIRNESS, ACCOUNTABILITY, AND TRANSPARENCY, 2021.
BOMMASANI, Rishi et al. On the opportunities and risks of foundation models. arXiv, 2021. arXiv:2108.07258.
BROWN, Tom B. et al. Language models are few-shot learners. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 33, 2020. arXiv:2005.14165.
DEVLIN, Jacob et al. BERT: pre-training of deep bidirectional transformers for language understanding. In: PROCEEDINGS OF THE 2019 CONFERENCE OF THE NORTH AMERICAN CHAPTER OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 2019. arXiv:1810.04805.
KAPLAN, Jared et al. Scaling laws for neural language models. arXiv, 2020. arXiv:2001.08361.
KAUFMAN, Dora. Desmistificando a inteligência artificial. Belo Horizonte: Autêntica, 2022.
KOJIMA, Takeshi et al. Large language models are zero-shot reasoners. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 35, 2022. arXiv:2205.11916.
MIKOLOV, Tomas et al. Efficient estimation of word representations in vector space. arXiv, 2013. arXiv:1301.3781.
OUYANG, Long et al. Training language models to follow instructions with human feedback. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 35, 2022. arXiv:2203.02155.
RADFORD, Alec et al. Improving language understanding by generative pre-training. San Francisco: OpenAI, 2018.
VASWANI, Ashish et al. Attention is all you need. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30, 2017. arXiv:1706.03762.
WEI, Jason et al. Chain-of-thought prompting elicits reasoning in large language models. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 35, 2022. arXiv:2201.11903.
Como citar este texto
RÚBIO, Mélker. Grandes modelos de linguagem e a arquitetura Transformer: atenção, pré-treino e prompts. MR Academy, Novo Progresso, 5 nov. 2026. Disponível em: https://melkerrubio.com/transformers-e-grandes-modelos-de-linguagem/. Acesso em: [data do seu acesso].
Quer aprofundar com aulas práticas? Conheça os cursos da MR Academy.
