Machine Learning: LLMs

Parte: Ciência da Computação · Capítulo: Machine Learning: LLMs · Edição: 2026-07-12
Palavras-chave: transformer, pretreinamento, alinhamento, tokenização, contexto
Glossário: transformer, pretreinamento, token, alinhamento — veja GLOSSÁRIO

Em resumo

• Os grandes modelos de linguagem aprendem padrões linguísticos em corpora vastos, sem uma gramática explícita.
• O capítulo indexa arquitetura, treino, sistemas abertos e proprietários, e o contraste com bibliotecas anteriores de PLN.
• É orientação, não uma comparação de produtos e não um guia de implantação.

Referências online (verificadas)

• Modelo de grande linguagem
• Transformador (arquitetura de aprendizado profundo)
• Atenção (aprendizado de máquina)

Large language model

Instantâneo offline omitido nesta edição web. Instantâneo offline · Transformer (deep learning) · https://en.wikipedia.org/wiki/Transformer_(deep_learning_architecture) · recuperado em 2026-07-12

Transformer (deep learning architecture)

Instantâneo offline omitido nesta edição web. Instantâneo offline · Attention (machine learning) · https://en.wikipedia.org/wiki/Attention_(machine_learning) · recuperado em 2026-07-12

Attention (machine learning)

Este capítulo é um índice dos grandes modelos de linguagem e do seu lugar no processamento de linguagem natural: arquitetura, treino, sistemas abertos e proprietários, e o modo como diferem das bibliotecas anteriores de PLN. É orientação, não uma comparação de produtos e não um guia para colocar um modelo em produção.

Aplicações na Keyne Digital Assets

Os modelos de linguagem são uma das ferramentas que usamos quando classificamos, resumimos ou recuperamos linguagem pública. Este capítulo orienta esse trabalho. Não é a afirmação de que o Situation Monitor implementa cada modelo listado aqui, e não é um relatório de benchmark.

Aumento do GPT, é ele aberto?

GPT (Generative Pre-trained Transformer), desenvolvido pela OpenAI, não é aberto. Embora a OpenAI tenha liberado modelos menores como GPT-2 e GPT-3 (com limitações específicas) para fins de pesquisa e experimentação, os modelos completos e mais avançados, incluindo GPT-4, são proprietários e não são disponibilizados como software aberto.

O uso de um modelo GPT localmente em um único computador depende de vários fatores:

1. Tamanho do Modelo: Modelos menores, como o GPT-2, podem ser facilmente executados em um único computador com um GPU capaz. No entanto, modelos maiores, como o GPT-3 ou o GPT-4, exigem recursos computacionais significativamente maiores, o que pode não ser prático ou viável para uma configuração individual.
2. Recursos Computacionais: Para executar um modelo GPT, você precisa de um GPU poderoso e uma grande quantidade de RAM, especialmente para modelos maiores. As exigências computacionais aumentam com o tamanho do modelo.
3. Acesso ao Modelo: Como mencionado, embora modelos menores possam ser baixados, modelos como o GPT-3 e o GPT-4 são acessíveis através de APIs, e OpenAI não fornece o modelo completo para instalação local.
4. Custo e Eficiência

Se fosse possível executar modelos maiores localmente, o custo dos equipamentos necessários e da energia para alimentá-los e aquecê-los seria provavelmente muito caro para os usuários individuais. Além disso, a configuração de OpenAI em nuvem está otimizada para eficiência e desempenho, algo difícil de replicar em um único computador.

Resumo

Embora seja tecnicamente possível executar versões menores de GPT localmente, isso não é atualmente possível com as versões mais avançadas como GPT-4 devido à sua natureza proprietária e à necessidade significativa de recursos computacionais.

Alternativas abertas

A design dos modelos como GPT (Generative Pre-trained Transformer) envolve várias partes-chave e processos:

---

1. Arquitetura: Os modelos GPT são baseados na arquitetura Transformer, que foi introduzida em um artigo pela equipe de Vaswani et al. em 2017. A arquitetura Transformer é particularmente eficaz para lidar com dados sequenciais, o que a torna bem adaptada para tarefas de processamento de linguagem natural.
2. Pre-treinamento: Esses modelos passam por um estágio de pré-treinamento onde eles aprendem de um vasto corpus de texto. Este estágio envolve aprendizado sem supervisiono, onde o modelo aprende a prever o próximo termo em uma frase, dado os termos que precedem. Este processo ajuda o modelo a aprender padrões linguísticos, gramática e até mesmo algumas informações fácticas.
3. Ajuste finado: Após o pré-treinamento, o modelo pode ser ajustado finado em

Tarefas Específicas, como a Resolução de Perguntas ou a Tradução de Línguas, Usando um Dataset de Tarefas Pequenos, como a Resolução de Perguntas ou a Tradução de Línguas, Este Fine-Tuning Ajusta os Poderes da Pesquisa para Ter Melhorar a Perfeição da Tarefa Específica.

1. Dados e Computação de Escala: Uma das Aspetos Principais dos Modelos, como GPT-3 e GPT-4, É Sua Escala. Eles São Treinados em Vastos Conjuntos de Dados e Requerem Potencial Computacional Considerável, Frequentemente Involucrem Clusters de Máquinas de GPU de Alta Performância.

Para aqueles interessados em experimentar tecnologias semelhantes, existem várias alternativas poderosas de código aberto:

---

Link to the original Markdown: Wiki

1. GPT-2: A OpenAI lançou versões menores de GPT-2, que são bastante poderosas e podem ser usadas para uma variedade de tarefas de processamento natural de linguagem.
2. BERT (Bidirectional Encoder Representations from Transformers): Desenvolvido por Google, BERT é particularmente bom em entender o contexto de um palavra em uma frase. É bidirecional, o que significa que ele analisa o contexto tanto da frente quanto da trás de uma palavra.
3. T5 (Text-To-Text Transfer Transformer): Também da Google, T5 encadeia todos os tarefas NLP como um problema de texto para texto, convertendo cada tarefa em formato de “texto de entrada para texto de saída.”
4. XLNet: Este é um extensão do modelo Transformer que supera BERT em vários benchmarks. Ele ses um método de treinamento baseado em permutações que é diferente dos modelos tradicionais do Transformer.
5. ELECTRA: Outro modelo da Google, ELECTRA treina mais eficientemente e com menor custo computacional do que modelos como BERT e GPT-2, enquanto atinge desempenho comparável.
6. Library Transformers de Hugging Face: Esta é uma biblioteca amplamente utilizada que oferece acesso a muitos modelos pré-treinados, incluindo BERT, GPT-2, T5, e outros. É uma excelente fonte tanto para pesquisas quanto para desenvolvimento em aplicativos na linguagem natural.

Estes modelos e bibliotecas oferecem uma gama de habilidades semelhantes às das modelos GPT, e são mais acessíveis para experimentação e uso em diversos projetos.

Dica rápida: Notação de Einstein e Notação de Penrose

“Se a educação linear algebra do primeiro ano fosse substituída pela notação de Einstein e Penrose, a quantidade de pessoas no mundo que entendem aprendizado de máquina poderia aumentar drasticamente.”

Isso se refere a uma interessante temática relacionada às técnicas usadas para ensinar e entender conceitos matemáticos, especialmente como eles se relacionam com o aprendizado de máquina.

Vamos desvendar algumas das ideias aqui:

---

<div>
  <p>Texto HTML</p>
</div>

1. Notação de Einstein: Também conhecida como a “convenção de somatório”, a notação de Einstein é uma convenção notacional primariamente usada em cálculo tensorial. Em vez de escrever longas somatórias, simplifica expressões e faz operações em tensões muito mais compactas. A compreensão desta notação pode ser muito benéfica em muitos contextos de aprendizado de máquina, especialmente em deep learning.

2. Notação de Penrose (Notação Gráfica): Roger Penrose desenvolveu uma notação visual ou nãoacional para descrever tensões e suas contrapesos. Essas são particularmente eficazes quando se trata de operações tensoriais complexas, e podem tornar muitas operações matemáticas em geral relativit y e mecânicas quantizadas são mais intuitivas.

3. Ontologia Linhas e Colunas: A álgebra linear tradicional é frequentemente ensinada com forte ênfase em matrizes e suas propriedades, pensando em linhas e colunas. Este ponto de vista é intuitivo e bem-sucedido para muitas aplicações, especialmente quando se apresenta pela primeira vez o assunto. No entanto, é verdade que certas ideias abstratas e generalizações podem ser desafiadoras para comunicar quando restritos a este framework.

A ideia de revolucionar a maneira como ensinamos álgebra linear na graduação para incluir ou focar mais em notações de Einstein e Penrose é intrigante. Aqui estão algumas possíveis vantagens e desafios:

Vantagens:

---

1. Relevância para Aplicações Modernas: Como a aprendizagem de máquina e inteligência artificial ganham popularidade, há uma argumentação mais forte para ensinar conceitos matemáticos de forma direta e aplicável a essas áreas.
2. Melhoria da Abstração: Ambos Einstein e Penrose incentivam pensar em termos de tensões tensoriais abstratas, em vez de apenas matrizes, possivelmente fornecendo uma compreensão mais profunda.
3. Eficiência: Para operações e conceitos específicos, essas notações podem ser muito mais concisas.

Desafios:

---

1. Complexidade Inicial: Para muitos estudantes, a simplicidade visual e simbólica do formato da matriz é mais facilmente compreendível. Mudar para isso poderia aumentar a curva de aprendizado inicial.
2. Tradição: As atual métodos foram refinados ao longo de muitos anos e têm uma vasta coleção de recursos pedagógicos e expertise atrás deles. A transição seria um grande esforço.
3. Aplicabilidade: Embora seja verdadeiro que a inteligência artificial está se tornando uma área crescente, não todos os estudantes que estudam álgebra linear irão se especializar nela. O método de linhas e colunas ainda é muito relevante para muitas outras aplicações.

Conclusão

Pode ser útil oferecer cursos ou módulos especializados que enfatizem essas notações para estudantes que são particularmente interessados em campos onde elas são benéficas, como aprendizado de máquina ou física avançada. Como com muitas considerações educacionais, um enfoque equilibrado que considere as necessidades e interesses de diversos estudantes pode ser a mais eficaz.

Como as LLMs Funcionam

---

Um modelo de Grande Linguagem (GloVe) como o GPT-4 não é simplesmente baseado em computação entre perceptrons e a frequência de ocorrencias de palavras em posições específicas. A arquitetura desses modelos é muito mais sofisticada, integrando uma combinação de técnicas que inclui redes neurais profundas e algoritmos de aprendizado supervisionado e não supervisionado.

Aqui estão alguns pontos-chave para entender como um modelo de Grande Linguagem funciona:

1. Redes Neurais Transformadoras: As modern LLMs, como GPT-4, são baseadas na arquitetura Transformer, que é uma rede neural profunda específica projetada para lidar com sequências de dados, como texto. Esta arquitetura usa mecanismos de atenção que permitem ao modelo focar em diferentes partes do input quando necessário, o que é crucial para capturar dependências longas em texto.
2. Embeddings de Palavras: Os palavras no texto são convertidas em vetores de alta dimensão chamados embeddings. Estes embeddings capturam as relações semânticas entre palavras, permitindo ao modelo entender contextos complexos, mesmo quando as palavras são raras ou polissemáticas.
3. Contexto e Dependências Longas: O

Nenhuma das principais avanços em LLMs está em sua capacidade de manter e utilizar o contexto longo-term. Em vez de apenas considerar as frequências de palavras ou bigramas/trigramas, o modelo avalia como as palavras e frases se relacionam dentro do contexto fornecido, que é fundamental para gerar respostas coesas.

4. Estatísticas e Aprendizado de Patrones Complexos: Embora os LLMs usam uma base estatística, eles não se limitam apenas a palavras simples. Durante o treinamento, o modelo aprende a reconhecer padrões complexos na linguagem, que podem incluir não apenas a estrutura superficial das frases, mas também padrões abstratos como sintaxe, semântica e até mesmo aspectos pragmáticos da discussão.

5. Absente
   — de análise gramatical explícita: ao contrário de métodos tradicionais de PLN, que podem envolver regras explícitas de análise gramatical (por exemplo, identificar sujeito, objeto e predicado), os LLMs aprendem esses padrões de forma implícita a partir dos dados de treino. O modelo não tem uma representação explícita de “sujeito”, “verbo”, “objeto” etc.; ao treinar em corpora vastos, aprende a gerar respostas que respeitam essas estruturas.

6. Geração baseada em probabilidades condicionais: a precisão das respostas vem do fato de o modelo gerar texto a partir de probabilidades condicionais aprendidas no treino. Para cada palavra a gerar, o modelo considera todas as palavras anteriores e as

Relações ir para prever o próximo termo mais provável, mantendo a coerência e fluidez na resposta. Isso evita que o texto seja apenas uma combinação aleatória de palavras e garante que o resultado seja coerente em contexto.

Resumo, LLMs utilizam uma combinação avançada de técnicas baseadas em redes neurais para entender e gerar linguagem de maneira que ultrapasse simples contagem de palavras ou aplicação de perceptrons. A precisão e a coerência são alcançadas através da aprendizagem profunda de padrões linguísticos de grandes volumes de texto, permitindo ao modelo gerar respostas que parecem cada vez mais naturais e contextualmente adequadas.

Comparando com NLP

No contexto do aprendizado de máquina, particularmente no processamento de linguagem natural (NLP), modelos e tokens são conceitos fundamentais.

Modelos em Machine Learning/NLP:

• Modelos:
• Token:
  • Token:
  • Token:
    • Token:
      Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:
• Token:
  • Token:
    Token:

Token:

Token:

• Token:

1. O que é um Modelo? Um modelo em aprendizado de máquina é uma representação matemática de um processo real. No caso do NLP, é projetado para entender, interpretar, analisar, gerar ou traduzir o linguajar humano.
2. Treinamento de Modelos: Para criar um modelo, é necessário treiná-lo usando um grande conjunto de dados. Durante o treinamento, o modelo aprende para fazer previsões ou gerar texto baseado nos dados que recebe. Este processo ajusta os parâmetros do modelo (que podem chegar a bilhões para modelos grandes) para minimizar a diferença entre o seu output e o output desejado.
3. Redes Neurais: Muitos modelos modernos do NLP são uma espécie de modelo conhecido como redes neurais, que são inspiradas

Por meio da estrutura neural do cérebro humano. Eles são composto por camadas de nós interconectados (neurônios), e a força dos laços (pesos) é o que o modelo “aprende” durante o treinamento.

4. Deep Learning: Quando uma rede neural tem muitas camadas, é chamada de rede neural profunda, e o campo é conhecido como aprendizado profundo. Essas modelagens podem capturar padrões complexos em dados, o que é por isso que elas se destacam em tarefas como modelagem de linguagem.

Tokens in NLP:

1. O que é um Token? No contexto da NLP, um token é uma parte de texto, que pode ser tão pequena quanto um caractere ou tão grande quanto uma palavra ou até mesmo uma frase. A processão de texto em tokens é chamada de tokenização.
2. Tokenização: Esta é uma etapa crítica de pré-processamento em NLP. Ela envolve dividir o texto em elementos individuais que podem ser analisados. Por exemplo, a frase “GPT-4 é incrível!” pode ser tokenizada em [“GPT-4”, “é”, “incrível”, “!”].
3. Tokens como Entrada para o Modelo: Os tokens são usados como entrada para modelos NLP. Um modelo processa esses tokens para entender ou gerar texto. No caso de modelos linguísticos como GPT-4, cada token pode ser pensado como uma parte do pu

Aqui estão os riscos do modelo que o modelo usa para prever a próxima parte.

4. Embeddings: Os tokens são muitas vezes convertidos em vetores através de embeddings, que são representações densas que capturam o significado semântico dos tokens. Esses vetores são o que o modelo realmente processa.
5. Janela de Contexto: A janela de contexto é o número de tokens que o modelo pode considerar em um único momento. Nos modelos como GPT-3 ou GPT-4, essa é uma dimensão fixa (por exemplo, 2048 tokens para GPT-3). Janelas de contexto maiores permitem que os modelos considerem mais texto para cada previsão, o que pode levar a uma melhor compreensão e coerência na textos gerados.
6. Parâmetros: Os parâmetros em um modelo de NLP são os partes do modelo que são aprendidas a partir da treinamento.

ng dados. Eles são o que o modelo usa para tomar decisões. Mais parâmetros geralmente significam que o modelo pode capturar mais complexidade e nuances na linguagem, mas isso também requer mais recursos computacionais para treinar e executar.

Resumo

Um modelo é como um artesão habilidoso treinado através de exposição a uma vasta gama de exemplos linguísticos, enquanto os tokens são os materiais primários que ele trabalha para criar frases, parágrafos ou narrativas completas. A eficiência e eficácia com que o modelo pode lidar com os tokens determina a qualidade do output, seja ele compreendendo o linguagem natural ou gerando-a.

Aprofundando-se em Embeddings

Embeddings são uma técnica central em processamento de linguagem natural e modelos de aprendizado profundo. Eles são usados para transformar palavras ou elementos linguísticos em vetores de alta dimensão, permitindo ao modelo capturar e manipular a semântica das palavras em um espaço de vetores.

---

Aqui está o código-fonte do modelo em Python:

import torch
import torch.nn as nn

class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.embedding = nn.Embedding(num_embeddings=1000, embedding_dim=100)
        self.fc = nn.Linear(100, 10)

    def forward(self, x):
        x = self.embedding(x)
        x = x.view(-1, x.size(-1))
        x = self.fc(x)
        return x

Exemplo de uso

model = SimpleModel()
input_data = torch.LongTensor([1, 2, 3, 4, 5])
output = model(input_data)
print(output)

Exemplo de uso

model = SimpleModel()
input_data = torch.LongTensor([1, 2, 3, 4, 5])
output = model(input_data)
print(output)

O Conceito de Embeddings

As embeddings map palavras ou frases para vetores em uma esfera contínua em um espaço de alta dimensão continuo. O princípio básico é que palavras com significados semelhantes devem ter representações de vetores próximas umas das outras nesta esfera. Esta proximidade é medida por alguma métrica, como a distância euclidiana ou o coseno do ângulo entre vetores.

Como as Embeddings Funcionam

---

1. Representação de Vetores: Cada palavra é representada por um vetor de números reais densos. Por exemplo, o termo “cat” pode ser representado por um vetor como ([0.21, -0.45, 0.33, …]). Esses vetores têm dimensões típicas em torno de centenas, como 300 ou 768 dimensões, dependendo do modelo.

2. Treinamento dos Embeddings:
   * Os embeddings são treinados usando grandes corpus de texto, onde o modelo tenta prever um termo baseado em seu contexto (método skip-gram) ou prever o contexto ao redor de um termo (método CBOW - Bag of Words Continuo).
   * Modelos populares como Word2Vec e GloVe foram algumas das primeiras abordagens amplamente adotadas para criar embeddings. Esses modelos dels aprende as representações vetoriais de palavras através da otimização de uma função de perda que tenta maximizar a probabilidade de prever palavras próximas no texto.

3. Espaço Semântico: No espaço de embedding, palavras com significados semelhantes (por exemplo, “rei” e “monarca”) terão vetores próximos. Além disso, o modelo pode capturar relações mais complexas entre palavras. Um exemplo clássico é a operação vetorial: $\text{rei} - \text{homem} + \text{mulher} \approx \text{rainha}$. Esta operação mostra que o modelo captura aspectos semânticos de palavras, como gênero ou hierarquia.

4. Subpalavras e Contexto: Mais modelos modernos, como BERT ou GPT, usam subpalavras de embedding e são baseados em

Técnicas como Transformers. Nesses casos, a representação de um palavra ou frase pode ser sensível à contexto em que aparece, permitindo ao modelo capturar diferentes significados da mesma palavra dependendo do contexto (por exemplo, “banco” como instituição financeira ou “banco” como uma poltrona).

Tipos de Embeddings

1. Embeddings de Palavras:
   * Estes são os tipos de embeddings mais simples, onde cada palavra tem um vetor fixo independente da contexto. Exemplos incluem Word2Vec, GloVe, e FastText.
2. Embeddings Contextuais:
   * Em modelos mais avançados como BERT, GPT, e ELMo, as palavras são representadas por vetores que dependem da contexto em que aparecem. Isso significa que o mesmo termo pode ter diferentes embeddings dependendo da maneira como é usado na frase.
3. Embeddings de Subpalavras:
   * Os modelos como FastText consideram não apenas palavras inteiras, mas também subpalavras, o que permite uma melhor maneira de lidar com palavras raras ou desconhecidas e melhor captura da morfologia das palavras.

Aplicações das Embeddings

1. Simetria Semântica: Embeddings podem ser usadas para medir a semelhança entre palavras, frases ou documentos. Por exemplo, podemos usar a similaridade de cosenos entre vetores de palavras para determinar como duas palavras são semelhantes.
2. Classificação de Texto: Embeddings são frequentemente usados como entrada para classificadores de texto, onde vetores de palavras ou frases são alimentados em redes neurais para realizar tarefas como análise de sentimentos ou classificação de documentos.
3. Tradução de Máquina: No campo da tradução de máquina, embora não seja uma tradução direta, embora não seja uma tradução dire

• Preserva TUDO o estrutura Markdown: cabeçalhos, listas, links, imagens, blocos de código, HTML.
• Não traduz URLs, código, caminhos de arquivo ou blocos de código em corantes.
• Não traduz os alinhamentos de link em label — apenas traduz o label quando for prosa.
• Mantenha as camadas de imagem e caminhos de arquivo de mídia .gitbook inalterados.
• Saída SOMENTE o Markdown traduzido, sem pré-texto.

Resumo

As embrelias são fundamentais para o sucesso de modelos de linguagem modernos. Eles permitem que as palavras sejam representadas em uma esfera de vetores onde as relações semânticas e sintáticas podem ser eficientemente capturadas e manipuladas. Esta técnica é uma das principais razões pelas quais os redes neurais profundas têm alcançado tais avanços significativos em tarefas de processamento de linguagem natural nas últimas anos.

História breve

---

Aqui está um exemplo de um código em Python:

def greet(name):
    return f"Hello, {name}!"

Esta função recebe um nome como argumento e devolve uma mensagem de saudação. Usa f-strings, que embutem expressões em literais de string no Python: a expressão entre chaves é avaliada e inserida na string. É um modo conciso e legível de formatar strings em Python.

Modelos de Grande Linguagem (MLMs) como GPT-3 e GPT-4 são formas avançadas de redes neurais específicas projetadas para entender, prever e gerar linguagem humana. Representam um avanço significativo na área de processamento de linguagem natural (PLN), passando de sistemas baseados em regras para modelos de aprendizado de máquina e, eventualmente, para modelos de aprendizado profundo.

Aqui está uma visão gerais da evolução:

Sistemas de Linguagem Antigos e Bibliotecas como NLTK

1. Sistemas Baseados em Regras: Os sistemas de NLP antigos eram principalmente baseados em regras, usando regras programadas manualmente para processar o idioma. Eles eram muito limitados e podiam processar apenas os casos específicos que foram programados.
2. NLP Estatístico: Ao longo do tempo, o NLP começou a incorporar métodos estatísticos. Ferramentas como o Natural Language Toolkit (NLTK) em Python forneciam bibliotecas de funções e métodos para processamento de linguagem natural simbólica e estatístico em inglês. Foi projetado para apoiar pesquisa e ensino em NLP ou áreas relacionadas.
3. Corpos de Dados e Recursos: O NLTK incluía recursos para tokenização, parse, etiquetagem e aprendizado de máquina, mas estava muito dependente de corporações curadas e recursos.

Dados linguísticos. Apesar de poderoso, não aprendeu do dados; sim, usou algoritmos pré-estabelecidos e recursos para processar o idioma.

A Transição para Modelos de Machine Learning e Redes Neurais:

1. Modelos de Machine Learning: Com a adoção de modelos de machine learning, o NLP começou a se deslocar para modelos que pudessem aprender de dados. Isso incluía algoritmos como Naive Bayes, árvores de decisão e SVMs para tarefas de classificação, como detecção de spam ou análise de sentimentos.
2. Engenharia de Características: Antigamente, os modelos de machine learning necessitavam de uma extensa engenharia de características. Isso significava que os profissionais precisavam identificar e codificar características linguísticas que o modelo usaria para fazer previsões.

---

A Apresentação das Redes Neurais e da Deep Learning

---

1. Embeddings de Palavras: A introdução das embeddings de palavras, como Word2Vec, permitiu que as palavras se representassem como espaços continuos de vetores. Essas representações capturavam o significado semântico baseado no uso das palavras em grandes corporações de texto.

2. Redes Neurais Recursivas (RNNs): As redes neurais recursivas (RNNs) e suas variações como redes neurais LSTM (Long Short-Term Memory) tornaram-se populares para processar dados sequenciais. Eles eram melhores que modelos tradicionais de aprendizado de máquina em lidar com contexto e sequência em texto.
3. Mecanismos de Atenção e Transformadores: A desenvolvimento de mecanismos de atenção permitiu que os modelos focassem em diferentes partes do sequência de entrada, melhorando sua capacidade para lidar com dependências longas-range. O

Arquitetura nsformer, introduzida no artigo “Atenção é tudo que você precisa,” utiliza-se de atenções autônomas para processar todos os tokens simultaneamente, o que resulta em melhoras significativas na performance.

Grandes Modelos de Linguagem (GMLs)

1. Aumentando a Escala: As LLMs, incluindo as famílias GPT e BERT, aprimoram o modelo Transformer. Eles têm bilhões de parâmetros e são treinados com grandes quantidades de dados de texto.
2. Aprendizado de Auto-Supervisado: LLMs muitas vezes usam aprendizado de auto-supervisado, o que significa que eles geram seus próprios etiquetas a partir dos dados. Por exemplo, eles podem prever o próximo termo em uma frase, usando a frase como contexto.
3. Ajuste Finado: Embora LLMs possam ser usados de forma geral para muitas tarefas, eles muitas vezes sejam melhores quando ajustados finamente para um tópico específico com dados adicional de treinamento.
4. Generalização e Adaptabilidade: LLMs demonstraram uma habilidade impressionante de generalizar de acordo com os dados que foram treinados, conforme formando tarefas que nunca foram explicitamente programadas para fazer, como tradução, resposta a perguntas e até mesmo escrever código.
5. Agora além do texto: Mais modelos recentes, às vezes referidos como LLM multimodal, podem lidar não apenas com o texto, mas também outros tipos de dados, como imagens (por exemplo, DALL-E para geração de imagens baseadas em descrições textuais).

Os LLMs representam um salto significativo em relação a bibliotecas tradicionais de PLN, como o NLTK. São mais poderosos, flexíveis e capazes de aprender a partir dos próprios dados, em vez de depender de conhecimento linguístico pré-programado. Isso os torna mais capazes e aplicáveis a uma variedade maior de tarefas de linguagem. Esse alcance, porém, vem com mais complexidade e com a necessidade de recursos computacionais substanciais para treinar e executar os modelos.

Linha do tempo

Segue uma linha do tempo em ordem crescente, com tecnologias relevantes na evolução do PLN:

Sistemas baseados em regras e primeiras tentativas de PLN

• 1950s-1960s: As mais antigas tarefas de tradução e NLP baseadas em sistemas de regras.

Fundamentos da Machine Learning para NLP

• 1980s: As bases teóricas para Redes Neurais Reurrentes (RNNs) foram desenvolvidas, fornecendo um framework para processar sequências de dados, como texto.

O Crescimento da NLP Estatística e Corporas Prácticos

• 1990s: Métodos estatísticos para NLP ganharam destaque. Algoritmos como Modelos de Markov Oculto (HMMs) e, posteriormente, Máquinas de Votar Sustentados por Várias Classes (SVMs) foram aplicados a tarefas de linguagem.

---

Introdução de Modelos de Machine Learning Prácticos

• 1997: Redes de Longevidade Curta (LSTM) foram introduzidas, permitindo melhorar a maneira de lidar com dependências de longo prazo em dados sequenciais.

Navegação Natural (NLTK)

• 2001: NLTK foi lançado, oferecendo ferramentas e recursos para NLP simbólico e estatístico.

Embeddings de Palavras e Deep Learning

• 2003: Latent Semantic Analysis (LSA) já era conhecido, mas métodos como ele ganharam mais atenção como precursores de embeddings de palavras.
• 2013: Word2Vec, desenvolvido por uma equipe de Google, popularizou embeddings de palavras, dramaticamente alterando como os máquinas representavam e processavam o linguagem.

Tradução de Máquina Neural e Mecanismos de Atenção

• 2014: O tradução neural substituiu as abordagens estatísticas basadas em frases. As mecanismos de atenção melhoraram o foco do modelo em partes relevantes do input.

Desenvolvimento da Arquitetura Transformer

• 2017: A arquitetura Transformer, apresentada no artigo “Atenção é tudo que você precisa,” introduziu uma nova arquitetura baseada apenas em mecanismos de atenção sem a utilização de RNNs.

Introdução de Modelos Pré-treinados de Grande Escala

• 2018: BERT (Representações de Representações de Transformadores Bidirecionais) foi lançado pela Google, introduzindo o conceito de pre-trinagem em um corpus grande e então ajuste para tarefas específicas.

Modelos Generativos Pré-treinados de Transformer

• Junho de 2020: A GPT-3 foi introduzida pela OpenAI, com 175 bilhões de parâmetros, tornando-se uma das maiores redes de inteligência artificial (LLM) do momento.

Modelos Multimodais e Além Disso

• Janeiro de 2021: A OpenAI introduziu DALL-E, um modelo que gera imagens a partir de descrições textuais.

Avanços Continuados e Incrementais

• 2021-2023: O campo continua a ver avanços incrementais em várias áreas, incluindo eficiência de modelos, considerações éticas e aplicações de domínio específico. Além disso, modelos foram desenvolvidos para lidar com modais além do texto, como processamento de áudio e vídeo.

Cada passo nesta timeline representa um grande avanço em capacidade ou uma mudança na maneira como os computadores entendem e geram linguagem humana. O campo da NLP continua a evoluir rapidamente, com novas modelos e técnicas surgindo regularmente.

Índice da parte

O mapa científico, as equações e o conjunto bibliográfico desta parte da base de conhecimento estão nos índices de parte:

• Geral · Engenharia · Ciência da computação · Playbooks
• Índices · Glossário · SUMÁRIO

Os retratos da Wikipédia no cartão do capítulo servem de orientação offline; os índices de parte reúnem as trilhas completas de citação.