Transformer: Perguntas e Respostas

• Os modelos dominantes de transdução de sequência são baseados em redes neurais recorrentes ou convolucionais complexas com um codificador e um decodificador.
• Os melhores modelos conectam codificador e decodificador por meio de um mecanismo de atenção.
• O Transformer é uma nova arquitetura de rede simples, baseada apenas em mecanismos de atenção, dispensando a recorrência e as convoluções.
• Experimentos em tarefas de tradução automática mostram que esses modelos são superiores em qualidade, mais paralelizáveis e exigem menos tempo para treinar.
• O modelo alcança 28.4 BLEU na tarefa de tradução Inglês-para-Alemão WMT 2014, melhorando os resultados existentes em mais de 2 BLEU
• O modelo estabelece uma nova pontuação BLEU de última geração de 41.0 na tarefa de tradução Inglês-para-Francês WMT 2014 após 3.5 dias de treinamento em oito GPUs, o que é uma pequena fração dos custos de treinamento dos melhores modelos da literatura.

Introdução

• Redes neurais recorrentes, memória de curto prazo longo e redes neurais recorrentes com portão são frequentemente utilizadas para modelagem de sequência e tradução
• Muitos esforços foram feitos para melhorar os modelos de linguagem recorrente e as arquiteturas de codificador-decodificador.
• O Transformer, proposto neste trabalho, evita a recorrência, dependendo inteiramente de um mecanismo de atenção para estabelecer dependências globais entre entrada e saída.
• O Transformer permite muito mais paralelização e pode atingir um novo estado da arte na qualidade da tradução sendo treinado por apenas 12 horas em oito GPUs P100.

Contexto

• A redução da computação sequencial é a base da GPU Neural Estendida, ByteNet e ConvS2S, que usam redes neurais convolucionais para computar representações ocultas em paralelo para todas as posições de entrada e saída.
• Nesses modelos (GPU Neural Estendida, ByteNet e ConvS2S), o número de operações necessárias para relacionar sinais de duas posições arbitrárias de entrada ou saída aumenta com a distância entre as posições
• No Transformer, esse número é reduzido a um número constante de operações, mas com custo de resolução efetiva reduzida devido à média das posições ponderadas por atenção, que é combatida com a Atenção Multi-Cabeça.
• A autoatenção é um mecanismo que relaciona diferentes posições de uma única sequência para computar sua representação e tem sido usada com sucesso em várias tarefas, incluindo compreensão de leitura, resumo abstrativo e inferência textual.
• As redes de memória de ponta a ponta são baseadas em um mecanismo de atenção recorrente em vez de recorrência alinhada à sequência e demonstraram ter bom desempenho em tarefas simples de perguntas e respostas em linguagem e modelagem de linguagem.
• O Transformer é o primeiro modelo de transdução que depende inteiramente da autoatenção para calcular representações de sua entrada e saída sem usar RNNs ou convoluções alinhadas à sequência.

Arquitetura do Modelo

• A maioria dos modelos competitivos de transdução de sequência neural tem uma estrutura de codificador-decodificador.
• O codificador mapeia uma sequência de representações de símbolos para uma sequência de representações contínuas.
• Dado, o decodificador gera uma sequência de saída de símbolos um elemento por vez.
• A cada etapa, o modelo é auto-regressivo, consumindo os símbolos gerados anteriormente como entrada adicional ao gerar o próximo.
• O Transformer segue essa arquitetura geral usando autoatenção empilhada e camadas totalmente conectadas pontuais para o codificador e o decodificador.

Pilhas de Codificador e Decodificador

• O codificador consiste em uma pilha de N = 6 camadas idênticas, cada uma com duas subcamadas.
• A primeira subcamada é um mecanismo de autoatenção multi-cabeça, e a segunda é uma rede feed-forward totalmente conectada pontual simples.
• Uma conexão residual é empregada em torno de cada uma das duas subcamadas, seguida pela normalização da camada.
• Todas as subcamadas no modelo, bem como as camadas de incorporação, produzem saídas de dimensão dmodel = 512 para facilitar essas conexões residuais.
• O decodificador também é composto por uma pilha de N = 6 camadas idênticas, cada uma com três subcamadas
• O decodificador também emprega conexões residuais em torno de cada uma das subcamadas seguido por normalização de camada.
• A subcamada de autoatenção na pilha do decodificador é modificada para impedir que as posições atendam às posições subsequentes.
• Combinado com o fato de que as incorporações de saída são deslocadas em uma posição, essa máscara garante que as previsões para a posição i possam depender apenas das saídas conhecidas nas posições menores que i.

Atenção

• Uma função de atenção mapeia uma consulta e um conjunto de pares chave-valor para uma saída, onde a consulta, as chaves, os valores e a saída são todos vetores.
• A saída é uma soma ponderada dos valores, onde o peso atribuído a cada valor é calculado por uma função de compatibilidade da consulta com a chave correspondente.

Atenção de Produto de Ponto em Escala

• A atenção particular é chamada de "Atenção de Produto de Ponto em Escala".
• A entrada consiste em consultas e chaves de dimensão dk e valores de dimensão dv.
• Os produtos de ponto das consultas com todas as chaves são computados, cada um é dividido por raiz quadrada de dk, e uma função softmax é aplicada para obter os pesos nos valores.
• Na prática, a função de atenção é computada em um conjunto de consultas simultaneamente, empacotadas em uma matriz.
• As chaves e os valores também são empacotados em matrizes.

Atenção Multi-Cabeça

• Em vez de realizar uma única função de atenção com chaves, valores e consultas dmodel-dimensionais, é benéfico projetar linearmente as consultas, chaves e valores h vezes com diferentes projeções lineares aprendidas para dk, dk e dv dimensões, respectivamente.
• A função de atenção é então executada em paralelo em cada uma dessas versões projetadas, produzindo valores de saída dv-dimensionais, que são concatenados e projetados novamente, resultando nos valores finais.
• A atenção multi-cabeça permite que o modelo participe conjuntamente de informações de diferentes subespaços de representação em diferentes posições, pois com uma única cabeça de atenção, a média inibe isso.

Aplicações de Atenção no Modelo

O Transformer usa atenção multi-cabeça de três maneiras diferentes:

• Nas camadas de "atenção codificador-decodificador", as consultas vêm da camada anterior do decodificador, e as chaves e os valores de memória vêm da saída do codificador, permitindo que cada posição no decodificador atenda a todas as posições na sequência de entrada.
• O codificador contém camadas de autoatenção, onde todas as chaves, valores e consultas vêm do mesmo lugar, neste caso, a saída da camada anterior no codificador, permitindo que cada posição no codificador atenda a todas as posições na camada anterior do codificador.
• Da mesma forma, as camadas de autoatenção no decodificador permitem que cada posição no decodificador atenda a todas as posições no decodificador até e incluindo essa posição, o que é importante para a propriedade auto-regressiva.

Redes Feed-Forward Position-wise

• Além das subcamadas de atenção, cada uma das camadas no codificador e decodificador contém uma rede feed-forward totalmente conectada, que é aplicada a cada posição separadamente e identicamente.
• Essa rede consiste em duas transformações lineares com uma ativação ReLU no meio.

Incorporações e Softmax

• Semelhante a outros modelos de transdução de sequência, incorporações aprendidas são usadas para converter os tokens de entrada e os tokens de saída em vetores de dimensão dmodel, e a transformação linear aprendida usual e a função softmax são usadas para converter a saída do decodificador em probabilidades previstas de próximo token.
• O modelo compartilha a mesma matriz de peso entre as duas camadas de incorporação e a transformação linear pré-softmax e multiplica os pesos por raiz quadrada de dmodel nas camadas de incorporação.

Codificação Posicional

• Como o modelo não contém recorrência nem convolução, ele deve injetar informações sobre a posição relativa ou absoluta dos tokens na sequência para usar a ordem dela.
• Para isso, "codificações posicionais" são adicionadas às incorporações de entrada na parte inferior do codificador e das pilhas do decodificador.
• As codificações posicionais têm a mesma dimensão dmodel que as incorporações, para que as duas possam ser somadas.
• Funções seno e cosseno de diferentes frequências são usadas, onde cada dimensão da codificação posicional corresponde a uma senoide.
• O modelo pode aprender facilmente a atender pelas posições relativas devido aos senoides.

Por que a autoatenção

• A autoatenção é comparada com as camadas recorrentes e convolucionais comuns para mapear uma sequência de comprimento variável de representações de símbolos para outra sequência de comprimento igual.
• A complexidade computacional total por camada, a quantidade de computação que pode ser paralelizada e o comprimento do caminho entre dependências de longo alcance na rede são considerados para motivar o uso da autoatenção.
• Uma camada de autoatenção conecta todas as posições com um número constante de operações executadas sequencialmente, enquanto uma camada recorrente requer O(n) operações sequenciais.
• As camadas de autoatenção são mais rápidas que as camadas recorrentes quando o comprimento da sequência n é menor que a dimensionalidade da representação d.
• As camadas convolucionais são geralmente mais caras do que as camadas recorrentes por um fator de k; no entanto, as convoluções separáveis diminuem a complexidade consideravelmente e podem ser iguais à combinação de uma camada de autoatenção e uma camada feed-forward pontual.
• Além disso, a autoatenção pode produzir modelos mais interpretáveis.

Treinamento

• O regime de treinamento para os modelos é descrito.
• Os modelos foram treinados no conjunto de dados padrão WMT 2014 Inglês-Alemão, consistindo de cerca de 4.5 milhões de pares de frases.
• As frases foram codificadas usando a codificação de par de bytes, que tem um vocabulário de origem-alvo compartilhado de cerca de 37.000 tokens.
• Para Inglês-Francês, o conjunto de dados WMT 2014 Inglês-Francês significativamente maior foi usado, consistindo em 36 milhões de frases e tokens divididos em um vocabulário de 32000 palavras.
• Os pares de frases foram agrupados por comprimento aproximado da sequência, e cada lote de treinamento continha um conjunto de pares de frases contendo aproximadamente 25.000 tokens de origem e 25.000 tokens de destino.
• Os modelos foram treinados em uma máquina com 8 GPUs NVIDIA P100.
• O otimizador Adam foi usado e a taxa de aprendizado variou durante o treinamento.
• Três tipos de regularização foram empregados durante o treinamento: dropout residual, regularização L1 e suavização de rótulo.

Resultados

• O desempenho do modelo Transformer foi avaliado em tarefas de tradução automática.
• O grande modelo Transformer superou os melhores modelos relatados anteriormente na tarefa de tradução Inglês-Alemão WMT 2014 em mais de 2.0 BLEU, estabelecendo uma nova pontuação BLEU de última geração de 28.4.
• O treinamento levou 3.5 dias em 8 GPUs P100.
• Até mesmo o modelo base superou todos os modelos e conjuntos publicados anteriormente a uma fração do custo de treinamento de qualquer um dos modelos competitivos..
• O grande modelo alcançou uma pontuação BLEU de 41.0 na tarefa de tradução Inglês-Francês WMT 2014, superando todos os modelos únicos publicados anteriormente a menos de 1/4 do custo de treinamento do modelo de última geração anterior.
• As variações do modelo Transformer foram avaliadas variando diferentes componentes e medindo a mudança no desempenho na tradução Inglês-Alemão no conjunto de desenvolvimento, newstest2013.
• A redução do tamanho da chave de atenção dk prejudica a qualidade do modelo e um desempenho do modelo único é pior do que a melhor configuração, e a qualidade também diminui com muitas cabeças.

Conclusão

• O Transformer, o primeiro modelo de transdução de sequência baseado inteiramente na atenção, foi apresentado substituindo as camadas recorrentes mais comumente usadas em arquiteturas de codificador-decodificador por autoatenção multi-cabeça.
• O Transformer pode ser treinado significativamente mais rápido do que as arquiteturas baseadas em camadas recorrentes ou convolucionais para tarefas de tradução.
• O melhor modelo supera até mesmo todos os conjuntos relatados anteriormente nas tarefas de tradução de Inglês para Alemão e Inglês para Francês WMT 2014, alcançando um novo estado da arte na tradução.
• O Transformer pode ser estendido a problemas que envolvam modalidades de entrada e saída diferentes do texto e a mecanismos de atenção local e restrita podem ser investigados para lidar com grandes entradas e saídas de forma eficiente, tornando a geração menos sequencial.

Resumo sobre complexidade computacional de camadas convolucionais, vantagens das separable convolutions e detalhes sobre o treinamento de modelos de tradução Inglês-Alemão com o Transformer. Aborda a arquitetura e os hiperparâmetros utilizados.