Bei ordnungsgemäßer Quellenangabe erteilt Google hiermit die Erlaubnis, die Tabellen und Abbildungen in diesem Artikel ausschließlich für journalistische oder wissenschaftliche Zwecke zu vervielfältigen.

Aufmerksamkeit ist alles, was Sie brauchen

Ashish Vaswani$^*$ Google Brain avaswani@google.com

Llion Jones$^*$ Google Research llion@google.com

Noam Shazeer$^*$ Google Brain noam@google.com

Aidan N. Gomez$^{* \dagger}$ University of Toronto aidan@cs.toronto.edu

Niki Parmar$^*$ Google Research nikip@google.com

Illia Polosukhin$^{* \; \ddagger}$

illia.polosukhin@gmail.com

Jakob Uszkoreit$^{*}$ Google Research usz@google.com

Łukasz Kaiser* Google Brain lukaszkaiser@google.com

Zusammenfassung

Die führenden sequenziellen Transduktionsmodelle basieren auf komplexen rekurrenten oder konvolutionalen neuronalen Netzwerken, die einen Encoder und einen Decoder umfassen. Die besten Modelle verbinden zudem den Encoder und den Decoder über einen Aufmerksamkeitsmechanismus (Attention-Mechanismus). Wir schlagen eine neue, einfache Netzwerkarchitektur vor, den Transformer, der ausschließlich auf Aufmerksamkeitsmechanismen basiert und vollständig auf Rekurrenz und Konvolutionen verzichtet. Experimente zu zwei maschinellen Übersetzungsaufgaben zeigen, dass diese Modelle in der Qualität überlegen sind, besser parallelisierbar sind und deutlich weniger Trainingszeit benötigen. Unser Modell erzielt auf der WMT-2014-Aufgabe zur Englisch-Deutsch-Übersetzung einen BLEU-Wert von 28,4 und verbessert damit die bisherigen besten Ergebnisse, einschließlich Ensemble-Methoden, um mehr als 2 BLEU-Punkte. Auf der WMT-2014-Aufgabe zur Englisch-Französisch-Übersetzung erreicht unser Modell nach dreieinhalb Tagen Training auf acht GPUs einen neuen Single-Model-State-of-the-Art-BLEU-Score von 41,8, was nur ein kleiner Bruchteil der Trainingskosten der besten Modelle aus der Literatur ist. Wir zeigen, dass sich der Transformer gut auf andere Aufgaben generalisieren lässt, indem er erfolgreich für das englische Constituency-Parsing sowohl mit großen als auch mit begrenzten Trainingsdaten eingesetzt wird.

arXiv:1706.03762v7 [cs.CL] 2 Aug 2023

*Gleichwertiger Beitrag. Die Reihenfolge der Auflistung ist zufällig. Jakob schlug vor, RNNs durch Self-Attention zu ersetzen und initiierte die Bemühungen, diese Idee zu evaluieren. Ashish entwarf in Zusammenarbeit mit Illia die ersten Transformer-Modelle und implementierte sie; er war maßgeblich an jedem Aspekt dieser Arbeit beteiligt. Noam schlug skalierte Dot-Product-Attention, Multi-Head-Attention und die parameterfreie Positionsrepräsentation vor und war nahezu in jedem Detail involviert. Niki entwarf, implementierte, optimierte und evaluierte unzählige Modellvarianten in unserem ursprünglichen Codebase sowie in tensor2tensor. Llion experimentierte ebenfalls mit neuartigen Modellvarianten, war für unseren initialen Codebase verantwortlich sowie für effizientes Inference und Visualisierungen. Lukasz und Aidan verbrachten unzählige lange Tage damit, verschiedene Teile von tensor2tensor zu entwerfen und zu implementieren, wodurch unser früheres Codebase ersetzt wurde, die Ergebnisse erheblich verbessert und unsere Forschung massiv beschleunigt wurden.

$^\dagger$Arbeit durchgeführt während der Zeit bei Google Brain.

$^\ddagger$Arbeit durchgeführt während der Zeit bei Google Research.

1 Einleitung

Recurrent Neural Networks, insbesondere Long Short-Term Memory [13] und Gated Recurrent [7] Neural Networks, haben sich als State-of-the-Art-Ansätze für Sequenzmodellierungs- und Transduktionsprobleme wie Language Modeling und maschinelle Übersetzung etabliert [35, 2, 5]. Seitdem wurden zahlreiche Anstrengungen unternommen, um die Grenzen von recurrenten Language Models und Encoder-Decoder-Architekturen weiter auszureichen [38, 24, 15].

Recurrente Modelle faktorisieren die Berechnung typischerweise entlang der Symbolpositionen der Eingabe- und Ausgabesequenzen. Durch die Zuordnung der Positionen zu Schritten in der Rechenzeit erzeugen sie eine Folge von versteckten Zuständen $h_t$, die als Funktion des vorherigen versteckten Zustands $h_{t-1}$ und der Eingabe für die Position $t$ definiert ist. Diese inhärent sequenzielle Natur schließt die Parallelisierung innerhalb einzelner Trainingsbeispiele aus, was bei längeren Sequenzlängen kritisch wird, da Speicherbeschränkungen das Batching über Beispiele hinweg begrenzen. Aktuelle Arbeiten haben durch Faktorisierungstricks [21] und bedingte Berechnung [32] erhebliche Verbesserungen der Recheneffizienz erzielt und dabei im letzteren Fall auch die Modellleistung gesteigert. Die grundlegende Einschränkung der sequenziellen Berechnung bleibt jedoch bestehen.

Aufmerksamkeitsmechanismen (Attention Mechanisms) sind zu einem integralen Bestandteil überzeugender Sequenzmodellierungs- und Transduktionsmodelle in verschiedenen Aufgaben geworden und ermöglichen die Modellierung von Abhängigkeiten ohne Berücksichtigung ihrer Distanz in den Eingabe- oder Ausgabesequenzen [2, 19]. In allen bis auf wenigen Fällen [27] werden solche Aufmerksamkeitsmechanismen jedoch in Verbindung mit einem recurrenten Netzwerk eingesetzt.

In dieser Arbeit schlagen wir den Transformer vor, eine Modellarchitektur, die auf Rekurrenz verzichtet und stattdessen vollständig auf einen Aufmerksamkeitsmechanismus zurückgreift, um globale Abhängigkeiten zwischen Eingabe und Ausgabe herzustellen. Der Transformer ermöglicht eine deutlich höhere Parallelisierbarkeit und erreicht nach dem Training für nur zwölf Stunden auf acht P100-GPUs einen neuen State-of-the-Art-Wert in der Übersetzungsqualität.

2 Hintergrund

Das Ziel der Reduzierung sequentieller Berechnungen bildet auch die Grundlage des Extended Neural GPU [16], ByteNet [18] und ConvS2S [9], die alle Faltungsneuronale Netze als grundlegende Bausteine verwenden und verborgene Darstellungen parallel für alle Eingabe- und Ausgabepositionen berechnen. In diesen Modellen wächst die Anzahl der Operationen, die erforderlich sind, um Signale von zwei beliebigen Eingabe- oder Ausgabepositionen in Beziehung zu setzen, mit dem Abstand zwischen den Positionen – linear bei ConvS2S und logarithmisch bei ByteNet. Dies erschwert das Erlernen von Abhängigkeiten zwischen weit entfernten Positionen [12]. Beim Transformer wird dies auf eine konstante Anzahl von Operationen reduziert, albeit auf Kosten einer verringerten effektiven Auflösung aufgrund der durchschnittlichen Gewichtung von Aufmerksamkeitspositionen; diesem Effekt wirken wir durch Multi-Head Attention entgegen, wie in Abschnitt 3.2 beschrieben.

Selbst-Aufmerksamkeit, manchmal auch als intra-Aufmerksamkeit bezeichnet, ist ein Aufmerksamkeitsmechanismus, der verschiedene Positionen eines einzelnen Sequenzes miteinander in Beziehung setzt, um eine Darstellung der Sequenz zu berechnen. Selbst-Aufmerksamkeit wurde erfolgreich in einer Vielzahl von Aufgaben eingesetzt, darunter Leseverstehen, abstraktive Zusammenfassung, textuelle Implikation und das Erlernen aufgabenunabhängiger Satzdarstellungen [4, 27, 28, 22].

End-to-End-Speichernetzwerke basieren auf einem rekurrenten Aufmerksamkeitsmechanismus anstelle von sequenzausgerichteter Rekurrenz und haben sich als leistungsfähig bei einfachen Fragenbeantwortungs- und Sprachmodellierungsaufgaben erwiesen [34].

Nach bestem Wissen unsererseits ist der Transformer jedoch das erste Transduktionsmodell, das ausschließlich auf Selbst-Aufmerksamkeit zurückgreift, um Darstellungen seiner Eingabe und Ausgabe zu berechnen, ohne sequenzausgerichtete RNNs oder Faltung zu verwenden. In den folgenden Abschnitten werden wir den Transformer beschreiben, Selbst-Aufmerksamkeit begründen und ihre Vorteile gegenüber Modellen wie [17, 18] und [9] diskutieren.

3 Modellarchitektur

Die meisten wettbewerbsfähigen neuronalen Sequenztransduktionsmodelle besitzen eine Encoder-Decoder-Architektur [5, 2, 35]. Dabei bildet der Encoder eine Eingabesequenz von Symbolrepräsentationen $(x_1, ..., x_n)$ auf eine Sequenz kontinuierlicher Repräsentationen $\mathbf{z} = (z_1, ..., z_n)$ ab. Basierend auf $\mathbf{z}$ erzeugt der Decoder dann eine Ausgabesequenz $(y_1, ..., y_m)$ von Symbolen schrittweise ein Element nach dem anderen. In jedem Schritt ist das Modell autoregressiv [10], wobei es die zuvor generierten Symbole als zusätzliche Eingabe verwendet, um das nächste zu erzeugen.

Abbildung 1: Die Transformer-Architektur.

Der Transformer folgt dieser allgemeinen Architektur, die gestapelte Selbst-Aufmerksamkeitsmechanismen und punktweise, vollständig verbundene Schichten sowohl für den Encoder als auch für den Decoder verwendet, wie jeweils in der linken und rechten Hälfte von Abbildung 1 dargestellt.

3.1 Encoder- und Decoder-Stapel

Encoder: Der Encoder besteht aus einem Stapel von $N = 6$ identischen Schichten. Jede Schicht verfügt über zwei Sub-Schichten. Die erste ist ein Multi-Head-Selbst-Aufmerksamkeitsmechanismus, und die zweite ist ein einfaches, positionsspezifisches vollvernetztes Feed-Forward-Netzwerk. Wir verwenden eine Residualverbindung [11] um jede der beiden Sub-Schichten herum, gefolgt von einer Layer-Normalisierung [1]. Das heißt, die Ausgabe jeder Sub-Schicht ist $\text{LayerNorm}(x + \text{Sublayer}(x))$, wobei $\text{Sublayer}(x)$ die Funktion ist, die von der Sub-Schicht selbst implementiert wird. Um diese Residualverbindungen zu erleichtern, erzeugen alle Sub-Schichten im Modell sowie die Embedding-Schichten Ausgaben der Dimension $d_{\text{model}} = 512$.

Decoder: Der Decoder besteht ebenfalls aus einem Stapel von $N = 6$ identischen Schichten. Zusätzlich zu den beiden Sub-Schichten in jeder Encoderschicht fügt der Decoder eine dritte Sub-Schicht ein, die eine Multi-Head-Aufmerksamkeit über die Ausgabe des Encoder-Stapels durchführt. Ähnlich wie beim Encoder verwenden wir Residualverbindungen um jede der Sub-Schichten herum, gefolgt von einer Layer-Normalisierung. Wir modifizieren auch die Selbst-Aufmerksamkeits-Sub-Schicht im Decoder-Stapel, um zu verhindern, dass Positionen auf nachfolgende Positionen achten können. Diese Maskierung, kombiniert mit der Tatsache, dass die Ausgabe-Embeddings um eine Position versetzt sind, stellt sicher, dass die Vorhersagen für Position $i$ nur von den bekannten Ausgaben an Positionen kleiner als $i$ abhängen können.

3.2 Aufmerksamkeit

Eine Aufmerksamkeitsfunktion kann als eine Abbildung beschrieben werden, die eine Anfrage und eine Menge von Schlüssel-Wert-Paaren auf eine Ausgabe abbildet, wobei die Anfrage, die Schlüssel, die Werte und die Ausgabe alle Vektoren sind. Die Ausgabe wird als gewichtete Summe berechnet

Abbildung 2: (links) Skalierte Dot-Product-Aufmerksamkeit. (rechts) Multi-Head-Aufmerksamkeit besteht aus mehreren parallel ausgeführten Aufmerksamkeitslagen.

der Werte, wobei das jedem Wert zugeordnete Gewicht durch eine Kompatibilitätsfunktion zwischen der Anfrage und dem entsprechenden Schlüssel berechnet wird.

3.2.1 Skalierte Punktprodukt-Aufmerksamkeit

Wir bezeichnen unsere spezielle Aufmerksamkeit als „Skalierte Punktprodukt-Aufmerksamkeit“ (Abbildung 2). Die Eingabe besteht aus Queries und Keys der Dimension $d_k$ sowie Values der Dimension $d_v$. Wir berechnen die Punktprodukte der Query mit allen Keys, teilen jedes durch $\sqrt{d_k}$ und wenden eine Softmax-Funktion an, um die Gewichte auf die Values zu erhalten.

In der Praxis berechnen wir die Aufmerksamkeitsfunktion für eine Menge von Queries gleichzeitig, die gemeinsam in einer Matrix $Q$ gepackt sind. Auch die Keys und Values werden in den Matrizen $K$ bzw. $V$ zusammengefasst. Wir berechnen die Ausgabe-Matrix wie folgt:

$$\text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \tag{1}$$

Die beiden am häufigsten verwendeten Aufmerksamkeitsfunktionen sind additive Aufmerksamkeit [2] und Punktprodukt- (multiplikative) Aufmerksamkeit. Punktprodukt-Aufmerksamkeit ist identisch mit unserem Algorithmus, abgesehen vom Skalierungsfaktor $\frac{1}{\sqrt{d_k}}$. Additive Aufmerksamkeit berechnet die Kompatibilitätsfunktion unter Verwendung eines Feed-Forward-Netzwerks mit einer einzigen versteckten Schicht. Obwohl beide Ansätze theoretisch ähnliche Komplexität aufweisen, ist die Punktprodukt-Aufmerksamkeit in der Praxis deutlich schneller und speichereffizienter, da sie mithilfe hochoptimierter Code-Bibliotheken für Matrixmultiplikationen implementiert werden kann.

Während sich die beiden Mechanismen bei kleinen Werten von $d_k$ ähnlich verhalten, übertrifft additive Aufmerksamkeit die unskalierte Punktprodukt-Aufmerksamkeit bei größeren Werten von $d_k$ [3]. Wir vermuten, dass bei großen Werten von $d_k$ die Punktprodukte betragsmäßig groß werden und die Softmax-Funktion in Bereiche schieben, in denen sie extrem kleine Gradienten $^{4}$ aufweist. Um diesem Effekt entgegenzuwirken, skalieren wir die Punktprodukte mit $\frac{1}{\sqrt{d_k}}$.

3.2.2 Multi-Head Attention

Anstatt eine einzelne Aufmerksamkeitsfunktion mit $d_{\text{model}}$-dimensionalen Schlüsseln, Werten und Anfragen durchzuführen, haben wir es als vorteilhaft erachtet, die Anfragen, Schlüssel und Werte $h$-mal mit verschiedenen, gelernten linearen Projektionen auf die Dimensionen $d_k$, $d_k$ und $d_v$ linear zu projizieren. Auf jeder dieser projizierten Versionen von Anfragen, Schlüsseln und Werten führen wir dann die Aufmerksamkeitsfunktion parallel aus, was zu $d_v$-dimensionalen

$^4$Um zu veranschaulichen, warum die Skalarprodukte groß werden, nehmen wir an, dass die Komponenten von $q$ und $k$ unabhängige Zufallsvariablen mit Erwartungswert 0 und Varianz 1 sind. Dann hat ihr Skalarprodukt $q \cdot k = \sum_{i=1}^{d_k} q_i k_i$ den Erwartungswert 0 und die Varianz $d_k$.