Avant l’introduction du Transformer, les modèles de NLP étaient principalement basés sur les réseaux de neurones récurrents (RNNs) tels que le Long Short-Term Memory (LSTM) et le Gated Recurrent Unit (GRU). Ces modèles présentent un inconvénient majeur, à savoir leur incapacité à traiter efficacement des séquences d’entrée de longueurs variables. En effet, les RNNs traitent les séquences d’entrée élément par élément, ce qui signifie que la capacité du modèle à traiter une séquence est limitée par la longueur de la séquence.

Le modèle du Transformer est composé de deux composants principaux : l’encoder et le decoder.

• L’encoder prend la séquence d’entrée et la convertit en un ensemble d’états cachés, qui sont ensuite passés au decoder.
• Le decoder prend les états cachés et génère la séquence de sortie.

Le mécanisme d’attention est appliqué à la fois dans l’encoder et le decoder. Il effectue le calcul d’un ensemble de poids d’attention pour chaque élément de la séquence d’entrée. Ces poids d’attention sont utilisés pour déterminer l’importance des différentes parties de la séquence d’entrée.

Le modèle du Transformer présente alors deux avantages majeurs par rapport aux modèles RNN traditionnels :

• Il peut traiter efficacement des séquences d’entrée de longueurs variables,
• Il est muni d’un mécanisme d’attention.

Le modèle a ainsi ce qui qu’il faut pour être en mesure de comprendre le contexte dans une séquence de texte. En effet, il peut gérer des tâches telles que la traduction automatique, le résumé de texte ou bien encore tenir une conversation. Le modèle du Transformer est également utilisé dans d’autres tâches de NLP telle que la modélisation du langage.

L’architecture du Transformer est également la base de plusieurs variations et extensions telles que le model de BERT (Bidirectional Encoder Representations from Transformers) qui est introduit par Google (Jacob Devlin) en 2018 et GPT (Generative Pre-trained Transformer) introduit la même année par OpenAI. Tous deux ont réalisé des performances de pointe sur un large éventail de tâches NLP.

Dans la forme, les acronymes BERT et GPT ont en commun la lettre « T » pour Transformer dans leurs accronymes respectifs. En ce qui concerne leur fonctionnement, ces deux modèles utilisent le mécanisme d’attention et peuvent traiter des séquences de longueur variable. Le ChatGPT, développé récemment par Microsoft en collaboration avec OpenAI, est une version plus légère du GPT-3, optimisé pour gérer des conversations comme un humain, idéale pour les chatbots. L’intégration du mécanisme d’attention a été un moment clé dans l’évolution de l’état de l’art en NLP et en Intelligence Artificielle en général.

Le Transformer fait déjà parti du quotidien chez AKABI, nous en faisons usage pour répondre aux besoins de nos clients dans différents domaines.

Merci de votre attention!

Pour en savoir plus: [1706.03762] Attention Is All You Need (arxiv.org)

The post Les « Transformers » : pourquoi l’Attention 🧠 est tout ce dont vous avez besoin? appeared first on AKABI.