Un transformeur (ou modèle auto-attentif) est une architecture d'apprentissage profond introduite en 20172. Elle est principalement utilisée dans le domaine du traitement automatique des langues (TAL) en servant de base aux grands modèles de langage3, mais peut aussi servir à traiter d'autres modalités comme les images4, les vidéos ou le son, parfois simultanément5.
...
développement de systèmes pré-entraînés tels que BERT (Bidirectional Encoder Representations from Transformers) et GPT (Generative Pre-Trained Transformer), qui ont été entraînés sur d'énormes ensembles de données textuelles
...
Connu / https://tools.immae.eu/Shaarli/ind1ju?gzYvPg