Introduction aux grands modèles de langage et à l'intelligence artificielle

Un exemple d’image générée à partir d’un texte par Stable Diffusion

Ce billet de blog est un résumé de l’introduction de la formation donnée à l’Université de Rennes sur les grands modèles de langages (LLM). Cette formation s’adresse à un public large, sans connaissance préalables.

Le document décrit dans ce billet de blog est disponible ici

La notion d’Intelligence Artificielle est de plus en plus présente dans le quotidien de nombreuses personnes. Des algorithmes génératifs (génération d’image à partir de texte, agents conversationnels, …) aux systèmes de recommandation (Spotify, Instagram, …); les exemples sont nombreux et de plus en plus impressionnants. Afin de prendre les décisions les plus appropriées (comment utiliser - ou ne pas utiliser - ces modèles, lesquels choisir dans quel cadre, …), il est nécessaire de bien comprendre les enjeux liés à l’utilisation et au déploiement de ces outils.

En partant d’un exemple basique sur la consommation d’électricité en Bretagne, on aborde la notion de modèle de Machine Learning et d’entraînement.

On continue ensuite en plongeant plus en détail dans le fonctionnement des LLM (Large Language Models). L’objectif est de comprendre globalement comment fonctionnent ces programmes, en faisant le moins de compromis possibles sur la rigueur. On présente les concepts suivant :

• la tokenisation,

• la notion d’embeddings,

• quelle sortie produisent-ils, et comment générent-ils du texte ?

• comment sont-ils entraînés ?

Enfin, on présente l’écosystème de tous ces modèles.