Paramètre
Nombre réglé pendant l’entraînement d’un modèle, comme le poids d’une connexion entre deux neurones. La taille d’un modèle se mesure en nombre de paramètres.
Un exemple
Meta a publié en 2024 deux versions de Llama 3, l’une de huit milliards de paramètres, l’autre de soixante-dix milliards. La démonstration du mot suivant, elle, n’a aucun paramètre au sens strict : elle se contente de compter.
Ce qu’il faut comprendre
Quand on lit qu’un modèle « compte soixante-dix milliards de paramètres », il faut imaginer soixante-dix milliards de nombres, chacun ajusté pendant l’entraînement. Ensemble, ils encodent tout ce que le modèle a retenu de ses données.
Ce chiffre a des conséquences concrètes. Il faut de la mémoire pour stocker ces nombres, et des calculs pour s’en servir à chaque réponse. C’est pourquoi les plus grands modèles tournent dans des centres de données, tandis que de petits modèles peuvent fonctionner sur un ordinateur ou un téléphone, sans rien envoyer sur internet.
Plus grand n’est pas toujours mieux : pour beaucoup d’usages courants, un modèle plus petit suffit, coûte moins cher et consomme moins.
Les idées fausses
-
On entendPlus un modèle a de paramètres, plus il dit vrai.
En réalitéUn modèle plus grand est souvent plus capable, mais il peut affirmer des erreurs avec la même assurance. La taille ne garantit pas l’exactitude.
-
On entendLes paramètres contiennent les textes lus par le modèle.
En réalitéIls en gardent une empreinte statistique, pas une copie rangée. On ne peut pas y retrouver un document comme dans un dossier.