Le fine-tuning devient un choix de produit, pas une course au GPU
Il y a encore deux ans, adapter un modèle type Llama à ses données coûtait cher et mobilisait des machines spécialisées. Aujourd'hui, l'accès mutualisé au calcul et les adaptateurs LoRA/QLoRA rendent l'exercice réaliste pour une PME. À condition de commencer par la bonne question: savoir ou faire?
Par Charles Bonneau ·
Une PME veut un assistant qui lit des contrats le matin et répond au support client l'après-midi. Il y a deux ans, spécialiser un modèle de 70 milliards de paramètres sur ces deux métiers supposait un budget GPU dissuasif. Aujourd'hui, la question n'est plus « avons-nous les machines ? » mais « que voulons-nous que le modèle fasse ? »
Dans mon article précédent, je disais qu'un petit modèle fine-tuné peut rivaliser avec un modèle frontière sur une tâche précise, à condition d'avoir du calcul et des données [1]. La nouveauté, c'est que le calcul devient mutualisé et que les méthodes d'adaptation légère abaissent fortement le ticket d'entrée.
LoRA et QLoRA, sans plonger dans les maths
LoRA ne réentraîne pas tout le modèle. Il gèle le modèle de base et n'entraîne qu'un petit adaptateur, ce qui réduit environ 99 % des poids à mettre à jour [2]. QLoRA va plus loin en compressant le modèle de base en 4 bits: un Llama 70B peut être fine-tuné sur un seul GPU grand public [2]. En comparaison, un fine-tuning classique d'un modèle 7B demande environ 112 Go de mémoire avant même de stocker les activations [3].
Deux corrections pratiques datent de 2026: il faut attacher ces adaptateurs à toutes les couches linéaires, pas seulement à l'attention, et utiliser un learning rate environ dix fois plus élevé qu'en fine-tuning complet [3].
Le calcul mutualisé ne fait pas tout
Les AI Factories européennes, comme BE AIFA, commencent à mutualiser l'accès aux GPU d'entraînement. Mais le goulot d'étranglement n'est pas que matériel: la préparation des données reste l'étape la plus sous-estimée. 1 000 exemples propres valent mieux que 50 000 exemples bruités [4]. Et le fine-tuning n'injecte pas de connaissances fraîches: il modifie le comportement, pas la mémoire factuelle. Si le besoin est « il doit connaître X », le RAG est plus adapté [5].
Un même modèle, plusieurs casquettes
Avec LoRA, l'adaptateur entraîné pèse quelques mégaoctets. On peut garder le modèle de base en mémoire et basculer d'un adaptateur « juridique » à un adaptateur « support » en quelques secondes, sans redémarrer le service. C'est un vrai gain opérationnel, mais chaque adaptateur doit être comparé en A/B à son modèle de base avant d'aller en production [3].
La question avant le GPU
Le fine-tuning est pertinent quand le besoin est stable: « il doit toujours répondre dans ce format » ou « il doit adopter ce ton ». Il est le mauvais outil quand le besoin est « il doit connaître les faits du jour »: là, le RAG ou un bon prompting suffisent. Le fine-tuning fige les connaissances au moment de l'entraînement [5].
Avant de réserver du calcul mutualisé, posez à votre équipe la question qui sépare les deux cas: qu'est-ce que le modèle doit savoir au moment de la requête, et qu'est-ce qu'il doit faire de manière répétable ? Si la réponse est la première, le fine-tuning peut attendre.