Fine-tuning

Le fine-tuning (ou ajustement fin) consiste à reprendre un modèle d’intelligence artificielle déjà entraîné, par exemple un LLM comme GPT, Claude, Mistral ou Llama, et à poursuivre son entraînement sur vos propres données pour le spécialiser. Le modèle conserve ses compétences générales et apprend en plus votre vocabulaire, votre format de réponse ou vos règles de classification. Entraîner un modèle à partir de zéro coûte des millions d’euros et mobilise une équipe de recherche. Un fine-tuning se fait en quelques heures avec quelques centaines d’exemples.

L’image la plus juste est celle d’un recrutement : vous embauchez un professionnel expérimenté, puis vous le formez à vos procédures. Il n’a pas besoin de réapprendre à écrire ou à raisonner, seulement d’adopter vos habitudes. Et comme pour un recrutement, le résultat dépend surtout de la qualité de la formation, c’est-à-dire de vos données.

Comment fonctionne le fine-tuning d’un modèle de langage

Un modèle de langage est un réseau de neurones (deep learning) dont le comportement est fixé par des milliards de paramètres, ajustés lors d’un premier entraînement sur d’immenses volumes de texte public. Après cette phase, le modèle sait répondre à peu près à tout, mais de façon générique : il ignore le jargon de votre secteur, la structure de vos documents et le ton que vous employez avec vos clients.

Le fine-tuning reprend ce même mécanisme d’apprentissage supervisé, le socle du machine learning, à petite échelle. Vous fournissez des paires d’exemples (une entrée, la sortie attendue) : un ticket de support et la réponse idéale, une description produit et sa catégorie. Le modèle compare ses propres réponses à ces exemples et corrige ses paramètres jusqu’à reproduire le comportement montré. Sur cette tâche précise, un petit modèle fine-tuné bat souvent un grand modèle généraliste, en étant plus rapide et moins cher à faire tourner.

Les principales techniques de fine-tuning

Le full fine-tuning

L’ajustement complet modifie l’ensemble des paramètres du modèle. C’est l’approche la plus puissante, mais elle exige de charger tout le modèle en mémoire GPU et de stocker une copie complète par spécialisation. Elle reste réservée aux organisations qui disposent d’une infrastructure cloud conséquente et d’un gros volume de données.

LoRA et QLoRA

LoRA (Low-Rank Adaptation) est devenue la méthode standard. Au lieu de toucher aux paramètres d’origine, elle entraîne de petites matrices additionnelles qui représentent moins de 1 % du modèle. Le résultat approche celui du full fine-tuning pour une fraction du coût, et le modèle de base reste intact. Une adaptation LoRA ne pèse que quelques centaines de mégaoctets au plus, ce qui permet de maintenir plusieurs spécialisations du même modèle et de basculer de l’une à l’autre.

QLoRA combine LoRA avec la quantification, c’est-à-dire une réduction de la précision numérique des paramètres. Un modèle de 7 à 13 milliards de paramètres se fine-tune ainsi sur un seul GPU, et un modèle de 70 milliards sur une carte professionnelle de 48 Go. C’est cette technique qui a mis le fine-tuning à la portée des petites équipes.

RLHF et DPO : apprendre des préférences

Le RLHF (Reinforcement Learning from Human Feedback) ne part pas d’exemples de réponses idéales mais de comparaisons : des évaluateurs classent plusieurs réponses du modèle, et celui-ci apprend à produire celles qu’on préfère. C’est la méthode qui a transformé les modèles bruts en assistants utiles et prudents chez OpenAI et Anthropic. Sa variante DPO (Direct Preference Optimization) obtient un résultat proche avec une mise en œuvre bien plus simple, et c’est elle que les équipes produit utilisent le plus souvent pour affiner le ton ou la concision d’un modèle.

La distillation

La distillation consiste à faire produire par un grand modèle des milliers d’exemples de qualité, puis à fine-tuner un petit modèle sur ces exemples. Le petit modèle hérite du comportement du grand sur la tâche visée, pour un coût d’inférence souvent dix fois inférieur. C’est aujourd’hui l’usage le plus rentable du fine-tuning en production.

Fine-tuning ou RAG : quelle différence ?

Le fine-tuning est souvent confondu avec le RAG (génération augmentée par la recherche). Les deux répondent pourtant à des questions différentes.

Le fine-tuning change la manière dont le modèle répond : son style, son format, son vocabulaire, sa logique de classification. Le RAG change ce que le modèle sait au moment de répondre : il va chercher les documents pertinents dans votre base et les glisse dans la requête. Les données peuvent évoluer chaque jour sans qu’il faille réentraîner quoi que ce soit.

La règle à retenir : le fine-tuning pour le comportement, le RAG pour les connaissances. Un point trompe souvent les équipes qui débutent : le fine-tuning est un mauvais moyen d’apprendre des faits à un modèle. Il retiendra le ton de vos fiches produit, pas leurs prix. En pratique, les deux se combinent bien : un modèle fine-tuné qui sait comment répondre, alimenté par un RAG qui lui fournit les informations du moment.

Quand le fine-tuning se justifie

Le fine-tuning arrive en dernier dans l’ordre des solutions à essayer, après le prompt engineering et le RAG. Les modèles récents suivent des instructions longues, acceptent des dizaines d’exemples dans le prompt et mettent en cache les parties fixes de la requête pour en réduire le coût. Beaucoup de cas qui appelaient un fine-tuning il y a trois ans se règlent aujourd’hui avec un bon prompt.

Il reste quatre situations où le fine-tuning s’impose.

Le volume de requêtes rend le grand modèle trop cher ou trop lent. Un petit modèle fine-tuné traite la même tâche pour une fraction du prix et répond nettement plus vite. Notre guide sur l’intégration de l’IA dans un SaaS décrit ce scénario : on démarre sur une API, on internalise seulement quand la facture explose.

Le format de sortie doit être respecté à la lettre, par exemple un JSON complexe ou une classification sur plusieurs centaines de catégories métier, et le prompt seul produit encore trop d’erreurs.

Le domaine est très éloigné du langage courant : terminologie médicale, notation juridique, logs techniques, ou une langue peu représentée dans les données publiques.

Un chatbot ou un agent IA doit tenir une voix de marque précise sur des milliers de conversations, et les consignes du prompt ne suffisent pas à la stabiliser.

À l’inverse, le fine-tuning est le mauvais outil quand les données changent souvent, quand vous n’avez pas encore de données de qualité, ou quand le besoin n’est pas stabilisé : réentraîner un modèle à chaque changement de spécification coûte vite plus cher qu’ajuster un prompt.

Les étapes d’un projet de fine-tuning

Un projet de fine-tuning suit quatre étapes, et la première concentre l’essentiel de l’effort.

Constituer le jeu de données. Il faut réunir des paires entrée/sortie qui représentent fidèlement le comportement attendu. Mieux vaut cinq cents exemples vérifiés à la main que cinq mille récupérés en vrac dans un export.

Nettoyer et valider. Doublons, réponses contradictoires, exemples qui contiennent des données personnelles : tout ce qui entre dans le jeu de données ressortira dans le comportement du modèle. On réserve aussi 10 à 20 % des exemples pour l’évaluation, sans les montrer au modèle pendant l’entraînement.

Entraîner. L’entraînement se lance via l’API d’un fournisseur (OpenAI, Mistral, Google sur Vertex AI) ou sur votre propre infrastructure, avec des outils comme Hugging Face ou Unsloth pour un modèle à poids ouverts. Avec LoRA, l’opération dure de quelques minutes à quelques heures.

Évaluer, puis recommencer. On compare le modèle fine-tuné au modèle de base sur les exemples réservés. Les métriques automatiques ne suffisent pas : il faut une relecture humaine, ou un grand modèle utilisé comme juge, sur un échantillon de réponses. Si les résultats déçoivent, on corrige d’abord les données, pas les paramètres d’entraînement.

Combien coûte un fine-tuning ?

Via l’API d’un fournisseur, l’entraînement d’un modèle de taille moyenne sur quelques milliers d’exemples revient à quelques dizaines ou centaines d’euros. L’utilisation du modèle fine-tuné est ensuite facturée un peu plus cher au token que le modèle de base. C’est le point d’entrée pour une startup.

En hébergeant le processus vous-même sur un modèle open source ou à poids ouverts (Llama, Mistral, Qwen, Gemma), le coût se mesure en heures de GPU loué, à quelques euros de l’heure pour une carte capable de faire tourner QLoRA. Un full fine-tuning sur un modèle de 70 milliards de paramètres demande plusieurs GPU haut de gamme et se chiffre en milliers d’euros. Il faut ensuite payer l’hébergement du modèle en production, rentable seulement à partir d’un certain volume de requêtes.

Le vrai coût est ailleurs : dans le temps humain passé à constituer, annoter et vérifier les données. Sur un projet de fine-tuning, cette préparation représente souvent la majorité de l’effort, et c’est elle qui décide du résultat.

Les erreurs courantes en fine-tuning

Attendre du fine-tuning qu’il rende le modèle plus intelligent. Il le spécialise. Un petit modèle fine-tuné excelle sur les cas couverts par vos exemples et régresse souvent sur le reste, un phénomène connu sous le nom d’oubli catastrophique. Si vos utilisateurs sortent du périmètre prévu, prévoyez un repli vers un modèle généraliste.

Oublier la maintenance. Un modèle fine-tuné reflète vos données à une date donnée. Dès que l’offre ou les procédures changent, il faut le réentraîner, et chaque nouvelle version du modèle de base chez le fournisseur oblige aussi à refaire l’opération. Conservez donc le pipeline de données qui rend ces cycles possibles.

Négliger la confidentialité. Les données d’entraînement s’intègrent au modèle et peuvent réapparaître dans ses réponses. Les informations personnelles doivent être anonymisées avant l’entraînement, et le RGPD s’applique. Passer par l’API d’un fournisseur américain ajoute une question de transfert de données. Un modèle à poids ouverts hébergé en Europe l’évite.

Sauter l’étape du prompt. Avant d’investir, il faut avoir poussé le prompt engineering au maximum, avec des exemples dans la requête (few-shot) et un RAG si les connaissances manquent. Le fine-tuning coûte cher à corriger : chaque erreur dans le jeu de données impose un nouveau cycle d’entraînement, là où un prompt se modifie en cinq minutes.

FAQ fine-tuning

Combien d’exemples faut-il pour fine-tuner un modèle ?

Cela dépend de l’écart entre le comportement actuel et le comportement souhaité. Quelques dizaines d’exemples suffisent pour ajuster un format de sortie. Pour faire adopter un style ou une logique de classification, comptez plusieurs centaines. Au-delà de quelques milliers, le gain devient marginal et la qualité des exemples compte plus que leur nombre.

Peut-on fine-tuner ChatGPT ou Claude ?

On ne fine-tune pas le produit, mais les modèles qui le font tourner. OpenAI propose le fine-tuning de ses modèles GPT via son API. Anthropic ouvre celui de certains modèles Claude via Amazon Bedrock, et Google celui de Gemini sur Vertex AI. Pour un contrôle total sur les données et l’hébergement, les modèles à poids ouverts restent la voie la plus souple.

Le fine-tuning remplace-t-il le RAG ?

Non. Le fine-tuning modifie le comportement du modèle, le RAG lui apporte des connaissances à jour. Si le modèle doit connaître vos documents, c’est du RAG. S’il doit répondre d’une certaine manière, c’est du fine-tuning. La plupart des systèmes en production combinent les deux.

Comment Polara Studio aborde le fine-tuning

Chez Polara Studio, nous commençons chaque projet d’IA par la question de l’approche : prompt, RAG, fine-tuning ou combinaison. Dans la grande majorité des cas, un prompt soigné et un RAG suffisent, et c’est ce que nous recommandons en premier parce que c’est plus rapide à livrer et plus simple à faire évoluer.

Quand le fine-tuning se justifie, parce que le volume de requêtes rend un grand modèle trop coûteux ou parce que le domaine est trop spécifique, nous prenons en charge l’ensemble du processus : constitution et validation du jeu de données avec les experts métier du client, choix du modèle de base et de la technique, entraînement, évaluation comparative et mise en production. Nous livrons aussi le pipeline de réentraînement, pour que le modèle continue de suivre l’activité du client après la mise en ligne.