Off Record
Tous les articles

Adoption et gouvernance

Le ROI d’une formation IA : ce qui se mesure à 3 et 6 mois

Comment mesurer l’effet d’une formation IA : les indicateurs qui tiennent, ceux qui trompent, et le protocole de mesure à mettre en place avant la session.

Par Pauline Ebel

L’essentiel

  • La plupart des formations IA ne sont pas mesurées, pour une raison simple : la mesure se prépare avant la session, et personne ne le fait.
  • Trois indicateurs suffisent. Le quatrième — le temps gagné déclaré — est celui que tout le monde utilise et celui qui trompe le plus.
  • La bonne échéance n’est pas la fin de session. C’est trois mois, quand l’effet de nouveauté est retombé, et six mois, quand ce qui reste est devenu une habitude.
  • Un chiffre honnête : une part des usages appris en formation est abandonnée. Le taux d’abandon est un indicateur, pas un échec.

Pourquoi personne ne mesure

Trois obstacles, tous surmontables.

La mesure se prépare avant. Sans point de départ, il n’y a pas de progression à constater. Or la décision de mesurer se prend généralement après la session, quand la direction demande ce que ça a donné.

L’indicateur évident est le mauvais. « Combien de temps avez-vous gagné ? » produit un chiffre déclaratif, influencé par l’effet de nouveauté et par le désir de bien répondre. Il est systématiquement optimiste à un mois et systématiquement oublié à six.

Personne n’a intérêt à mesurer. Le prestataire préfère une évaluation à chaud, où la satisfaction est élevée. Le commanditaire a défendu un budget. Le service formation a d’autres sessions à organiser. Une mesure honnête peut décevoir tout le monde — c’est précisément ce qui la rend utile.

Les trois indicateurs qui tiennent

1. Le taux d’usage effectif à 3 mois

Ce qu’on mesure : la proportion de participants qui utilisent l’IA au moins une fois par semaine sur une tâche professionnelle, trois mois après la session.

Comment : une question unique, posée par email, avec réponse anonyme. Taux de réponse attendu : élevé si la question est unique.

Pourquoi il tient : il est binaire, non déclaratif sur une quantité, et il capte exactement ce qui compte — l’usage a-t-il survécu à l’effet de nouveauté.

Le repère : à trois mois, un dispositif qui fonctionne conserve une majorité de ses participants en usage régulier. En dessous, le problème est identifiable — cas d’usage mal ciblés, cadre absent, ou outil inadapté.

2. Le nombre d’usages tenus par participant

Ce qu’on mesure : chaque participant repart avec trois usages qu’il s’engage à mettre en œuvre. Trois mois plus tard : combien en pratique-t-il encore ?

Pourquoi il tient : il compare un engagement à une réalité, sur une base individuelle et concrète. Et il produit une information qualitative précieuse — quels usages ont tenu, et lesquels ont été abandonnés.

Ce qu’on observe : les usages abandonnés le sont pour des raisons répétitives — l’outil n’était pas accessible, la tâche n’était pas si fréquente, une règle interne l’empêchait. Chacune de ces raisons est actionnable.

3. Le temps mesuré sur une tâche identifiée

Ce qu’on mesure : le temps réellement passé sur une tâche précise, chronométrée avant et après.

Comment : choisir une tâche fréquente, homogène et mesurable — un compte rendu de réunion, une réponse type, une synthèse hebdomadaire. Relever le temps moyen avant la formation sur cinq à dix occurrences, puis à trois mois.

Pourquoi il tient : c’est le seul indicateur non déclaratif. Il est étroit, et c’est sa qualité : un chiffre vrai sur une tâche vaut mieux qu’un chiffre inventé sur toutes.

Ce qu’il faut en faire : ne pas extrapoler. « Nous gagnons 40 minutes par compte rendu, à raison de huit comptes rendus hebdomadaires par manager » est un calcul défendable. « Nous gagnons 20 % de productivité » ne l’est pas.

L’indicateur qui trompe

Le temps gagné déclaré, toutes tâches confondues.

Il est utilisé partout parce qu’il produit des chiffres élevés et faciles à présenter. Trois raisons de s’en méfier : il est déclaratif, il est mesuré au moment où l’enthousiasme est maximal, et il additionne des minutes qui ne se transforment pas nécessairement en valeur — dix minutes gagnées cinq fois par jour ne font pas une heure disponible.

Si vous devez présenter un chiffre à un comité, présentez le temps mesuré sur une tâche identifiée, avec son périmètre. Il sera plus petit, et il tiendra la contradiction.

Le protocole, étape par étape

QuandAction
J-30Choisir la tâche à mesurer. Relever le temps de départ sur 5 à 10 occurrences. Poser la question d’usage à l’ensemble des futurs participants.
J0Formation. Chaque participant formalise trois usages à mettre en œuvre.
J+30Point court : ce qui a été mis en œuvre, ce qui bloque. Objectif : lever les obstacles, pas mesurer.
J+90Mesure : taux d’usage effectif, usages tenus par participant, temps sur la tâche identifiée.
J+180Seconde mesure sur les mêmes indicateurs. C’est celle qui distingue une habitude d’un effet de session.

Coût du protocole : environ une demi-journée au total, répartie sur six mois.

Ce que ça change dans la décision

Un dispositif mesuré permet trois décisions qu’un dispositif non mesuré ne permet pas.

Étendre ou non. Un taux d’usage élevé sur une direction pilote justifie l’extension. Un taux faible signale qu’il faut comprendre avant d’étendre.

Corriger le format. Les usages abandonnés indiquent ce qu’il faut changer : cas d’usage mieux ciblés, séquence supplémentaire, ou obstacle organisationnel à lever.

Arbitrer entre formation et autre chose. Si les usages sont abandonnés parce que l’outil n’est pas accessible ou parce qu’une règle interne les empêche, le problème n’est pas la formation. Aucune session supplémentaire ne le résoudra.

Ce que nous mesurons, et ce que nous en disons

Nos dispositifs intra incluent un bilan à trois mois sur ces indicateurs. Nous le remettons tel quel, y compris quand il est décevant — et il l’est parfois.

Questions fréquentes

Quand mesurer l’effet d’une formation IA ? À trois mois et à six mois. L’évaluation de fin de session mesure la satisfaction, pas l’adoption. À un mois, l’effet de nouveauté domine encore.

Quels indicateurs retenir ? Trois : le taux d’usage effectif à trois mois, le nombre d’usages tenus par participant sur les trois engagés, et le temps mesuré sur une tâche précise identifiée avant la formation.

Peut-on mesurer un gain de productivité global ? Pas de façon défendable. Les mesures globales reposent sur du déclaratif et sur des extrapolations. Un chiffre vrai sur une tâche vaut mieux qu’un chiffre invérifiable sur l’ensemble.

Que faire si les résultats sont mauvais ? Chercher la cause avant d’ajouter de la formation. Dans notre expérience, les trois causes dominantes sont : des cas d’usage mal ciblés, un outil peu accessible, ou l’absence de cadre qui laisse les gens dans l’incertitude. Aucune ne se corrige par une session supplémentaire.

Combien de temps coûte la mesure ? Environ une demi-journée au total, répartie sur six mois — à condition que le point de départ soit relevé avant la formation. C’est cette étape, et elle seule, qui est irrattrapable.

Faut-il mesurer sur tous les participants ? Non. Un échantillon d’une vingtaine de personnes représentatif des directions suffit, et augmente le taux de réponse.

Appel à l’action

Nos dispositifs intra incluent le bilan à 3 mois. Il fait partie de la prestation, pas d’une option.Formation IA en entreprise · Demander un devis · Réserver un cadrage de 30 minutes

Parler de votre situation

Un échange de 30 minutes pour savoir où vous en êtes et ce qui est prioritaire.

Aller plus loin sur le site

À lire ensuite