Avoir des données ne signifie pas comprendre
Data Dépendance Gouvernance

Avoir des données ne signifie pas comprendre

Nous n'avons probablement jamais disposé d'autant de données pour prendre nos décisions. Nous les collectons, les stockons, les transformons ; nous construisons des indicateurs, des tableaux de bord et des modèles destinés à nous aider à comprendre ce qui se passe.

Et lorsqu'une question reste sans réponse, notre premier réflexe est souvent assez prévisible :

il nous faut plus de données.

Une nouvelle source, quelques champs supplémentaires, un nouvel indicateur, davantage d'historique ; avec un peu de chance, la réponse finira bien par apparaître.

Pourtant, le problème n'est pas toujours dans ce que nous n'avons pas.

Il est parfois dans ce que nous n'avons pas cherché dans ce que nous avions déjà.

Poser de nouvelles questions aux anciennes données

Collecter davantage est rassurant parce que cela donne l'impression d'avancer.

Mais avant de chercher une nouvelle donnée, avons-nous réellement épuisé les possibilités offertes par celles dont nous disposons ?

Changer la granularité ; croiser autrement deux populations ; regarder ce que masque une moyenne ; chercher ce qui contredit notre intuition plutôt que ce qui la confirme.

Nous utilisons naturellement les données pour répondre aux questions que nous connaissons déjà. Nous construisons les KPI attendus, suivons leur évolution puis comparons celle-ci à nos objectifs.

Tout cela est utile.

Mais analyser, c'est aussi accepter de laisser les données faire apparaître des questions auxquelles nous n'avions pas pensé.

Accumuler de la donnée peut donner l'impression d'en savoir davantage ; ce n'est malheureusement pas la même chose que comprendre.

Attention à ne pas nettoyer ce que nous ne comprenons pas

Encore faut-il conserver suffisamment longtemps ce qui pourrait nous apprendre quelque chose.

Lors de la transformation des données, certaines opérations paraissent évidentes : traiter les valeurs manquantes, supprimer les doublons, identifier les valeurs extrêmes, normaliser les formats.

Mais derrière une anomalie statistique peut se cacher une anomalie métier.

Une valeur extrême peut être une erreur de saisie ; elle peut également raconter un événement exceptionnel ou révéler une faille dans un processus.

Un doublon peut provenir d'une erreur technique ; il peut aussi révéler qu'une même information est récupérée automatiquement et saisie manuellement ailleurs, mettant ainsi en évidence un processus que nous avions mal compris.

Même une donnée absente peut être porteuse d'information : pourquoi ce champ n'est-il pas renseigné ? Par qui ? Dans quelles circonstances ?

Bien sûr qu'il faut nettoyer les données.

Mais idéalement après avoir compris ce que nous nettoyons.

Sinon, il existe une manière particulièrement efficace d'obtenir une donnée qui confirme parfaitement notre compréhension du réel : supprimer tout ce que nous ne comprenons pas.

Les chiffres peuvent être justes et notre histoire complètement fausse

Supposons maintenant que nos données soient propres et que nous observions ceci :

les clients les plus fidèles sont davantage multi-équipés et se connectent également plus souvent à leur compte en ligne.

Tentant.

Faisons davantage se connecter les autres clients ; ils deviendront probablement plus fidèles et, pourquoi pas, plus équipés.

Présenté ainsi, le raisonnement paraît absurde.

Présenté dans une présentation avec quelques courbes, des pourcentages et une jolie segmentation, il pourrait presque devenir une stratégie.

C'est ici que commence le problème de l'interprétation.

Peut-être que les clients se connectent davantage parce qu'ils disposent de plusieurs produits ; peut-être deviennent-ils multi-équipés parce qu'ils sont déjà fidèles ; peut-être ces trois phénomènes dépendent-ils d'autres variables que nous n'avons pas observées.

La donnée nous présente une relation.

L'explication de cette relation, elle, vient de nous.

Et une explication crédible n'est pas nécessairement une explication vraie.

Il faudrait donc conserver une certaine forme d'inconfort devant une corrélation : considérer l'explication que nous lui donnons comme une hypothèse à confronter au réel plutôt que comme une conclusion à habiller d'un graphique.

Pour comprendre une donnée, il faut parfois arrêter de la regarder

Cette confrontation nécessite quelquefois de quitter son écran.

Combien d'analystes sont déjà allés voir comment les données qu'ils manipulent sont réellement fabriquées ?

Une donnée saisie ne tombe pas spontanément dans une base ; quelqu'un la produit, la choisit ou la renseigne, dans un outil donné, à un moment particulier et sous certaines contraintes.

Il faut donc s'interroger : qui la saisit ? Quand ? Pourquoi ? Pour quel usage ?

Et surtout :

quel intérêt cette personne a-t-elle à saisir une valeur plutôt qu'une autre ?

Imaginons un commercial dont l'activité est évaluée à partir du nombre de prospects créés. À partir du moment où ce nombre devient un indicateur de performance, nous ne mesurons potentiellement plus seulement une activité ; nous pouvons aussi influencer la manière dont elle est déclarée.

La même question peut se poser lorsqu'un opérateur déclare des incidents, lorsqu'un manager qualifie certaines situations ou chaque fois que la personne produisant la donnée connaît l'usage qui en sera fait.

Une base peut alors être techniquement impeccable tout en représentant imparfaitement la réalité qu'elle est censée décrire.

Le terrain ne vient donc pas après l'analyse ; il fait partie de l'analyse.

Avant de mesurer la performance, encore faudrait-il savoir ce qu'elle signifie

Il reste alors une difficulté plus discrète.

Nous pouvons disposer des bonnes données, correctement transformées, connaître leur provenance et malgré tout construire un mauvais indicateur.

Prenons la performance d'une équipe.

Nous pourrions additionner la production individuelle de tous ses membres et classer les équipes selon leur production totale.

Nous pourrions également comparer leurs moyennes.

Mais avons-nous alors mesuré la performance d'une équipe ou simplement additionné plusieurs performances individuelles ?

Si nous décidons qu'une performance collective suppose un niveau élevé mais également une certaine homogénéité entre les membres, nous pourrions nous intéresser plutôt à la médiane et à la dispersion des résultats.

Les données n'ont pas changé.

Nous avons changé la définition du mot « performance ».

Et cette décision n'est pas anodine.

Si quelques champions suffisent à faire gagner une équipe, nous valorisons implicitement un type de comportement ; si la progression collective compte également dans la mesure, aider un collègue à progresser peut devenir une manière d'améliorer sa propre performance collective.

Les indicateurs ne font donc pas que décrire les organisations ; ils peuvent contribuer à orienter les comportements qui s'y développent.

C'est finalement assez proche d'une discussion politique ou d'une discussion de couple : nous pouvons prononcer exactement le même mot tout en lui donnant deux significations différentes ; nous pouvons alors être d'accord sans parler de la même chose, ou nous disputer alors que nous défendons presque la même idée.

Avant de comparer les chiffres, il faudrait peut-être commencer par mettre collectivement les mêmes réalités derrière les mots.

Les mots définissent les indicateurs ; les indicateurs orientent les comportements.

Et finalement, sommes-nous capables de regarder demain ?

Une fois ces précautions prises, il reste une dernière question : que voulons-nous faire de nos données ?

Nous sommes particulièrement efficaces pour mesurer ce qui s'est déjà passé.

Chiffre d'affaires, marge, production, absentéisme, turnover, performance commerciale ; nos systèmes savent documenter hier avec une précision parfois remarquable.

C'est indispensable pour comprendre.

Mais une décision, elle, concerne demain.

C'est particulièrement visible lorsqu'on transpose le raisonnement au recrutement.

Nous recherchons facilement les compétences correspondant au poste tel qu'il existe aujourd'hui ; nous pouvons même être tentés de rechercher les caractéristiques des personnes qui ont réussi hier pour identifier celles qui réussiront demain.

Pourtant, les compétences, les technologies, les métiers et les organisations évoluent.

La question n'est donc plus seulement de savoir ce que les données historiques nous apprennent.

Elle devient :

quels éléments du passé sont encore pertinents pour prendre une décision concernant l'avenir ?

La donnée historique est notre matière première ; elle ne constitue pas nécessairement notre destination.

De la donnée à la décision

Finalement, disposer de beaucoup de données n'est peut-être que le commencement.

Il faut encore savoir les interroger sans chercher uniquement à confirmer ce que nous pensions déjà ; les nettoyer sans faire disparaître ce que nous ne comprenons pas ; les interpréter sans transformer trop rapidement une corrélation en causalité ; aller sur le terrain comprendre comment elles sont produites ; définir collectivement ce que nous voulons réellement mesurer ; puis utiliser ce que nous avons appris pour tenter d'anticiper.

La chaîne de valeur de la Data pourrait alors se résumer assez simplement :

Donnée → compréhension → interprétation → confrontation → définition → anticipation → décision.

Nos systèmes peuvent accumuler toujours plus d'informations.

Mais la quantité de données disponible ne nous garantit jamais la qualité de la décision qui en sortira.

Et avant d'investir dans la prochaine donnée qui nous manque, il serait peut-être utile de retourner voir celles que nous avons déjà.

Le rétroviseur est rempli de données ; ce n'est pas une raison pour conduire en le regardant.

-->