S’interroger sur l’effectivité des stratégies des organisations ?

1. Efficacité – Efficience – Effectivité ? Il est naturel de s’interroger si les ressources – au sens le plus large de ce terme - affectées à un programme d'action permettent d’atteindre les objectifs souhaités et répondent aux besoins préalablement identifiés. Référée aux idéaux de la mécanique, la notion d’efficience conduit à établir un rapport entre les ressources utilisées et les services produits visant ainsi à rechercher son optimalité. La rationalité causale consiste alors à choisir le moyen le plus efficace en termes de ressources (le moins cher, le plus rapide, …) pour atteindre un but donné. Le recours à des indicateurs quantifiables et souvent pensés comme étant « objectifs », est évidemment la première piste que les managers vont suivre pour tenter d’évaluer et/ou de contrôler les stratégies de leur organisation. Dans une gouvernance davantage basée sur des faits probants – i.e. l’approche « evidence based policy » - que sur les opinions et avis des parties prenantes, les indicateurs construits à cet effet sont susceptibles de fournir des informations nécessaires à la détermination d’objectifs stratégiques, au suivi des effets de ces stratégies et au final, d’informer les décideurs du niveau et de l’évolution d’un phénomène particulier. Les approches « evidence-based » cherchent à renouveler les démarches d’aide à la décision/action en proposant des méthodes offrant une alternative aux pensées stratégiques reposant trop exclusivement sur des opinions et s’exonérant – selon elles - de données « probantes » … à moins d’envisager dans une vision 2.0 impliquant la participation des acteurs, le paradoxe de la « sagesse des foules » qui avance que les meilleures décisions de groupe - émergeant en fait des désaccords et même des conflits - proviennent d'un grand nombre de décisions individuelles indépendantes. (James Surowiecki, 2005 cf. http://fr.wikipedia.org/wiki/La_Sagesse_des_foules).

Cette référence à la « politique des preuves » - aujourd'hui largement promue dans notre monde quantitativiste - nécessite de s’interroger sur le sens et la pertinence des propositions « statistiques » qui sont avancées pour rendre compte de l’effectivité des actions des organisations. L’effectivité concerne « ce qui est effectif, qui produit un effet  », i.e. « l’évaluation de la distance entre ce que l’on fait effectivement et ce que l’on voudrait faire » (Jean Louis Le Moigne, 1985 cf.http://www.mcxapc.org) et ne peut être évalué a priori par des indicateurs, sans s’interroger sur les intentions et les process de l’organisation. Par exemple, dans une vision non déterministe et émergente du management d’organisation dans des environnements très incertains, Sarasvathy (2001 cf. http://www.effectuation.org/research/papers) pense que le manager ne raisonne pas selon la logique de l’efficience mais qu’il applique une autre logique qu’il nomme « effectuale » qui consiste à partir des ressources dont il dispose et de rechercher les effets que ces moyens permettent d’atteindre. Un effet atteint devient alors un nouveau moyen, permettant d’atteindre de nouveaux effets, pouvant définir de nouveaux buts et ainsi de suite ... Cette réflexion est d’autant plus nécessaire que les indicateurs de la performance organisationnelle changent – si l’on y prend garde - très vite de statut et prennent la place des objectifs de l’organisation impactant le fonctionnement au quotidien. Trop souvent le diagnostic – l’évaluation aidante – devient un outil de contrôle, de comparaison, de management de proximité (cf. ce blog « Comment faire pire en croyant faire mieux ? »).

2. La mesure des effets : de la nécessité de différencier des preuves de causalité et des preuves d’effectivité ? « Toutes choses étant égales par ailleurs », un raisonnement causaliste et normatif s’attache à établir une relation de cause à effet entre deux événements particuliers : par exemple, deux pratiques distinctes d’intervention susceptibles d’avoir des effets différents et observables sur des indicateurs construits de manière ad hoc. Ces perspectives s’attachent à tester des savoirs d’actions et/ou des savoirs d’expérience en posant le postulat fort (trop à mon sens cf. suite) que l’on peut élaborer des  hypothèses rationnelles pour expliquer l’efficacité d’une intervention/action singulière. Il peut être utile de rappeler les éléments de base de tout plan d'expérience ou de protocole expérimental soit : – un ou différents objectifs bien définis et mesurables ; – un ensemble de conditions particulières dans lesquelles l'expérience doit être réalisée ; – un certain nombre de sujets expérimentaux répondant à des exigences quantitatives et qualitatives définies par rapport aux objectifs expérimentaux ; – un certain nombre d’action bien identifiées appliquées aux sujets expérimentaux ; - une validation des résultats à l’aide d’outils statistiques souvent puisés dans le registre de la statistique mathématique linéaire. Globalement les recherches académiques actuelles voulant tester les effets d’une variable manipulée s’organisent principalement autour de protocoles permettant : i) la manifestation statistique - dite signification statistique à p <. 05 ou <. 01 - de l’effet de la variable manipulée sur la performance organisationnelle (au sens large du terme) – mais des questions complémentaires importantes du point de vue « clinique »  - i.e. opérationnel - auprès d'individus réels, ne concerne pas ii) la puissance de l’effet i.e. apporte des « preuves d’efficacité » concernant l’action engagée pour produire le résultat souhaité vis-à-vis des indicateurs – iii) les impacts différentiels des effets de la variable manipulée. La notion clé est qu’il n’est pas suffisant de regarder un effet statistiquement significatif du « traitement induit par la variable manipulée » pour donner la preuve de son efficacité. Pour être satisfaisant, il faut que la mesure des résultats ait du sens et que les effets positifs du « traitement induit par la variable manipulée » soient assez grands pour que le traitement en vaille la peine (ce qui conduit - a contrario - à éliminer la possibilité que l’effet puisse être petit et donc sans intérêt en pratique ce qui permet de rejeter cette piste d'intervention ; c’est en soi un résultat !). La taille de l’effet ou l’importance de l’effet du « traitement induit par la variable manipulée » est une étape trop souvent négligée dans les études surtout lorsqu’elles veulent répondre à des stratégies d'optimisation. P. Baumard (2012 p 175 cf. une présentation dans ce blog) attire l’attention sur le fait que « la production d'une connaissance à coups de dispositifs expérimentaux, de simulations et d'instrumentations éloignées du réel se substitue à l'apprentissage. Non seulement, nous n'apprenons plus de nos échecs, mais nous créons collectivement les leurres qui nous éloignent du réel. »

Il est certes intéressant d’établir les preuves de causalité pour valider une élaboration théorique et de dire qu’une intervention/action donnée produit « une différence statistiquement significative » en regard des critères de jugement de l’étude. Mais lorsqu’il s’agit d’évaluer les effets d’une nouvelle intervention/action, les preuves d’efficacité jouent un rôle fondamental car les managers aimeraient surtout savoir de combien les possibilités d’amélioration seraient augmentées, comparativement au choix qui consiste à ne pas mettre en œuvre cette intervention/action. Il existe toujours la possibilité de comparer des « odds ratio » (cf. http://quanti.hypotheses.org/603) i.e. le rapport de chance relative d’échecs et/ou de réussite correspondant à la cote de l’événement versus absence de cet événement dans le groupe concerné divisée par la cote de ce même événement versus absence de cet événement dans le groupe contrôle mais cela nécessite, un groupe contrôle toujours difficile à construire en management où les situations contrôlées s’éloignent largement des conditions contextuelles usuelles. Cette question de la concurrence entre types de preuves est un débat important entre les « théoriciens » qui procèdent souvent d’une réduction méthodologique et les « praticiens » qui mobilisent des connaissances de sources diverses : il importe donc de discuter « l’habitude » de privilégier les preuves de causalité de niveau élevé au détriment des preuves d’effectivité pertinentes pour l’action envisagée. D’autant que cette manière de « faire science » est dépassée depuis longtemps par la science de référence en ce domaine qu’est la physique (http://www.automatesintelligents.com/biblionet/2006/sep/mms.html) et comme l’affirme Hervé Dumez, 2012 « le programme de réflexion qu’il – le positivisme - a amorcé, même si tout le monde sait (enfin, dans les cercles un peu renseignés) qu’il a échoué, a joué un rôle décisif dans la pensée de la science et continue de nourrir cette pensée par delà son échec » (cf. http://crg.polytechnique.fr/v2/aegis.html#libellio).

3. A travers un jeu d'indicateurs « simples » on pourrait laisser penser que l’on dispose d’un outil de pilotage stratégique par les nombres mais les auteurs de ces approches oublient leur complexité et leur évolution : le niveau de l’action n’est pas forcément stable et la focale de l’analyse doit être capable de suivre les évolutions (des « objets aux process » cf. S J. Schmidt texte ci contre - « chemin faisant » cf. texte ci-contre de N. Couix). Les principes expérimentaux perdent rapidement de leur pertinence quand les conditions de l'expérimentation sont susceptibles d'évoluer, dans l'espace ou dans le temps, ou quand le « matériel » expérimental présente lui-même une certaine variabilité. Les résultats expérimentalement obtenus restent ainsi localisés dans le temps et dans l'espace et ne sont pas plus légitimement généralisables – a priori - que ceux d'autres méthodes d'évaluation. Dans de nombreuses situations, les causalités sont trop intriquées pour qu’il soit possible de prédire l’efficacité d’une forme d’intervention vis-à-vis d’autres paramètres. Les demandes des managers concernent en général, des phénomènes aux causalités trop complexes pour permettre une réponse dans le registre des causes efficientes (cf. http://pfleurance.hautetfort.com/list/textes-de-philippe-fleurance/2620357225.pdf). 

La face cachée des indicateurs ? La dictature invisible des chiffres incite à s’interroger sur le sens de la quantification et de la mesure : que quantifions-nous ? (cf. Alain Desrosières, 2008 : Pour une sociologie historique de la quantification, tome 1 et Gouverner par les nombres, tome 2 et bien sur François Jullien, 2002, Traité de l'efficacité). Une distinction importante est à faire entre quantification et mesure : avant de chiffrer, on commence par classer et définir, ce qui conduit à retenir une acception plus riche de la « quantification » que de la « mesure ». La mesure « mesure » ce qui est déjà mesurable, alors que la quantification suppose la définition et la mise en œuvre de catégories, de « conventions d’équivalence socialement admises » préalables aux opérations de mesure. Que quantifions-nous donc ? Et pourquoi, avec quelles intentions ? La quantification, sous ses différents formats, crée une façon de penser, de représenter, d’exprimer les choses (cf. par exemple, les formes de restitution des données). En ne considérant et en ne travaillant que sur des tableaux et indicateurs chiffrés on ne traite plus alors que d’une abstraction réifiée et inerte. Souvent dans une vision réductionniste, la « quantophrénie » (tendance à utiliser de façon excessive les statistiques dans les sciences humaines et sociales) transforme le travail sur les objets à quantifier en une recherche de virtuosité méthodologique stérile et vide de sens (cf. par exemple, le découpage des référentiels d’évaluation en de nombreux items …qu’il faudra cependant agréger par la suite !) s’appuyant sur une présentation pour le moins « naïve » de catégories dites discriminantes et de succession de chiffres sensés les documenter (cf la réflexion de la cour des comptes p 104 et suivantes - document ci-contre).

4. Efficace par rapport à quoi ? Vers des mesures intrinsèques de la complexité d’un système d’action. Nous envisageons les phénomènes que nous notons sous le terme de « performances organisationnelles » comme des émergences singulières dans des écosystèmes qui ne s’appréhendent pas avec les outils précédents. Pour autant, la question de l’évaluation de l’effectivité des actions organisationnelles ne peut être évacuée. En référence explicite avec les approches de la psychologie écologique (J.J. Gibson, 1977 – W. H Warren, 1984 - E.S. Reed, 1996) inscrites dans une logique de couplage acteur-environnement, on argumente le fait que l’on perçoit les propriétés de l’environnement selon une échelle intrinsèque qui nous est propre. Celles-ci pouvant être anthropométriques - selon notre taille, selon la hauteur et la largeur au niveau des épaules, par exemple - énergétiques, ou cinétiques et non selon des valeurs extérieures à nos possibilités d’action, telles que des métriques objectives (i.e. hauteur de la marche en soi pour l’étude de Warren i.e. en dehors de nos systèmes corporels singuliers permettant notre action). En fait, les dimensions du corps font office de métrique exprimée par un indice d’affordance Pi = Caractéristique _{environnement} / Caractéristique _humaine. Ce ratio s’exprime par un nombre sans unité i.e. un rapport entre i) une propriété de l’environnement à définir de manière pertinente parce que l’on pense qu’elle est impliquée dans l’efficience du système et ii) une propriété de ce système. Le système s’auto - organisant s’équilibre dans un mode d’action le plus approprié résultant de ces propres propriétés et des contraintes environnementales (cf. http://www.colby.edu/psychology/ps272sp09/Warren_1995.pdf). Warren (1984) a ainsi proposé d’avoir recours à la méthode de l’analyse dimensionnelle et de la mesure intrinsèque, qui consiste à utiliser une partie du système étudié comme métrique pour caractériser une de ses autres parties, par opposition à une mesure extrinsèque qui mobilise des unités étrangères au système - typiquement des unités comme le mètre (Cf. http://fr.wikipedia.org/wiki/Nombre_sans_dimension)

Nous proposons de reprendre cette méthode pour traiter de l’effectivité des actions des organisations. Au lieu de travailler seulement sur des données extrinsèques i.e. des métriques objectives telles qu’évoquées dans la partie précédente, il s’agit de réfléchir à travailler sur des données mettant en avant des rapports Pi pertinents. Par exemple, en reprenant l’indice « Préparation Olympique » qui consiste à attribuer des points aux fédérations selon la place que leurs athlètes atteignent dans les compétitions de référence, il est possible de traduire une part d’effectivité d’une organisation à l’aide d’indices de ce type soit : X1 le nombre de points obtenus par une fédération/discipline/équipe/pays aux Jeux Olympiques et X2 le même indice « Préparation Olympique » sur l’ensemble des compétitions de référence sur une saison. Le rapport X1/X2 traduit l’effectivité du collectif, du pays dans une mesure qui n’a certes aucune référence particulière mais qui va traduire le taux d’actualisation du potentiel sportif de l’équipe, du pays en contexte compétitif. Ce raisonnement consistant à utiliser une partie du système étudié comme métrique pour caractériser une de ses autres parties peut être utilisé pour d’autres paramètres liés aux stratégies des organisations. Un exemple issu de « Tableaux de l’Economie Française » Édition 2012 (p 10) nous montre la pertinence de ce type de ratio. L’un des indicateurs les plus utilisés pour illustrer la capacité d’une société à prendre en charge les personnes âgées est le ratio de dépendance, soit : nombre de personnes de 15 à 64 ans/ nombre de personnes 65 ans ou plus. Ainsi si en 1950, il y avait douze personnes âgées de 15 à 64 ans/1 personne âgée de 65 ans ou plus dans le monde – En 2010, il y a moins de cinq personnes âgées de 15 à 64/1 personne âgée de 65 ans ou plus.