« Quand vous lisez un article savant, il y a une chance sur deux pour qu’il ne soit pas digne de confiance ! » Michel Husson

10 novembre par Michel Husson

(CC - Pixabay)

Dans la postface à l’édition de poche de leur brûlot, Pierre Cahuc et André Zylberberg persistent et signent en qualifiant de « recettes négationnistes » l’augmentation du Smic ou la réduction du temps de travail. Les économistes hétérodoxes qui proposent de telles mesures seraient selon eux assimilables aux climato-sceptiques qui sont « effectivement des négationnistes climatiques ». Et, « comme les climato-sceptiques en leur temps, les économistes “hétérodoxes” exercent une influence disproportionnée ». Mais il se trouve que les études « orthodoxes » auxquelles se réfèrent Cahuc et Zylberberg ne passent pas très bien l’épreuve de la « réplication » (la possibilité de reproduire leurs résultats).

Premiers doutes

L’exemple le plus fameux est l’article de Carmen M. Reinhart et Kenneth S. Rogoff (« Growth in a Time of Debt ») démontrant qu’une dette Dette Dette multilatérale : Dette qui est due à la Banque mondiale, au FMI, aux banques de développement régionales comme la Banque Africaine de Développement, et à d’autres institutions multilatérales comme le Fonds Européen de Développement.
Dette privée : Emprunts contractés par des emprunteurs privés quel que soit le prêteur.
Dette publique : Ensemble des emprunts contractés par des emprunteurs publics.
publique dépassant 90 % du produit intérieur brut PIB
Produit intérieur brut
Le PIB traduit la richesse totale produite sur un territoire donné, estimée par la somme des valeurs ajoutées.
Le Produit intérieur brut est un agrégat économique qui mesure la production totale sur un territoire donné, estimée par la somme des valeurs ajoutées. Cette mesure est notoirement incomplète ; elle ne tient pas compte, par exemple, de toutes les activités qui ne font pas l’objet d’un échange marchand. On appelle croissance économique la variation du PIB d’une période à l’autre.
(PIB) conduit inéluctablement à une division par deux de la croissance. On connaît l’histoire : un étudiant de l’université du Massachusetts, Thomas Herndon, obtient de Carmen Reinhart le fichier Excel correspondant à l’étude et cherche à reproduire ses résultats. Il découvre alors toute une série de manipulations qui ne se limitent pas à une « erreur de codage ». Avec deux de ses professeurs qu’il a réussi à convaincre, il publie un article réfutant les résultats de Reinhart et Rogoff.

L’étude démontrant qu’une dette publique dépassant 90 % du PIB conduit inéluctablement à une division par deux de la croissance était truffée d’erreurs

Pour L. Randall Wray, un professeur à l’université de Missouri-Kansas City, la théorie de Reinhart et Rogoff est fondamentalement « bancale » (unsound) et Carmen Reinhart est « désemparée » (clueless) quand il s’agit de la défendre. Quant à Rogoff, il est incapable d’expliquer ce qu’est un credit default swap CDS
Credit Default Swap
Le CDS est un produit financier dérivé qui n’est soumis à aucun contrôle public. Il a été créé par la banque JPMorgan dans la première moitié des années 1990 en pleine période de déréglementation. Le Credit Default Swap signifie littéralement “permutation de l’impayé”. Normalement, il devrait permettre au détenteur d’une créance de se faire indemniser par le vendeur du CDS au cas où l’émetteur d’une obligation (l’emprunteur) fait défaut, que ce soit un pouvoir public ou une entreprise privée. Le conditionnel est de rigueur pour deux raisons principales. Premièrement, l’acheteur peut utiliser un CDS pour se protéger d’un risque de non remboursement d’une obligation qu’il n’a pas. Cela revient à prendre une assurance contre le risque d’incendie de la maison d’un voisin en espérant que celle-ci parte en flammes afin de pouvoir toucher la prime. Deuxièmement, les vendeurs de CDS n’ont pas réuni préalablement des moyens financiers suffisants pour indemniser les sociétés affectées par le non remboursement de dettes. En cas de faillite en chaîne d’entreprises privées ayant émis des obligations ou du non remboursement de la part d’un Etat débiteur important, il est très probable que les vendeurs de CDS seront dans l’incapacité de procéder aux indemnisations qu’ils ont promises. Le désastre de la compagnie nord-américaine d’assurance AIG en août 2008, la plus grosse société d’assurance internationale (nationalisée par le président George W. Bush afin d’éviter qu’elle ne s’effondre) et la faillite de Lehman Brothers en septembre 2008 sont directement liés au marché des CDS. AIG et Lehman s’étaient fortement développées dans ce secteur.

Le CDS donne l’illusion à la banque qui en achète qu’elle est protégée contre des risques ce qui l’encourage à réaliser des actions de plus en plus aventureuses. De plus, le CDS est un outil de spéculation. Par exemple en 2010-2011, des banques et d’autres sociétés financières ont acheté des CDS pour se protéger du risque d’une suspension de paiement de la dette qui aurait pu être décrétée par la Grèce. Elles souhaitaient que la Grèce fasse effectivement défaut afin d’être indemnisées. Qu’elles soient ou non en possession de titres grecs, les banques et les sociétés financières détentrices de CDS sur la dette grecque avaient intérêt à ce que la crise s’aggrave. Des banques allemandes et françaises (les banques de ces pays étaient les principales détentrices de titres grecs en 2010-2011) revendaient des titres grecs (ce qui alimentait un climat de méfiance à l’égard de la Grèce) tout en achetant des CDS en espérant pouvoir être indemnisées au cas de défaut grec.1

Le 1er novembre 2012, les autorités de l’Union européenne ont fini par interdire la vente ou l’achat de CDS concernant des dettes des États de l’UE qui ne sont pas en possession du candidat acheteur du CDS.2 Mais cette interdiction ne concerne qu’une fraction minime du marché des CDS (le segment des CDS sur les dettes souveraines*) : environ 5 à 7 %. Il faut également noter que cette mesure limitée mais importante (c’est d’ailleurs à peu près la seule mesure sérieuse qui soit entrée en vigueur depuis l’éclatement de la crise) a entraîné une réduction très importante du volume des ventes des CDS concernés, preuve que ce marché est tout à fait spéculatif.

Enfin, rappelons que le marché des CDS est dominé par une quinzaine de grandes banques internationales. Les hedge funds et les autres acteurs des marchés financiers n’y jouent qu’un rôle marginal. D’ailleurs la Commission européenne a menacé en juillet 2013 de poursuivre 13 grandes banques internationales pour collusion afin de maintenir leur domination sur le marché de gré à gré* (OTC) des CDS.3
, comme le montre cette courte et hilarante séquence extraite du film de Michael Moore de 2009, Capitalism : A Love Story où Rogoff reconnaît que tout cela est « assez exotique » (pretty exotic). Wray en conclut que cette recherche est de la m... (crap).


De la « réplicabilité »

Le point de départ de réplicabilité en économie pourrait être un article de Walter S. McManus paru en 1985 dans le Journal of Political Economy, dans sa rubrique « Confirmations and Contradictions ». L’article est assez fascinant et provocateur. Il cherche à montrer comment un chercheur va privilégier certaines variables explicatives en fonction de ses présupposés théoriques ou idéologiques. McManus construit cinq catégories de chercheurs qui traitent de cette question : la peine de mort est-elle dissuasive ? Ils disposent des mêmes données empiriques sur le nombre d’exécutions, les durées d’incarcération, etc. Le résultat de sa simulation est frappant. Comme les données ne sont pas suffisantes pour trancher, les chercheurs vont choisir les spécifications en fonction de leurs inclinations et leurs résultats seront divergents : « Les chercheurs “de droite”, les “maximisateurs rationnels” et les partisans du “œil pour œil, dent pour dent” trouveront que le châtiment dissuade les meurtriers potentiels, tandis que les “compatissants” et les spécialistes des crimes passionnels affirmeront qu’il n’y a pas d’effet dissuasif significatif. »

Quand on refait les études empiriques des économistes, on ne retrouve le même résultat qu’une fois sur deux !

Curieusement, alors qu’elles donnent des résultats incertains, les données empiriques de cet article vont être reprises à titre d’exemple numérique par Gangadharrao Soundalyarao Maddala dans sa classique Introduction to econometrics. Et cette chaîne bizarre continue avec un article de 2004, où Houston Stokes, un autre geek de l’économétrie, cherche à reproduire cet exemple numérique, sans y parvenir. Le problème est ensuite repris par McCullough et Vinod, qui concluent que si un économétricien aussi expérimenté que Maddala peut se tromper sur la méthode « alors tous les économistes feraient bien de se méfier ». Ces deux économistes, qui suivent la politique de réplication initiée par l’American Economic Review, déplorent la réticence de nombreux auteurs et revues à fournir leurs données sous une forme utilisable.

Dans la foulée de ces travaux, les études de réplicabilité se sont multipliées et il existe même un site, The Replication Network, qui les répertorie. Parmi les contributions récentes, celle d’Andrew C. Chang and Phillip Li a eu un certain écho. Ces deux économistes qui travaillent auprès du Board of Governors of the Federal Reserve System ont pris le taureau par les cornes. A la question de savoir si la recherche économique est reproductible (replicable), leur réponse est sans appel : « non, en général » (usually not). Ils n’ont en effet réussi à reproduire les résultats que sur la moitié de leur échantillon (29 articles sur 59) et ils affirment donc que « la recherche économique n’est généralement pas reproductible ». Un sacré coup porté à la « scientificité » des méthodes employées.

Les « revues académiques », qui sont pour Cahuc et Zylberberg l’alpha et l’oméga, ont donc bon dos : elles ont publié des articles qui ne respectent pas ce critère essentiel de scientificité que représente la reproductibilité. Le filtre de l’examen par des pairs – qui manifestement n’ont pas fait leur travail – est en pratique une véritable passoire : quand vous lisez un article savant, il y a une chance pour deux pour qu’il ne soit pas digne de confiance !


Du côté des climato-sceptiques

Les choses sont très différentes pour la « science naturelle » qui travaille sur l’environnement : les truqueurs y sont impitoyablement débusqués. On ne résiste pas à la tentation de revenir sur ce sommet qu’a constitué le livre de Claude Allègre, L’imposture climatique, avec en particulier un graphique où il avait corrigé à la main la courbe de la température pour montrer qu’elle ne suivait plus celle des émissions de CO2 ! Cette « contribution » a été rapidement déconstruite notamment par Sylvestre Huet, le chroniqueur scientifique de Libération.

Une fois les erreurs corrigées les 3 % d’études climato-sceptiques donnent les résultats du consensus

Un recensementdes publications portant sur le climat montre que seulement 3 % d’entre elles refusent les principales conclusions du Giec. Un groupe de chercheurs a récemment sélectionné un échantillon de ces études climato-sceptiques et cherché à en reproduire les résultats. L’une des membres de ce groupe, Katharine Hayhoe, résume ainsi leur constat : « Toutes ces études contenaient une erreur – dans leurs hypothèses, leur méthodologie ou leur analyse – qui, une fois corrigée, restituait des résultats conformes au consensus scientifique. »

Plus précisément, les conclusions de l’étude pointent : « l’élimination des informations qui ne correspondent pas aux conclusions (cherry picking) (...) des résultats qui ne sont pas universellement valables, mais sont plutôt un artefact produit par un dispositif particulier (...) de fausses dichotomies, des méthodes statistiques inappropriées ou des conclusions fondées sur une physique erronée ou incomplète. » La coupe est pleine !

Un autre des auteurs, Dana Nuccitelli, insiste sur la méthode de lissage des courbes (curve fitting) qui consiste à étirer des variables jusqu’à ce qu’elles s’ajustent à la courbe de la température. Il vise particulièrement un article de Ole Humlum et alii à propos duquel il cite cet aphorisme attribué à John von Neumann : « Avec quatre paramètres, je peux dessiner un éléphant, et avec cinq, je peux le faire gigoter. »


Pourquoi un Giec économique n’est pas possible

Le démontage des études plus ou moins bidonnées ne suffit évidemment pas, car le discours des « sceptiques » se propage par d’autres voies que celles du débat scientifique

Le démontage des études plus ou moins bidonnées ne suffit évidemment pas, car le discours des « sceptiques » se propage par d’autres voies que celles du débat scientifique. Mais l’assimilation des « hétérodoxes » aux « climato-sceptiques » que Cahuc et Zylberberg n’hésitent pas à suggérer pose une autre question : pourquoi le consensus à 97 % qui existe sur le climat n’est-il pas possible en économie ?

La réponse de fond est que l’économie est une science sociale et que le champ de la recherche économique n’est pas structuré comme peut l’être le Giec, qui est un remarquable exemple de coopération scientifique. Cette différence est brouillée par la volonté des économistes de singer les sciences « dures ». Leur importation non maîtrisée des méthodes quantitatives fait que les véritables problématiques économiques ne sont très souvent que prétexte à de purs exercices de virtuosité économétrique. Beaucoup de ces études n’ont aucun intérêt et ne sont pas forcément « réplicables » : ce sont elles dont on gagnerait peut-être à se « débarrasser ».


Auteur.e

Michel Husson

statisticien et économiste français travaillant à l’Institut de recherches économiques et sociales, membre de la Commission d’audit pour la vérité sur la dette grecque depuis 2015. http://hussonet.free.fr/fiscali.htm


Autres articles en français de Michel Husson (33)

0 | 10 | 20 | 30