dimanche 24 janvier 2010

Qu'est-ce que le biais de publication et comment le mesure-t-on ?

Imaginons que je laisse un peu mes recherches actuelles de côté pour me lancer dans une nouvelle étude sur l'influence du progrès technique sur la croissance. Et là, admettons que j'arrive à la conclusion que le progrès technique n'a aucun impact sur la croissance. Il s'agirait d'un résultat en contradiction totale avec toute la littérature économique sur le sujet. Lorsque je vais soumettre mon article pour publication, on aura tôt fait de regarder mes recherches avec suspicion. On attribuera mon résultat plutôt à une erreur méthodologique ou un manque de rigueur qu'à une découverte révolutionnaire. Bref, mon article aura très peu de chance d'être publié car il ira à l'encontre du consensus actuel au sein des économistes.

Le biais de publication

Ceci est un exemple de ce qu'on appelle le biais de publication. Il s'agit du fait que la probabilité pour une étude d'être publiée dépend des résultats de cette étude. C'est un phénomène extrêmement problématique. Imaginez par exemple pour un médicament donné, que seules les études concluant à une efficacité de ce médicament soient publiées tandis que toutes les études qui aboutissent à la conclusion inverse ne sont pas publiées. Un chercheur qui regarderait l'ensemble des études publiées pour juger de l'efficacité de ce médicament risque d'avoir une vision extrêmement biaisée et peut croire à tort que le médicament est efficace.

Le biais de publication peut avoir de nombreuses sources. D'une part, les éditeurs chargés de décider quelles études publier peuvent sélectionner lesdites études en fonction des conclusions de celles-ci (laissant agir ainsi les biais idéologiques dont ils peuvent être victimes). D'autre part, les chercheurs eux-mêmes peuvent s'auto-censurer : "Hein ? J'aboutis à ça ??? Non, j'ai dû me planter quelque part. Recommençons."

Peut-on détecter un biais de publication ? C'est difficile, mais c'est possible comme l'ont montré Card et Krueger à propos du salaire minimum. Ces deux chercheurs ont découvert que les études qui montraient que le salaire minimum a un impact négatif sur l'emploi (et donc qui sont cohérentes avec la théorie dominante) ont plus de chances d'être publiées que celles qui aboutissent à la conclusion contraire. Comment ont-ils fait ?

On rentre dans une discussion un peu technique. Je vais essayer de rester clair et compréhensible.

Un peu de théorie des tests : précision des estimations et risque de se tromper

Imaginons que le salaire minimum n'ait pas d'impact sur l'emploi. Le chercheur qui mène l'étude ne le sait pas. Il fait une estimation de l'effet du salaire minimum sur l'emploi. Même si cet effet est nul, il ne tombera jamais sur un chiffre de zéro pile poil. Les aléas inhérents à la méthode statistique font qu'on va tomber sur un chiffre faible, mais différent de zéro, par exemple 0,1. Comment savoir alors si l'impact du salaire minimum sur l'emploi est réellement nul ou différent de zéro ?

Le chercheur va calculer la précision de son estimateur. Il va ensuite utiliser des outils statistiques pour savoir si, étant donnée la précision de son estimateur, il est plausible de tomber sur un chiffre de 0,1 lorsque le vrai chiffre est zéro. Si effectivement c'est plausible, on dit que le chercheur ne peut pas rejetter l'hypothèse selon laquelle le salaire minimum n'a pas d'impact sur l'emploi. Le résultat est dit "statistiquement non significatif".

En revanche, dans le cas contraire, on dit que le chercheur rejette l'hypothèse selon laquelle le salaire minimum n'a pas d'impact sur l'emploi. Dans ce cas (et dans ce cas seulement), le chercheur peut calculer sa probabilité de se tromper (par exemple 5%). Généralement, on considère qu'il faut au moins une probabilité de se tromper inférieure à 10% pour que l'effet soit "statistiquement significatif" (pour ceux qui connaissent, c'est la p-valeur du test de student).

Utiliser la "probabilité de se tromper" pour détecter un biais de publication

De quoi dépend cette "probabilité de se tromper" ? Elle découle directement de la taille de l'échantillon. Plus l'échantillon est grand, plus la probabilité de trouver un effet statistiquement significatif à tort est faible.

Donc, lorsqu'un grand nombre de chercheurs étudient la question, ceux qui utilisent des échantillons plus grands doivent avoir une probabilité de se tromper moindre. Sauf s'il existe un biais de publication !

Admettons encore une fois que le salaire minimum n'ait pas d'impact sur l'emploi. Si les chercheurs qui aboutissent à cette conclusion ne parviennent pas à publier (ou refusent de publier) parce que la théorie dominante dit que le salaire minimum a un impact sur l'emploi, alors les seules estimations dont nous disposerons seront celles de chercheurs qui ont trouvé un effet statistiquement significatif. Etant donné que ceux-ci se sont trompés, ils devaient avoir une probabilité de se tromper à la limite de ce qui est acceptable (par exemple 10%) et ce, peu importe la taille de l'échantillon.

C'est exactement ce que trouvent Card et Krueger à propos du salaire minimum. Les chercheurs ont beau trouver relativement souvent un effet négatif du salaire minimum sur l'emploi, la probabilité de se tromper ne décroît pas avec la taille de l'échantillon (au contraire, elle augmente). Donc, concluent Card et Krueger, la recherche sur le salaire minimum est contaminée par un biais de publication. Les études aboutissant à la conclusion que le salaire minimum n'a pas d'effet négatif sur l'emploi sont plus rarement publiées.


Néanmoins, n'allez pas conclure du coup que le salaire minimum n'a pas d'impact sur l'emploi. Le débat fait encore rage entre les économistes. J'essaie de faire une petite synthèse mais il est assez difficile d'y voir clair. Pour le cas de la France, j'ai tendance à me référer à l'étude d'Abowd Kramarz et Margolis qui affirme que le salaire minimum a atteint et dépassé le seuil à partir duquel il comment à avoir un effet néfaste sur l'emploi. Quoi qu'il arrive, restons prudents dans nos affirmations.

ref :

Time-Series Minimum-Wage Studies: A Meta-analysis
David Card; Alan B. Krueger
The American Economic Review, Vol. 85, No. 2, Papers and Proceedings of the Hundredth and
Seventh Annual Meeting of the American Economic Association Washington, DC, January 6-8,
1995. (May, 1995), pp. 238-243.


2 commentaires:

  1. "Imaginons que je laisse un peu mes recherches actuelles de côté pour me lancer dans une nouvelle étude sur l'influence du progrès technique sur la croissance. Et là, admettons que j'arrive à la conclusion que le progrès technique n'a aucun impact sur la croissance". Vous prendrez directement la direction de Stockholm (Suède)...vous êtes sans hésitation prix Nobel d'économie 2011. Bon c'était pour mettre un peu d'ambiance.

    Plus sérieusement, cette étude est intéressante. Grâce à votre post, j'ai appris. C'est clair.

    Peut-on ranger ce qui est arrivé à Akerloff dans the lemons ou à l'un des économistes les plus (celui qui a travaillé sur le monde virturel. J'ai perdu son nom. Castr...Je veux chercher) dans le registre de biais de sélection ?

    RépondreSupprimer
  2. Il faut tout de même noter que le biais de publication n'est pas la seul cause d'asymétrie quand on fait une meta analyse (cf http://ssrn.com/abstract=1536436 )

    RépondreSupprimer

Remarque : Seul un membre de ce blog est autorisé à enregistrer un commentaire.