Etudes & Biais

  • RSS
  • Accueil
  • A propos
  • Lecture critique
  • Plainte vs EMA
  • Liens
  • Contact

Les méta-analyses ne seraient-elles pas réellement intéressantes quand elles sont non-valides en raison d’une hétérogénéité ?

Posted on 5 décembre 2014 by Alexis in Article No Comments
  • Home
  • Article
  • Les méta-analyses ne seraient-elles pas réellement intéressantes quand elles sont non-valides en raison d’une hétérogénéité ?

Les méta-analyses sont au sommet de la pyramide de l’EBM (Evidence Based Medicine). Juste au-dessous, il y a les essais cliniques randomisés, eux-mêmes au-dessus des études de cohortes, des études cas-témoins, des études de cas et des avis d’experts.

Les méta-analyses compilent l’information tirée d’essais cliniques présentant une caractéristique commune. Et c’est donc logique, a priori, de les considérer comme étant au-dessus de la mêlée puisqu’elles regroupent l’information disponible pour répondre à une question. En compilant, on espère augmenter la puissance de détection des différences et minimiser les éventuels biais en supposant qu’ils n’influent pas tous le résultat dans le même sens. C’est donc une sorte de consensus.

Les méta-analyses peuvent être réalisées en utilisant les données condensées/résumées des essais cliniques (telles que publiées – fréquences, pourcentages, odd-ratios…) ou les données individuelles. Comme il est très difficile d’obtenir ces dernières, la quasi-totalité des méta-analyses, en particulier celles de la Cochrane, sont établies à partir des données résumées des publications.

Récemment, sont apparues des « network meta-analysis » dont le but est de comparer plusieurs possibilités thérapeutiques et de permettre des comparaisons indirectes (par exemple A vs B et B vs C permettent de tirer une conclusion sur A vs C). La HAS a édité un rapport sur ces comparaisons indirectes en 2010 (http://www.has-sante.fr/portail/jcms/c_998793/fr/les-comparaisons-indirectes-methodes-et-validite).

Pierre Biron dans ses excellents alterdictionnaires cite une référence de John PA IOANNIDIS (META-RESEARCH : The Art of Getting it Wrong – Res. Syn. Meth. 2010, 1169-184). Son expérience des méta-analyses l’incite à être précautionneux. Il donne en exemple les méta-analyses sur l’utilisation des corticoïdes lors des méningites bactériennes : 11 méta-analyses aux avis très différents entre 1994 et 2010. Il propose donc une liste de raisons qui peuvent expliquer ces différences d’appréciation. Cette liste est recopiée ci-dessous. (On peut récupérer l’article en tapant cette recherche dans Google : IOANNIDIS The Art of Getting it Wrong filetype:pdf)

 

Table 1. Some reasons for discrepant meta-analyses on the same topic.

  • Different study questions
  • Different data sources
  • Different search strategies
  • Different timing (evolution/accumulation of evidence)
  • Different inclusion/exclusion criteria for study designs
  • Different inclusion/exclusion criteria for outcomes
  • Different inclusion/exclusion criteria for eligible populations
  • Different inclusion/exclusion criteria for settings, co-interventions, other features
  • Errors in the primary data
  • Errors in the data extraction
  • Different disambiguation and arbitration processes in study selection and data cleaning.
  • Differential retrieval of unpublished data
  • Different definitions of outcomes
  • Differential criteria for performing quantitative synthesis
  • Different models of statistical analysis
  • Differential use of subgroup analyses, meta-regressions, and other exploratory analyses
  • Differential selective reporting of meta-analysis results
  • Differential use and interpretation of heterogeneity metrics
  • Differential use and interpretation of bias tests
  • Differential qualitative interpretation of results
  • Inappropriate emphasis on seeming discrepancies that are not necessarily discrepancies (not beyond chance)

Bref, il est possible de faire varier les résultats des méta-analyses en utilisant diverses modalités ou règles pour leur réalisation. Parmi les différentes raisons, il y a bien sûr la sélection des études incluses, avec le bien connu « biais de publication ». Les études négatives sont moins souvent publiées que les études positives. Le funnel plot permet d’évaluer ce biais ; le choix des axes est discuté.

En plus de ces sources d’erreur, on peut appliquer l’adage suivant : garbage in – garbage out. Si les études sont biaisées, la méta-analyse, même parfaitement réalisée, sera biaisée.

Donc les méta-analyses apportent un consensus qui peut très bien être faux.

Comme dans tout consensus, il y a des avis divergents. Les diverses études compilées peuvent avoir abouti à des résultats diamétralement opposés. On parle d’hétérogénéité.

Les méta-analyses doivent proposer une analyse de l’hétérogénéité (ou de l’incohérence pour les network meta-analysis) afin d’évaluer si les essais sont concordants ou non. La technique en vogue est celle de l’I2 (Higgins) qui donne un pourcentage de 0% (homogène) à 100% (hétérogène). Mais l’intervalle de confiance de ce pourcentage est souvent très large (comme le dit encore Ioannidis). Les études sont peut-être assez souvent discordantes.

Tant mieux ! Car cette discordance entre les études est très intéressante ; elle peut permettre de retrouver les éléments qui favorisent telle ou telle issue d’un essai clinique (pas forcément un biais mais par exemple des méthodes d’évaluations ou des groupes de patients différents). Il faut alors se replonger dans ces études, en particulier, celles donnant sur le forest plot des résultats différents. Les network meta-analysis permettent aussi de comparer les résultats des comparaisons directes et indirectes. Une absence de « transitivité » peut aussi aider à cibler des sujets d’étonnement ! On pourrait presque conclure que les méta-analyses sont surtout intéressantes quand elles ne sont pas valables en raison d’une trop forte hétérogénéité !

Certains auteurs des méta-analyses essaient d’expliquer ces divergences mais seules les caractéristiques publiées peuvent être prises en compte. L’utilisation des données individuelles, qui permettrait d’analyser plus de critères pour évaluer les raisons de ces différences, n’est en pratique possible que si le sponsor des essais les donne et donc ne craint pas une éventuelle surprise.

Mais, compte tenu de leur image de « détentrice de la vérité » et leur impact potentiel sur les stratégies de soin, les méta-analyses intéressent beaucoup de monde. C’est plus facile à réaliser qu’un essai clinique et il est possible d’embellir le résultat.

Certaines méta-analyses sur des produits commercialisés sont réalisées très précocement après le lancement du produit sur les quelques essais du dossier d’AMM et les premières études de phase IV. Ça fait une publication positive de plus. Parfois, c’est la FDA qui fait la méta-analyse de deux essais pour valider un effet bénéfique survenu dans un seul des deux essais déposés, juste pour aider le produit !

Plus tardivement dans la vie du produit, les méta-analyses peuvent porter sur la tolérance et inclure des études réalisées par la concurrence. Mais une démonstration de faible efficacité ou de mauvaise tolérance peut rester bénéfique si le produit est proche de la « générication ». Elles permettront de faire de la place pour le prochain produit en facilitant, après les années de vente, la démonstration que le nouveau sera surement mieux.

Il faut donc toujours se demander si la méta-analyse arrange ou dérange quelqu’un (industrie pharmaceutique, société savante, auteur de la méta-analyse….) C’est une arme de promotion.

Une network meta-analysis qui a retenu toute mon attention est, bien sûr, celle sur les traitements de la sclérose en plaques (http://www.ncbi.nlm.nih.gov/pubmed/23744561). En 2013, soit 16 ou 18 ans après la mise sur le marché d’Avonex, la méta-analyse confirme donc ce que l’on pouvait savoir avant la mise sur le marché en analysant simplement le seul essai clinique du dossier d’AMM.

En considérant les méta-analyses comme étant le top des moyens d’évaluation des traitements, on accorde beaucoup de temps aux médicaments inefficaces pour faire leur beurre ! Ce serait plus efficace d’analyser les données individuelles et de les rendre publiques après anonymisation. Mais c’est peut-être trop efficace !

Les méta-analyses permettent parfois de répondre à une question non solutionnée par les essais cliniques ; par exemple, le sponsoring des essais par l’industrie pharmaceutique favorise-t-il l’issue positive de l’essai ou des événements indésirables rares sont-ils favorisés par le traitement ?

En conclusion : Ce n’est pas parce que les méta-analyses sont au top de la pyramide de l’Evidence Based Medicine qu’il faut les croire aveuglément ; comme les essais cliniques en somme. Là encore, les données individuelles permettraient d’augmenter fortement la connaissance des maladies et des traitements. Leur intérêt pour la recherche de biais est de permettre le ciblage des études divergentes. Ce sont ces divergences qui sont parfois vraiment intéressantes !

Retrouvez l’article de IOANNIDIS sur internet, il est très instructif.

 

Share
méta-analyses

Leave a Reply Cancel reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Search

Commentaires récents

  • Alexis dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • FRG dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • Daniel Pérez dans La vérole et le bar-tabac
  • Azaïs dans Je viens de télécharger les analyses de la FDA sur Tecfidera ®
  • Alexis dans Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

Articles récents

  • Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

    3 avril 2018
  • Deux ans sans publication mais pour la bonne cause

    13 mars 2018
  • Quand il y a un « trou » (dans les données), c’est qu’y a un loup ! (Martine et Alexis)

    19 juin 2015
  • J’adore supputer, ce sera donc un peu moins sérieux… quoi que…

    21 mai 2015
  • Deux autres petits trucs qui rendent les odds-ratios un peu « odd ».

    14 mai 2015
  • Bon la dompéridone on n’y croit pas trop…et qu’est ce qui la différencie du mediator ?

    1 mai 2015
  • La vérole et le bar-tabac

    19 avril 2015
  • Domperidone

    14 avril 2015
  • Propensity scores, ou comment transformer une étude de suivi en un essai randomisé.

    3 avril 2015
  • The Will Rogers phenomenon, et petite digression sur le dépistage

    9 février 2015
  • Tiens, la National Academy Press publie un document sur les données des essais cliniques

    5 février 2015
  • Le monitoring nouveau des essais cliniques est sorti. Bonne ou mauvaise nouvelle pour les fraudeurs (et pour ceux qui les recherchent) ?

    30 janvier 2015
  • Faire une étude sur cohorte positive, fastoche !

    27 janvier 2015
  • Fraude et essai clinique biaisé. La détection des fraudes permet-elle d’exclure les essais cliniques biaisés ?

    6 janvier 2015
  • Les méta-analyses ne seraient-elles pas réellement intéressantes quand elles sont non-valides en raison d’une hétérogénéité ?

    5 décembre 2014
  • Lecture critique (12) Analyse des essais cliniques randomisés en double aveugle destinés à mettre en évidence une supériorité: récapitulatif

    20 novembre 2014
  • Finalement, il ne s’est rien passé à l’EMA ce jeudi 2 octobre.

    7 octobre 2014
  • Si on commence à critiquer les avis de l’EMA …

    28 février 2014
  • Les courbes de survie

    18 février 2014
  • Réponse de l’EMA à mon mail du 20 Novembre 2013 … et ma réponse

    9 février 2014
  • 20 novembre 2013 – 21 janvier 2014 : nouvelle plainte contre l’EMA

    21 janvier 2014
  • La FDA, ses analyses sélectives et l’Alemtuzumab

    6 janvier 2014
  • NNT

    18 décembre 2013
  • Incidence et Prévalence

    13 décembre 2013
  • Risque de sclérose en plaques avec les vaccins (ou autre produit)

    27 novembre 2013
  • Suite des relations avec l’EMA

    20 novembre 2013
  • A la recherche du bon critère d’évaluation

    18 octobre 2013
  • Evénements indésirables rares et loi de Poisson (ou loi binomiale)

    11 octobre 2013
  • Policy 0070 on publication and access to clinical-trial data

    3 septembre 2013
  • Lecture critique (11) : biais ou risque de biais,

    30 août 2013
  • Ô temps, suspends ton vol ! … de données valides

    16 juillet 2013
  • Individual Patient Data (IPD) : une nécessaire mise à disposition de la communité scientifique

    11 juillet 2013
  • P…. d’effet placebo !

    2 juillet 2013
  • Règles CONSORT pour les essais tronqués

    27 juin 2013
  • Lecture critique (10) : Les analyses de sous-groupes

    26 juin 2013
  • Alltrials pour les biais de publication… et les autres biais?

    19 juin 2013
  • Lecture critique (9) : L’aveugle dans les essais cliniques.

    10 juin 2013
  • Analyse critique (8) : La cohérence externe

    5 juin 2013
  • Je viens de télécharger les analyses de la FDA sur Tecfidera ®

    18 mai 2013
  • La puissance

    12 mai 2013

(c) 2013 Etudes & Biais -