Etudes & Biais

  • RSS
  • Accueil
  • A propos
  • Lecture critique
  • Plainte vs EMA
  • Liens
  • Contact

Analyse critique (8) : La cohérence externe

Posted on 5 juin 2013 by Alexis in Article, Lecture critique No Comments
  • Home
  • Article
  • Analyse critique (8) : La cohérence externe

Les publications sur l’analyse critique des essais cliniques mentionnent dans la quasi-totalité des cas l’analyse de la cohérence externe des études (exemple ici ). Cette analyse a pour objectif de vérifier que les résultats obtenus sont concordants avec ceux déjà disponibles.

S’il existe d’autres études sur le même produit avec les mêmes types de patients, le même comparateur et le même critère d’évaluation, il est facile de comparer les résultats.

Le plus souvent, quelqu’un a déjà fait le travail : une méta-analyse avec vérification de l’absence d’hétérogénéité et funnel plot pour rechercher/suspecter l’existence d’un biais de publication. Le risque de biais pour ces méta-analyses est en effet principalement le biais de publication. Si seules les études positives sont publiées, la méta-analyse sur ces études sera positive ! Retarder la publication des études négatives ou les publier dans des revues non anglophones aura le même impact sur le résultat des méta-analyses. Les méta-analyses peuvent aussi être « positivées » par les petites études : les petites études sont plus facilement publiées si elles sont positives et leurs résultats sur des patients « sélectionnés »peuvent être plus facilement positifs ; enfin il peut s’agir d’essais tronqués. Les essais en ouvert sont aussi plus souvent positifs que ceux en double aveugle même si cela dépend des critères d’évaluation. L’exclusion de patients des analyses au sein de chaque étude peut aussi impacter les méta-analyses (puisque cela impacte les résultats de l’étude).

Donc les méta-analyses d’essais cliniques méritent une analyse critique propre mais aussi des essais cliniques inclus car comme disent les informaticiens anglais : garbage in, garbage out.

Il faut néanmoins rendre hommage à ceux qui réalisent ces méta-analyses car c’est un énorme travail. En plus, elles peuvent permettre de définir des critères de bonne réponse au traitement (si les données individuelles sont disponibles) ou des facteurs corrélés aux résultats des études.

Enfin, on peut tenter une comparaison indirecte des produits. De grands noms de l’analyse critique des essais cliniques ont proposé de réaliser des analyses indirectes de comparaison de deux produits à partir des essais comparant les 2 produits à un troisième. Certes, cela marche mieux quand il y a beaucoup d’essais. C’est toujours mieux que rien.

 

Si les études sont les premières à être publiées, c’est un peu plus difficile mais il ne faut pas désespérer ; on peut toujours trouver des informations intéressantes pour mieux appréhender l’efficacité des produits et la validité des essais.

Pour être approuvé, un produit doit normalement fournir deux essais cliniques de phase III. Les essais cliniques de phase II pouvant porter sur un critère d’évaluation différent de celui utilisé dans les phases III (marqueur de l’évolution de la maladie par exemple), on peut donc n’avoir à disposition que deux études, utilisant éventuellement deux comparateurs différents, voire des critères d’évaluation différents, voire encore un suivi différent ou des patients différents.

Si le produit est approuvé dans une indication bénéficiant déjà de traitements disponibles.

Même si les deux études sont contre placebo (et qu’il n’existe donc pas de comparaison directe avec les traitements disponibles), il est possible de faire quelques vérifications d’usage.

On peut comparer l’évolution des groupes placebo des différentes études afin d’évaluer la comparabilité des études. Si des différences sont observées, on peut tenter d’évaluer si elles sont liées à des critères d’inclusion différents, en les comparant éventuellement avec des études épidémiologiques pour positionner les essais selon le profil des patients inclus (stade de la maladie et sévérité évolutive). Au fil du temps, les populations incluses dans les essais peuvent varier. On peut aussi comparer certaines caractéristiques initiales des patients à leur évolution dans les groupes placebos ; par exemple la fréquence des poussées dans la sclérose en plaques.

Si une des études est contre un des traitements précédemment approuvé, on peut faire les mêmes analyses que précédemment. L’idéal serait d’avoir des études contre placebo et produit de référence mais ces études sont assez risquées pour le demandeur d’AMM car il faut qu’il soit sûr de la supériorité de son produit et qu’il ose faire des investissements très conséquents, ces études nécessitant beaucoup plus de patients.

Ces analyses permettent parfois de suspecter les positionnements futurs des produits, les points forts qui seront mis en exergue et les points faibles qui seront plus ou moins masqués.

Bien sûr, si on disposait des données individuelles, des analyses plus poussées seraient possibles.

Si le produit est le premier à être approuvé dans l’indication, la cohérence externe perd de son intérêt… sauf vis-à-vis des études épidémiologiques réalisées dans l’indication ou sur la pathologie.

Les patients des groupes placebo peut alors être comparés aux patients suivis dans des études épidémiologiques, tant pour leur évolution que pour leurs caractéristiques initiales.  Il est aussi possible que des études négatives aient déjà été publiées (d’où l’importance de publier tous les essais même s’ils sont négatifs). Il peut alors être intéressant de vérifier que la positivité des essais n’est pas (trop) favorisée  par des caractéristiques des essais plus judicieusement choisies que lors des essais négatifs précédents.

 

Enfin, l’analyse de la cohérence externe doit être réalisée dans les deux sens. La dernière étude publiée doit être validée à la vue des études antérieures et les études antérieures doivent être analysées à la vue de la nouvelle étude. Si une étude comparant deux produits est publiée, il faut revenir aux études initiales, souvent réalisées contre placebo, et s’assurer qu’une éventuelle supériorité d’un produit sur l’autre confirme une comparaison indirecte des études initiales. Cette comparaison indirecte de deux essais est souvent décriée et dans les faits, on en tire rarement de conclusions formelles (c’est cependant le principe de base de toutes les revues publiées !). Néanmoins, il est des cas où la comparaison des études initiales (A versus placebo et B versus placebo) et des études comparatives (A versus B) permet de suspecter un problème de validité des études initiales. Dans le cas qui m’intéresse particulièrement, pour les 3 interférons béta, les études contre placebo montraient une efficacité supérieure d’un des 3 produits ; ce produit s’est révélé ultérieurement inférieur aux deux autres dans deux études comparatives. On peut se poser des questions … ou pas.

Share

Leave a Reply Cancel reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Search

Commentaires récents

  • Alexis dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • FRG dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • Daniel Pérez dans La vérole et le bar-tabac
  • Azaïs dans Je viens de télécharger les analyses de la FDA sur Tecfidera ®
  • Alexis dans Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

Articles récents

  • Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

    3 avril 2018
  • Deux ans sans publication mais pour la bonne cause

    13 mars 2018
  • Quand il y a un « trou » (dans les données), c’est qu’y a un loup ! (Martine et Alexis)

    19 juin 2015
  • J’adore supputer, ce sera donc un peu moins sérieux… quoi que…

    21 mai 2015
  • Deux autres petits trucs qui rendent les odds-ratios un peu « odd ».

    14 mai 2015
  • Bon la dompéridone on n’y croit pas trop…et qu’est ce qui la différencie du mediator ?

    1 mai 2015
  • La vérole et le bar-tabac

    19 avril 2015
  • Domperidone

    14 avril 2015
  • Propensity scores, ou comment transformer une étude de suivi en un essai randomisé.

    3 avril 2015
  • The Will Rogers phenomenon, et petite digression sur le dépistage

    9 février 2015
  • Tiens, la National Academy Press publie un document sur les données des essais cliniques

    5 février 2015
  • Le monitoring nouveau des essais cliniques est sorti. Bonne ou mauvaise nouvelle pour les fraudeurs (et pour ceux qui les recherchent) ?

    30 janvier 2015
  • Faire une étude sur cohorte positive, fastoche !

    27 janvier 2015
  • Fraude et essai clinique biaisé. La détection des fraudes permet-elle d’exclure les essais cliniques biaisés ?

    6 janvier 2015
  • Les méta-analyses ne seraient-elles pas réellement intéressantes quand elles sont non-valides en raison d’une hétérogénéité ?

    5 décembre 2014
  • Lecture critique (12) Analyse des essais cliniques randomisés en double aveugle destinés à mettre en évidence une supériorité: récapitulatif

    20 novembre 2014
  • Finalement, il ne s’est rien passé à l’EMA ce jeudi 2 octobre.

    7 octobre 2014
  • Si on commence à critiquer les avis de l’EMA …

    28 février 2014
  • Les courbes de survie

    18 février 2014
  • Réponse de l’EMA à mon mail du 20 Novembre 2013 … et ma réponse

    9 février 2014
  • 20 novembre 2013 – 21 janvier 2014 : nouvelle plainte contre l’EMA

    21 janvier 2014
  • La FDA, ses analyses sélectives et l’Alemtuzumab

    6 janvier 2014
  • NNT

    18 décembre 2013
  • Incidence et Prévalence

    13 décembre 2013
  • Risque de sclérose en plaques avec les vaccins (ou autre produit)

    27 novembre 2013
  • Suite des relations avec l’EMA

    20 novembre 2013
  • A la recherche du bon critère d’évaluation

    18 octobre 2013
  • Evénements indésirables rares et loi de Poisson (ou loi binomiale)

    11 octobre 2013
  • Policy 0070 on publication and access to clinical-trial data

    3 septembre 2013
  • Lecture critique (11) : biais ou risque de biais,

    30 août 2013
  • Ô temps, suspends ton vol ! … de données valides

    16 juillet 2013
  • Individual Patient Data (IPD) : une nécessaire mise à disposition de la communité scientifique

    11 juillet 2013
  • P…. d’effet placebo !

    2 juillet 2013
  • Règles CONSORT pour les essais tronqués

    27 juin 2013
  • Lecture critique (10) : Les analyses de sous-groupes

    26 juin 2013
  • Alltrials pour les biais de publication… et les autres biais?

    19 juin 2013
  • Lecture critique (9) : L’aveugle dans les essais cliniques.

    10 juin 2013
  • Analyse critique (8) : La cohérence externe

    5 juin 2013
  • Je viens de télécharger les analyses de la FDA sur Tecfidera ®

    18 mai 2013
  • La puissance

    12 mai 2013

(c) 2013 Etudes & Biais -