Etudes & Biais

  • RSS
  • Accueil
  • A propos
  • Lecture critique
  • Plainte vs EMA
  • Liens
  • Contact

Petit Quizz

Posted on 25 mars 2013 by Alexis in Article, essais tronqués, Relations EMA 2 Comments
  • Home
  • Article
  • Petit Quizz

Prémédication

Je vais vous proposer un petit quizz, c’est juste pour vous mettre en bouche.

Premier cas

Imaginons un professeur d’éducation physique souhaitant organiser entre deux classes une épreuve de tir à corde. Pour simplifier le cas, supposons que, dans chaque classe, il y ait la moitié d’élèves «forts » et la moitié « faibles ».  Le professeur tire au sort 8 élèves dans chaque classe. Par chance, il y a 4 forts et 4 faibles dans chaque équipe. L’épreuve commence mais après 5 minutes les équipes n’ont pas pu se départager.

Le professeur décide alors de sortir de chaque équipe 3 élèves. L’épreuve reprend … et l’équipe A gagne.

Une ou plusieurs réponses possibles :

1.      Le résultat montre la supériorité de la classe d’où est tirée l’équipe A
2.      Le résultat montre la supériorité des 8 de l’équipe A sur les 8 de l’équipe B
3.      Le résultat montre la supériorité des 5 de l’équipe A sur les 5 de l’équipe B
4.      Le tirage au sort initial garantit la qualité du résultat final sur les équipes initiales
5.      L’exclusion de 3/8 élèves dans chaque équipe ne diminue pas le bénéfice du tirage au sort

Si vous avez coché autre chose que la case 3, vous validez donc l’étude qui n’est finalement qu’un simple essai clinique arrêté avant le terme prévu. Pourquoi pas !

Maintenant si je vous dis que les 2 élèves sortis de l’équipe A étaient des « faibles » et les 3 élèves de l’équipe B étaient des « forts », considérez vous encore qu’une autre réponse que la 3 est possible ? Certes dans ce cas, l’exclusion des 3 élèves n’a pas été réalisée au hasard et n’est pas liée à des événements supposés aléatoires. Néanmoins, si je ne vous décris pas les élèves exclus, pouvez-vous conclure ?

Deuxième cas, plus quantitatif.

Imaginons ce même professeur d’éducation physique organisant un concours de lancers francs au basket entre ces deux classes. Pour simplifier le cas, supposons encore que, dans chaque classe, il y ait la moitié d’élèves «doués» et la moitié «maladroits».  Le professeur tire au sort 8 élèves dans chaque classe. Par chance, il y a 4 doués et 4 maladroits dans chaque équipe. Après 10 lancers francs tirés par chaque équipier, les équipes n’ont pas pu se départager. Les élèves doués ont marqués 10 fois sur 10 et les maladroits 2 fois sur 10. Chaque équipe a marqué 48 paniers sur 80 tirs

Le professeur décide alors de sortir de chaque équipe 3 élèves. L’épreuve reprend pour 10 autres tirs par élève … et l’équipe A gagne par 90 paniers à 66 sur un total de 130 tirs

Une ou plusieurs réponses possibles :

  1. Le résultat sur les deux épreuves montre la supériorité des 8 de l’équipe A sur les 8 de l’équipe B
  2. Il faut connaitre les scores des 5 participants de la seconde épreuve au cours de la 1ère épreuve pour faire une analyse per protocole
  3. 90/130 vs 66/130 est une analyse en intention de traiter donc pas de problème : A>B
  4. Le Chi2 de 90/130 vs 66/130 est significatif (p<0,05) donc l’équipe A est supérieure à l’équipe B
  5. La moyenne des pourcentages de succès de chaque élève peut-être identique dans les 2 équipes

Personnellement, je ne coche que la case 5.

Comme dans le premier cas, le professeur a exclu 3 maladroits de l’équipe A et 3 doués de l’équipe B.

Dans l’équipe A les pourcentages de succès de chaque élève sont sur l’ensemble des deux épreuves de 100% pour 4 d’entre eux (les doués ont toujours réussi leurs paniers) et de 20% pour les 4 maladroits donc la moyenne des pourcentages de succès des élèves est de 60% ((4×100% + 4×20%)/8).  Et c’est pareil pour l’équipe B.

Ce résultat est différent de celui que l’on obtient en calculant le pourcentage de succès de chaque équipe (somme des tirs réussis/somme des tirs effectués): 69% pour l’équipe A et 51% pour l’équipe B.

Le premier calcul n’est pas modifié par la durée de participation des élèves dans l’épreuve, le second si.

L’analyse per protocole est surtout intéressante pour les essais de non infériorité. Dans le cas présent, elle montrerait une plus nette supériorité de l’équipe A (84 paniers réussis vs 32 sur 100 tirs soit 84% vs 32%). Ce qui me semble intéressant dans un essai tronqué, et doit mettre la puce à l’oreille, c’est la différence de résultat entre l’analyse per protocole et l’analyse en intention de traiter.

L’analyse en intention de traiter n’est ici pas en question ; dans les deux cas, toutes les données sont analysées. La seule différence entre les deux calculs est le critère d’évaluation : pourcentage de tirs réussis par l’équipe ou moyenne des pourcentages de réussite de chaque équipier.  Dire que les analyses sont faites en intention de traiter n’est pas une garantie suffisante de validité pour les essais tronqués.

Dans ces essais, les patients sortis d’études sont rarement décrits. La comparaison des populations incluses ne suffit pas. Si je ne vous propose pas la réponse 5 et ne vous dis pas quels étaient les élèves exclus, cocheriez-vous une des cases ?

Bref, je n’aime pas les essais tronqués ! J’en reparlerai probablement

Maintenant, je vous parle de mon Maître.

Quel rapport entre ces quizz et l’étude MSCRG ?

Dans l’étude MSCRG, le critère d’évaluation sur les poussées repose sur le calcul de la fréquence des poussées. Elle est calculée dans chaque groupe, placebo ou verum, de la manière suivante : nombre total de poussées /nombre de patients-années. Si les patients qui font le plus de poussées sont suivis plus longtemps, la fréquence des poussées du groupe augmente.

Par exemple, pour un groupe de 2 patients : l’un fait 3 poussées par an, l’autre une seule.

Si les deux patients sont suivis pendant la même durée (2ans) la fréquence du groupe est : (3+3+1+1)/(2×2) = 2

Si le patient réalisant 3 poussées par an est suivi 2 ans et l’autre un an seulement, la fréquence est : (3+3+1)/(1×1+1×2) = 2,33. Cela correspond au calcul du quizz aboutissant aux résultats 68,6% vs 54,3%. En soit, cette modalité de calcul n’est pas critiquable. Il faut juste savoir que ce résultat varie selon la durée de suivi des patients.

Si on calcule la moyenne des fréquences des 2 patients : on obtient dans les deux cas 2/an quelque soit la durée de suivi de chaque patient.

Quels sont les résultats de l’étude MSCRG sur ce critère.

Cette étude a été arrêtée avant son terme et 57% des patients ont été suivis pendant la durée complète de l’étude.

On peut décrire 3 populations de patients :

  1. Les patients qui n’ont pas été suivis pendant les 2 ans
  2. Les patients qui ont été suivis pendant 2 ans
  3. L’ensemble des patients : 1+2

 

Pour les différentes populations, on peut avoir une évaluation de l’efficacité du verum sur la fréquence des poussées au cours de la première année, au cours de la seconde année ou au cours des deux années.

On peut résumer ces données sur un tableau

 

Population 1

Suivi < 2 ans

Patients : 45 Placebo vs 65 Verum

Population 2

Suivi ≥ 2 ans

Patients : 87 Placebo vs 85 Verum

Population totale

Patients : 132 Placebo vs 150 Verum

Résultat au cours de la 1ère année

+28,8

-28,7%

-9,6%

Résultat au cours de la seconde année

–

-30,8%

–

Résultat au cours des deux années

–

-32,2%

-17,8%

 

La publication princeps de l’étude MSCRG nous donne deux résultats en bleu. Ces deux pourcentages en bleu sont le résultat, l’un de l’analyse per protocole (-32,2%), l’autre de l’analyse en intention de traiter (-17,8%). La différence entre les deux résultats est notable.

Les autres données sont issues du résumé de l‘analyse de la FDA. Toutes ces données sont reprises dans mon article.

Pour expliquer la différence d’efficacité entre la première année (-9,6%) et celle obtenue en ITT ou en per protocole, Biogen évoque, selon la FDA, l’existence d’un délai avant la pleine efficacité d’Avonex.

La FDA, à la différence de l’EMA, ré-analyse les données des essais cliniques et refait des calculs sur les données de base. Ses conclusions montrent clairement que ce n’est pas un problème de délai mais un problème de cohorte. Comme indiqué sur le tableau ci-dessus, au cours de la première année, les patients suivis moins de 2 ans bénéficient du placebo, ceux suivis 2 ans bénéficient du verum.

L’EMA, de son côté, souligne que l’efficacité sur les poussées est non-significative au cours de la première année et que la différence entre les groupes « augmente » au cours de la deuxième année !

Voici le texte de l’EPAR-scientific discussion : « During the first year there was no statistically significant difference between the two groups in number of exacerbations. Over two years a statistically significant difference was seen between the two groups in exacerbation rate (p=0.002). During the second year the exacerbation rate difference between the two groups increased though there was no statistically significant difference in the proportion of patients who were exacerbation-free. »

 

Share

2 comments on “Petit Quizz”

  1. Jacques dit :
    8 mai 2014 à 11:43

    Bonjour,
    Je me permet une petite remarque sans grand intérêt au regard de l’intégralité de l’article :
    Dans le deuxième cas plus quantitatif, on considère que les doués marquent 10 paniers sur 10 tirs et les maladroits 2 paniers sur 10 tirs. Par conséquent si l’on retire respectivement 2 maladroits et 2 doués dans chaque équipe. L’équipe A marque désormais 44 paniers sur 60 tirs (4*10 + 2*2). Additionés au 48 points déjà marqués on arrive à un total de 92 et non 96. Ce qui fait par la suite un « Pourcentage de succès » de 66.
    Par ailleurs, je suis actuellement en stage de 5-AHU (pharma) à l’étranger. Dans ce cadre je dois rédiger un résumé concernant les différents médicaments utilisés dans le traitement de la sclérose en plaque. Donc forcement ce site est über-interessant comme on dit ici. Merci beaucoup.

    Reply
    • Alexis dit :
      8 mai 2014 à 5:54

      Merci de vos commentaires.
      Vous avez raison, j’ai modifié les chiffres (et espère ne pas m’être encore trompé !). et ai du retirer 3 élèves au lieu de 2 pour obtenir le P<0.05 !
      Merci de l'attention que vous avez portée à ce blog. Si j'ai pu vous apporter une aide pour votre projet, j'en suis ravi.

      Reply

Leave a Reply Cancel reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Search

Commentaires récents

  • Alexis dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • FRG dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • Daniel Pérez dans La vérole et le bar-tabac
  • Azaïs dans Je viens de télécharger les analyses de la FDA sur Tecfidera ®
  • Alexis dans Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

Articles récents

  • Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

    3 avril 2018
  • Deux ans sans publication mais pour la bonne cause

    13 mars 2018
  • Quand il y a un « trou » (dans les données), c’est qu’y a un loup ! (Martine et Alexis)

    19 juin 2015
  • J’adore supputer, ce sera donc un peu moins sérieux… quoi que…

    21 mai 2015
  • Deux autres petits trucs qui rendent les odds-ratios un peu « odd ».

    14 mai 2015
  • Bon la dompéridone on n’y croit pas trop…et qu’est ce qui la différencie du mediator ?

    1 mai 2015
  • La vérole et le bar-tabac

    19 avril 2015
  • Domperidone

    14 avril 2015
  • Propensity scores, ou comment transformer une étude de suivi en un essai randomisé.

    3 avril 2015
  • The Will Rogers phenomenon, et petite digression sur le dépistage

    9 février 2015
  • Tiens, la National Academy Press publie un document sur les données des essais cliniques

    5 février 2015
  • Le monitoring nouveau des essais cliniques est sorti. Bonne ou mauvaise nouvelle pour les fraudeurs (et pour ceux qui les recherchent) ?

    30 janvier 2015
  • Faire une étude sur cohorte positive, fastoche !

    27 janvier 2015
  • Fraude et essai clinique biaisé. La détection des fraudes permet-elle d’exclure les essais cliniques biaisés ?

    6 janvier 2015
  • Les méta-analyses ne seraient-elles pas réellement intéressantes quand elles sont non-valides en raison d’une hétérogénéité ?

    5 décembre 2014
  • Lecture critique (12) Analyse des essais cliniques randomisés en double aveugle destinés à mettre en évidence une supériorité: récapitulatif

    20 novembre 2014
  • Finalement, il ne s’est rien passé à l’EMA ce jeudi 2 octobre.

    7 octobre 2014
  • Si on commence à critiquer les avis de l’EMA …

    28 février 2014
  • Les courbes de survie

    18 février 2014
  • Réponse de l’EMA à mon mail du 20 Novembre 2013 … et ma réponse

    9 février 2014
  • 20 novembre 2013 – 21 janvier 2014 : nouvelle plainte contre l’EMA

    21 janvier 2014
  • La FDA, ses analyses sélectives et l’Alemtuzumab

    6 janvier 2014
  • NNT

    18 décembre 2013
  • Incidence et Prévalence

    13 décembre 2013
  • Risque de sclérose en plaques avec les vaccins (ou autre produit)

    27 novembre 2013
  • Suite des relations avec l’EMA

    20 novembre 2013
  • A la recherche du bon critère d’évaluation

    18 octobre 2013
  • Evénements indésirables rares et loi de Poisson (ou loi binomiale)

    11 octobre 2013
  • Policy 0070 on publication and access to clinical-trial data

    3 septembre 2013
  • Lecture critique (11) : biais ou risque de biais,

    30 août 2013
  • Ô temps, suspends ton vol ! … de données valides

    16 juillet 2013
  • Individual Patient Data (IPD) : une nécessaire mise à disposition de la communité scientifique

    11 juillet 2013
  • P…. d’effet placebo !

    2 juillet 2013
  • Règles CONSORT pour les essais tronqués

    27 juin 2013
  • Lecture critique (10) : Les analyses de sous-groupes

    26 juin 2013
  • Alltrials pour les biais de publication… et les autres biais?

    19 juin 2013
  • Lecture critique (9) : L’aveugle dans les essais cliniques.

    10 juin 2013
  • Analyse critique (8) : La cohérence externe

    5 juin 2013
  • Je viens de télécharger les analyses de la FDA sur Tecfidera ®

    18 mai 2013
  • La puissance

    12 mai 2013

(c) 2013 Etudes & Biais -