Etudes & Biais

  • RSS
  • Accueil
  • A propos
  • Lecture critique
  • Plainte vs EMA
  • Liens
  • Contact

Lecture critique (11) : biais ou risque de biais,

Posted on 30 août 2013 by Alexis in Article, Lecture critique No Comments
  • Home
  • Article
  • Lecture critique (11) : biais ou risque de biais,

Il existe de multiples publications proposant une liste des biais ou des risques de biais des essais cliniques.  Par exemple, ici, les biais sont classés en 4 catégories : selection bias, performance bias, detection bias, and attrition bias. Dans le document de la Cochrane est ajouté le biais de reporting  (tableau 8.4.a) qui est un biais réalisé uniquement après la fin de l’essai. Je garde les termes francisés de biais de détection et biais de performance qui peuvent correspondre aux biais de mesure et biais de suivi.

Dans ce même document de la Cochrane, un autre tableau (table 8.5.a) présente les éléments à vérifier pour établir un risque de biais.  

Les deux tableaux sont téléchargeables ici.

Icône
tableau cochrane 66.98 KB
Télécharger

Partons de la classification de la Cochrane (table 8.4.a) et essayons de voir comment on peut passer du risque de biais au biais ou à la fraude.

Toutes les descriptions des biais commencent par  “Systematic differences between groups” (sauf bien sûr le reporting bias).

Donc, selon les documents de la Cochrane, pour faire un bon biais, il faut pouvoir agir de manière différenciée sur chaque groupe.

Est-ce une condition nécessaire pour obtenir des résultats biaisés ?

Peut-on obtenir des résultats différents sur deux études similaires sans agir spécifiquement sur un groupe et sans que cela se voit sur une publication –réalisée selon les règles Consort- ou sur le protocole?

A priori, c’est possible.

Soit une étude contre placebo destinée à démontrer un effet préventif quelconque. L’étude est internationale ; le risque de survenue de l’événement à prévenir varie selon les pays. Si je commence le recrutement dans les pays à fort risque et que je prévois une règle d’arrêt (aboutissant à un essai tronqué), j’augmente ma probabilité de succès par rapport au même essai débutant dans les pays à faible risque. Si l’essai est arrêté après l’inclusion de tous les patients, les caractéristiques initiales des patients dans les deux essais sont similaires et le protocole ne mentionne pas l’ordre d’inclusion.

Cela revient à réaliser un « enrichment » des patients comme cela est discuté ici. L’ « enrichment » est lié à l’arrêt prématuré de l’essai qui donne donc un poids supérieur aux patients inclus en premier. Il permet d’attribuer à une population plus large un bénéfice qui pourrait n’être notable que sur une population plus restreinte : celle à fort risque de survenue de l’événement ciblé par la prévention.

Cela ne correspond pas à la définition « officielle » des biais (différence systématique entre les groupes) mais constitue un moyen d’embellissement des résultats. L’impact de l’embellissement est potentiellement le même que celui obtenu avec un biais : obtention facilitée d’un résultat positif. On pourrait éventuellement classer cet embellissement dans les biais d’attrition, puisque l’essai est tronqué, mais les deux groupes (placebo et verum) sont impactés de manière identique.

Cet embellissement peut être réalisé en incluant en premier des patients présentant tout risque majoré favorisant la mise en évidence de l’effet.

Pour mettre en évidence ce type d’embellissement, il faut connaître l’ordre d’inclusion des patients, donc les données individuelles.

Est-on obligé de connaitre les groupes pour agir différemment sur chacun ?

Normalement oui

Même en imaginant, sur un critère quantitatif, une majoration systématique des patients qui s’améliorent et une minoration des patients qui ne s’améliorent pas ou peu. Un peu tiré par les cheveux et à risque car cela peut augmenter la variance et limiter les possibilités de mise en évidence d’un effet. Il faut que le produit ait un minimum d’effet…. Et dans ce cas on suppose donc que l’effet permet de distinguer les groupes. On considère que l’on peut connaître le groupe du patient ou établir pour certains patients une probabilité supérieure à 50% (pour 2 groupes) qu’ils soient dans un groupe spécifié.

En plus, il n’est pas illogique de penser que les patients qui s’améliorent aient tendance à majorer les bienfaits du traitement et ceux qui s’aggravent à majorer leur aggravation. L’utilisation de critères objectifs d’évaluation est la meilleure parade. La comparaison des essais peut permettre d’évaluer la survenue d’un tel effet de majoration des évolutions, à partir des données individuelles bien sûr.

Peut-on créer les groupes de manière à favoriser une issue positive de l’essai.

Oui, c’est très facile si on a la possibilité de prévoir ou d’orienter le résultat de la randomisation. 

Mais biaiser l’essai de cette manière, en créant deux groupes différents sur un critère influent, peut se voir sur la comparaison initiale des populations.

Pour éviter que ce biais soit trop visible, il faut :

  • soit ne pas comparer les groupes sur le critère choisi ! Et bien sûr ne pas ajuster les analyses sur le critère !
  • soit utiliser des combinaisons de critères « synergiques » (par exemple, fumeur+hypercholestérolémie + antécédent d’infarctus +diabète dans un groupe et fumeur, ou hypercholestérolémie ou antécédent d’infarctus ou diabète dans l’autre),
  • soit pour un facteur pronostic quantitatif dont l’impact n’est pas proportionnel, mettre dans un groupe les « moyens » et dans l’autre des patients à risque élevé et des patients à risque faible. Cela peut se voir sur l’écart-type mais il suffit de mettre l’erreur standard de la moyenne avec un arrondi ad hoc pour minimiser la différence absolue entre les groupes.

Seules les données individuelles permettraient de déceler ce type de biais, qui doit être rare, mais on n’en sait rien puisque l’on ne dispose pas des données individuelles.

Maintenant comment connaître les groupes et biaiser l’essai sans que cela se voit ?

C’est la levée de l’aveugle.

Les moyens de lever l’aveugle sont multiples ; ce sont des situations qui sont à très fort risque de biais, que la levée de l’aveugle soit recherchée ou « involontaire ».

·         Au niveau du centre investigateur: 

o   Au moment de la randomisation

§  Levée du masquage de l’allocation

§  Possibilité de prévision du résultat de la randomisation

o   Pendant l’essai

§  Différence physique détectable entre les produits testés.

§  Intolérance spécifique d’un traitement

§  Effet biologique/clinique spécifique

·        Au niveau central  

o   A partir des bases de données

§  Analyse conjointe des données des investigateurs traitant et évaluateur

§  Analyses intermédiaires avec ouverture de la liste de randomisation

§  Calcul de probabilité d’appartenance à un groupe selon intolérances, effets biologiques, effets thérapeutiques ou toute autre donnée, même si elle n’est pas communiquée à l’investigateur (dosage du médicament par exemple)

Comme le souligne le « risk of bias tool » de la Cochrane,  la levée de l’aveugle par l’investigateur permet les biais de performance et de détection.

Ces 2 biais sont difficiles à mettre en évidence. Pour le biais de performance, il serait nécessaire de connaître toute la prise en charge des patients et pour le biais de détection, il faudrait un contrôle de la mesure des critères d’évaluation. Bien évidemment, des critères très objectifs comme la mort sont moins sujets au biais de détection ou de performance.

Même avec les données individuelles des patients, il peut être impossible de les déceler. On pourrait comparer l’évolution des patients de cet essai à celle de patients d’un autre essai mais il faut avoir les données individuelles de l’autre essai. On ne peut donc le plus souvent que les suspecter, en mettant en évidence la condition nécessaire à leur survenue : la levée de l’aveugle.

La levée de l’aveugle peut aussi être réalisée par le patient, qui peut en informer le médecin ou non. Si une intolérance a permis au patient de suspecter son groupe, le médecin traitant sera mis au courant. Si le patient a distingué le produit sur des caractéristiques physico-chimique, il gardera plus probablement l’information pour lui.

Un patient ayant levé l’aveugle sera influencé ; non seulement pour toute évaluation des bénéfices ou de la tolérance, ce qui peut induire des biais de performance ou de détection, mais aussi pour son choix de rester dans l’essai, ce qui peut entrainer un biais d’attrition. 

La note d’information et de consentement permet de faciliter la levée de l’aveugle pour le patient et d’améliorer les bénéfices du traitement. Si le produit entraîne une intolérance particulière, il est important de la décrire clairement. Il est aussi important de décrire les bénéfices attendus du traitement évalué afin de majorer l’a priori positif du patient qui suspectera son allocation au groupe traité. La note d’information et de consentement devrait être systématique publiée avec le protocole.

Là encore, si le critère d’évaluation est la mort, le risque de biais est plus faible que pour des critères d’évaluations subjectifs.

Au fait, peut-on avoir un biais de performance ou de détection sans levée de l’aveugle ?

Si on utilise un test plus sensible (et si possible plus spécifique), la détection d’une différence sera facilitée mais ce n’est pas un biais, c’est une autre évaluation.

Si un produit à tester est comparé à un autre produit actif difficile à manier, la prise en charge globale des patients sera différente de celle appliquée si le produit à tester, simple à manier, est comparé à un placebo. Ce n’est pas un biais, c’est une autre étude.

On pourrait aussi imaginer un essai par cluster avec des techniques de détection différentes  (IRM différentes)

Pour l’analyse de la tolérance, l’objectif étant de ne pas montrer de différence, il est beaucoup plus facile de s’organiser un petit biais de détection. Le questionnaire pourra être orienté pour que tous les patients présentent un effet indésirable banal, minimisant ainsi la différence, ou à contrario pour minimiser la détection d’un effet indésirable particulier. Les modalités de recueil de la sévérité ou d’autres caractéristiques des effets indésirables peuvent aussi induire un biais de détection. En général, c’est plutôt un biais de reporting car l’information existe souvent. (exemple ici)

Et pour faire un bon biais d’attrition, que faut-il ?

Selon le tableau 8.5.a de la Cochrane, pour suspecter un biais d’attrition, l’élément à rechercher est… une attrition et les raisons pour lesquelles des patients n’ont pas été évalués.

Là encore, on est dans la quasi-totalité des cas, dans un système de suspicion de biais.

La description des raisons de sorties d’essai n’est généralement pas suffisamment informative. En particulier, on ne sait pas si ceux qui sortent sont des patients en échec thérapeutique ou non.

Avec plus de 20% d’attrition, le biais d’attrition est fortement suspecté selon certains. Mais de nombreux essais utilisent des critères d’évaluation basés sur l’évolution particulière d’un petit pourcentage de patients ; courbes de survie, pourcentage de répondeurs. Il peut dans ces conditions être suffisant de « sortir » un petit pourcentage de patients pour favoriser la positivité de l’étude.  

Sortir des patients de l’étude est assez facile. Il y a toujours une bonne raison : non respect du protocole, retrait du consentement, pour recevoir un autre traitement, intolérance, décision du patient…

Pour favoriser un des groupes, il suffit alors

1.      de connaitre le groupe de certains patients par une levée de l’aveugle (y compris au niveau central)

2.      de choisir en fonction du groupe à favoriser un répondeur ou un non répondeur probable (en fonction de l’évolution initiale ou des facteurs de risques…)

3.      de trouver une cause possible de sortie et de l’appliquer lors d’une consultation de suivi

Pour favoriser la positivité de l’essai, les patients à sortir sont ceux qui s’aggravent sous verum ou ne s’aggravent pas sous placebo et il faut garder ceux qui vont bien sous verum et s’aggravent sous placebo.

Certaines études prévoient de redemander le consentement après survenue d’une aggravation. C’est le médecin traitant (par opposition au médecin évaluateur), qui, ayant de bonnes chances de connaitre le traitement reçu et l’évolution, est en charge de cette discussion.  Trop facile d’influencer le patient pour le faire sortir de l’essai ou a contrario pour le faire rester.

Mais cette discussion est dépendante des possibilités de traitement hors études cliniques : prise en charge, disponibilité d’un traitement.

En l’absence de traitement ou de prise ne charge possible pour un traitement onéreux, tous les patients se sachant sous traitement auront tendance à rester car l’alternative est une absence de traitement.

Le problème revient alors à faire rester les patients sous placebo, surtout ceux qui s’aggravent. Des arguments peuvent être prévus par le protocole de l’étude : traitement gratuit ou tout système de dédommagement si le patient reste dans l’étude suffisamment longtemps.

Là encore, le seul moyen de vérifier si les patients sortis favorisent un groupe ou l’autre est d’analyser les données individuelles. Seules ces données permettent de  transformer le risque de biais en biais avéré et d’évaluer l’impact du biais, en particulier plus précisément qu’en considérant tous les sorties comme ayant pu favoriser le verum. La comparaison des analyses en ITT et en PP peut aider.

Lorsque des analyses intermédiaires sont réalisées, ou que des règles d’arrêt d’un essai sont prévues, quelqu’un en central dispose pour chaque groupe des patients ayant validé le critère d’évaluation et de ceux qui sont plus à même de le valider prochainement (facteurs de risque, évolution récente).

L’arrêt prématuré de l’essai doit être considéré comme un risque majeur de biais d’attrition.

Au pire, la sortie systématique des patients défavorables à la positivité de l’essai peut passer inaperçue si on ne dispose pas de l’ordre d’inclusion des patients dans l’essai comparé à leur durée de participation.

On est bien sûr dans le domaine de la fraude manifeste.

 

Et les autres biais ?

Le biais de reporting correspond à un mauvais reporting des données de l’essai, non conforme aux critères inscrits dans le protocole.

Pour le voir, il faut avoir le protocole.

J’ai du mal à évaluer ce que certains appellent le biais d’analyse, sauf à considérer qu’il s’agit d’une mauvaise utilisation des méthodes statistiques. Il faut qu’elles soient bien décrites.

Le biais de publication est un gros biais de reporting, concernant l’ensemble de l’essai !

Il y a probablement d’autres manières de biaiser un essai randomisé…

Conclusion

Il y a de multiples manières d’influencer les résultats d’un essai.

Les 4 types de biais, réalisables avant ou pendant l’essai (SPDA) sont dans la plupart des cas possibles grâce à une levée de l’aveugle ou du moins grandement facilités.

Et il est très rare de ne pouvoir suspecter une levée de l’aveugle : produit sans intolérance, sans effet biologique décelable, sans effet bénéfique rapide, évalué dans une étude sans analyse intermédiaire, où le médecin traitant n’a pas d’influence sur le suivi…

Faut-il considérer que, dès suspicion, que le ver est dans le fruit ? En pratique la suspicion n’empêche pas l’utilisation des essais suspects dans les méta-analyses ou pour la validation d’AMM.

Sur les publications, il est possible de suspecter la levée de l’aveugle mais son impact sur les résultats est difficilement évaluable.

Ré-analyser les essais sur les données individuelles est un énorme travail mais ce serait le seul moyen d’obtenir une évaluation correcte de certains essais et voir les fraudes manifestes.

Vous vous doutiez que j’allais conclure sur les données individuelles ?

Share

Leave a Reply Cancel reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Search

Commentaires récents

  • Alexis dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • FRG dans Lecture critique (3) : Analyse de la population incluse et ajustements.
  • Daniel Pérez dans La vérole et le bar-tabac
  • Azaïs dans Je viens de télécharger les analyses de la FDA sur Tecfidera ®
  • Alexis dans Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

Articles récents

  • Chic ! Avec l’intelligence artificielle, on va avoir plein d’études biaisées.

    3 avril 2018
  • Deux ans sans publication mais pour la bonne cause

    13 mars 2018
  • Quand il y a un « trou » (dans les données), c’est qu’y a un loup ! (Martine et Alexis)

    19 juin 2015
  • J’adore supputer, ce sera donc un peu moins sérieux… quoi que…

    21 mai 2015
  • Deux autres petits trucs qui rendent les odds-ratios un peu « odd ».

    14 mai 2015
  • Bon la dompéridone on n’y croit pas trop…et qu’est ce qui la différencie du mediator ?

    1 mai 2015
  • La vérole et le bar-tabac

    19 avril 2015
  • Domperidone

    14 avril 2015
  • Propensity scores, ou comment transformer une étude de suivi en un essai randomisé.

    3 avril 2015
  • The Will Rogers phenomenon, et petite digression sur le dépistage

    9 février 2015
  • Tiens, la National Academy Press publie un document sur les données des essais cliniques

    5 février 2015
  • Le monitoring nouveau des essais cliniques est sorti. Bonne ou mauvaise nouvelle pour les fraudeurs (et pour ceux qui les recherchent) ?

    30 janvier 2015
  • Faire une étude sur cohorte positive, fastoche !

    27 janvier 2015
  • Fraude et essai clinique biaisé. La détection des fraudes permet-elle d’exclure les essais cliniques biaisés ?

    6 janvier 2015
  • Les méta-analyses ne seraient-elles pas réellement intéressantes quand elles sont non-valides en raison d’une hétérogénéité ?

    5 décembre 2014
  • Lecture critique (12) Analyse des essais cliniques randomisés en double aveugle destinés à mettre en évidence une supériorité: récapitulatif

    20 novembre 2014
  • Finalement, il ne s’est rien passé à l’EMA ce jeudi 2 octobre.

    7 octobre 2014
  • Si on commence à critiquer les avis de l’EMA …

    28 février 2014
  • Les courbes de survie

    18 février 2014
  • Réponse de l’EMA à mon mail du 20 Novembre 2013 … et ma réponse

    9 février 2014
  • 20 novembre 2013 – 21 janvier 2014 : nouvelle plainte contre l’EMA

    21 janvier 2014
  • La FDA, ses analyses sélectives et l’Alemtuzumab

    6 janvier 2014
  • NNT

    18 décembre 2013
  • Incidence et Prévalence

    13 décembre 2013
  • Risque de sclérose en plaques avec les vaccins (ou autre produit)

    27 novembre 2013
  • Suite des relations avec l’EMA

    20 novembre 2013
  • A la recherche du bon critère d’évaluation

    18 octobre 2013
  • Evénements indésirables rares et loi de Poisson (ou loi binomiale)

    11 octobre 2013
  • Policy 0070 on publication and access to clinical-trial data

    3 septembre 2013
  • Lecture critique (11) : biais ou risque de biais,

    30 août 2013
  • Ô temps, suspends ton vol ! … de données valides

    16 juillet 2013
  • Individual Patient Data (IPD) : une nécessaire mise à disposition de la communité scientifique

    11 juillet 2013
  • P…. d’effet placebo !

    2 juillet 2013
  • Règles CONSORT pour les essais tronqués

    27 juin 2013
  • Lecture critique (10) : Les analyses de sous-groupes

    26 juin 2013
  • Alltrials pour les biais de publication… et les autres biais?

    19 juin 2013
  • Lecture critique (9) : L’aveugle dans les essais cliniques.

    10 juin 2013
  • Analyse critique (8) : La cohérence externe

    5 juin 2013
  • Je viens de télécharger les analyses de la FDA sur Tecfidera ®

    18 mai 2013
  • La puissance

    12 mai 2013

(c) 2013 Etudes & Biais -