On va essayer de faire simple et court.
2 questions à se poser :
- Le double aveugle est-il conservé ?
- Quelle est l’attrition ?
En fonction des réponses à ces deux questions : 4 possibilités
*l’impact potentiel de l’attrition (% de « non évalués ») dépend du critère principal (qualitatif ou quantitatif), de la « prévisibilité » du résultat du critère principal et du pourcentage de patients validant un événement.
Voilà, si je m’arrête là, c’est court et simple.
Maintenant on va essayer de faire long et simple.
Pourquoi ces deux seules questions ?
J’exclus la question sur la qualité de la randomisation.
L’absence de description de la méthode de randomisation et de sa communication aux investigateurs classe rapidement l’essai dans les essais douteux. La description, si elle est complète, permet assez vite d’évaluer sa qualité. En résumé biaiser un essai en effectuant une pseudo-randomisation foireuse est assez facilement décelable. En plus il est possible que cela se voit sur les caractéristiques initiales des patients inclus et il serait dommage de planter un essai dès le début de sa mise en œuvre. Il pourrait être positif ! Il est préférable de biaiser l’essai au fil de sa réalisation. Donc je déconseille à ceux qui veulent biaiser un essai de faire une pseudo-randomisation foireuse (et je suppose qu’ils vont suivre mon conseil !). A noter qu’en excluant les biais liés à une randomisation foireuse, je n’exclus pas la totalité des biais de sélection car l’attrition peut créer ce type de biais.
J’exclus initialement l’analyse du critère d’évaluation et donc les biais d’évaluation.
Si le double aveugle est conservé – vraiment conservé -, il est difficile de modifier les évaluations avec suffisamment d’assurance pour biaiser l’essai dans le sens souhaité. Dans les faits, j’exclus très peu cette analyse car le double aveugle retrouve très facilement la vue et on en parlera donc aux points 2 et 4 en particulier. Le biais d’évaluation est alors possible et devient « rentable » ; il a le désavantage de pouvoir nécessiter l’inclusion des investigateurs dans le process. Il est donc probablement plus fréquent au cours des essais mono-centriques ou pauci-centriques. Mais la manipulation des investigateurs et des patients reste possible dans des essais multicentriques. De plus, les modalités possibles de réalisation du biais d’évaluation dépendent de l’existence d’une attrition.
Donc je garde pour le premier tri des essais la conservation du double aveugle et l’attrition
La levée de l’aveugle est très fréquente. Les points à vérifier sont :
- L’existence de règles d’arrêt de l’essai basées sur une comparaison des groupes
- L’implication d’un investigateur « traitant » dans le processus de validation des événements comptabilisés pour le critère principal ou le regroupement pour un comité quelconque des données de tolérance et d’évaluation de l’efficacité
- Effet, indésirable ou souhaité, spécifique de l’un ou l’autre des produits comparés
- L’existence d’un effet notablement plus fréquent avec un des traitements comparés
- Et toutes les autres causes possibles : différence de goût, aspect, forme galénique des médicaments…
L’attrition correspond au nombre ou pourcentage de patients qui ne suivent pas le protocole jusqu’à son terme.
Le pourcentage d’attrition est facile à voir si tous les patients sont censés être suivis pendant une durée fixe.
Mais pour les essais arrêtés avant le terme prévu, il est très facile de masquer le pourcentage d’attrition. Dans ces essais, dits tronqués, avec ou sans « stopping rule », une sortie d’essai peut ne pas être décelée si l’information n’est pas clairement indiquée. Rien ne distingue un patient sorti de l’essai pour une raison quelconque et un patient pour lequel les informations ne sont plus colligées car l’essai est arrêté. C’est pour cette raison principale que je n’aime pas les essais tronqués. Et donc je n’aime pas les essais basés sur une évaluation par courbes de survie car ils sont très souvent tronqués.
Donc pour en revenir au petit tableau introductif
En cas de forte attrition, il faut rechercher tous les détails pour tenter de se rassurer sur la conservation de l’aveugle. Généralement, on a des doutes. Donc l’essai est douteux. Mais vous n’aurez aucun moyen de définir si l’essai est biaisé ou non car vous ne disposez pas des données suffisantes pour lever les doutes.
Si vous voyez les délégués du laboratoire, je vous propose de leur poser quelques questions sur l’essai :
- Analyse en per-protocole (PP) et en intention de traiter (ITT) : les deux et les vraies, pas une ITT modifiée et surtout pas une PP modifiée. Parfois, il n’y a pas de vraie PP car aucun patient n’a été suivi pendant la durée totale prévue.
- Description comparative des patients selon la date d’inclusion (50% premiers et 50% derniers par exemple) et selon le groupe de traitement.
- Description des événements indésirables de survenue précoce
- Analyse de l’efficacité sur l’avant dernière consultation prise en compte
- la note d’information et de consentement (pour voir si des effets indésirables sont mis en exergue)
Bien évidemment, si les réponses ne sont pas dans la publication, vous ne les aurez jamais.
Les essais avec aveugle levé et forte attrition (case 4) sont à gros risque de biais. Ils sont très fréquents. Sans les données individuelles, il est très difficile d’en tirer une conclusion valide.
Si le critère d’évaluation est un critère qualitatif « prévisible » ou nécessitant une validation en deux temps ou un critère « prévisible », on peut suspecter un biais d’évaluation en plus de ceux de levée de l’aveugle et d’attrition.
La possibilité de prévoir la validation d’un critère qualitatif : validation par une confirmation/second critère à distance ou existence d’un facteur de risque à forte valeur prédictive, est surtout intéressante si on peut retirer le patient avant la validation donc dans les essais avec attrition. Ce type de biais d’évaluation est rendu possible par l’attrition.
S’il n’y a pas d’attrition, c’est plus dur de biaiser l’essai mais pas impossible. La meilleure manière de biaiser un essai sans attrition est de modifier les évaluations. Ce sera surtout possible pour des critères quantitatifs (échelles, dénombrements..) pouvant être évalués de manière un peu subjective. Le biais d’évaluation est la modification ciblée de ces évaluations.
La levée de l’aveugle sera bien sûr nécessaire.
Il faut donc, dans ce cas (case 2) adjoindre à l’analyse de la levée de l’aveugle celle des critères d’évaluation, en particulier, leur caractère subjectif.
La question à poser : comment pouvez-vous me certifier qu’il n’y a pas de biais d’évaluation ? Question stupide s’il en est car il est quasi-impossible d’y répondre !
Malheureusement, le biais d’évaluation est très difficile à mettre en évidence, même sur les données individuelles.
Conclusion
Cette segmentation des analyses nécessaires pour l’évaluation des essais cliniques aboutit malheureusement en l’absence des données individuelles à un doute ou à un risque de biais. Si le résultat de l’essai est faiblement significatif, le risque de biais est plus élevé.
Mais si vous posez les bonnes questions, vous pourrez plus facilement vous libérer un peu de temps car vous n’aurez pas de réponse et il est difficile pour un délégué médical de commencer sa visite par « je n’ai pas la réponse à votre question ».
