Les publications sur l’analyse critique des essais cliniques mentionnent dans la quasi-totalité des cas l’analyse de la cohérence externe des études (exemple ici ). Cette analyse a pour objectif de vérifier que les résultats obtenus sont concordants avec ceux déjà disponibles.
S’il existe d’autres études sur le même produit avec les mêmes types de patients, le même comparateur et le même critère d’évaluation, il est facile de comparer les résultats.
Le plus souvent, quelqu’un a déjà fait le travail : une méta-analyse avec vérification de l’absence d’hétérogénéité et funnel plot pour rechercher/suspecter l’existence d’un biais de publication. Le risque de biais pour ces méta-analyses est en effet principalement le biais de publication. Si seules les études positives sont publiées, la méta-analyse sur ces études sera positive ! Retarder la publication des études négatives ou les publier dans des revues non anglophones aura le même impact sur le résultat des méta-analyses. Les méta-analyses peuvent aussi être « positivées » par les petites études : les petites études sont plus facilement publiées si elles sont positives et leurs résultats sur des patients « sélectionnés »peuvent être plus facilement positifs ; enfin il peut s’agir d’essais tronqués. Les essais en ouvert sont aussi plus souvent positifs que ceux en double aveugle même si cela dépend des critères d’évaluation. L’exclusion de patients des analyses au sein de chaque étude peut aussi impacter les méta-analyses (puisque cela impacte les résultats de l’étude).
Donc les méta-analyses d’essais cliniques méritent une analyse critique propre mais aussi des essais cliniques inclus car comme disent les informaticiens anglais : garbage in, garbage out.
Il faut néanmoins rendre hommage à ceux qui réalisent ces méta-analyses car c’est un énorme travail. En plus, elles peuvent permettre de définir des critères de bonne réponse au traitement (si les données individuelles sont disponibles) ou des facteurs corrélés aux résultats des études.
Enfin, on peut tenter une comparaison indirecte des produits. De grands noms de l’analyse critique des essais cliniques ont proposé de réaliser des analyses indirectes de comparaison de deux produits à partir des essais comparant les 2 produits à un troisième. Certes, cela marche mieux quand il y a beaucoup d’essais. C’est toujours mieux que rien.
Si les études sont les premières à être publiées, c’est un peu plus difficile mais il ne faut pas désespérer ; on peut toujours trouver des informations intéressantes pour mieux appréhender l’efficacité des produits et la validité des essais.
Pour être approuvé, un produit doit normalement fournir deux essais cliniques de phase III. Les essais cliniques de phase II pouvant porter sur un critère d’évaluation différent de celui utilisé dans les phases III (marqueur de l’évolution de la maladie par exemple), on peut donc n’avoir à disposition que deux études, utilisant éventuellement deux comparateurs différents, voire des critères d’évaluation différents, voire encore un suivi différent ou des patients différents.
Si le produit est approuvé dans une indication bénéficiant déjà de traitements disponibles.
Même si les deux études sont contre placebo (et qu’il n’existe donc pas de comparaison directe avec les traitements disponibles), il est possible de faire quelques vérifications d’usage.
On peut comparer l’évolution des groupes placebo des différentes études afin d’évaluer la comparabilité des études. Si des différences sont observées, on peut tenter d’évaluer si elles sont liées à des critères d’inclusion différents, en les comparant éventuellement avec des études épidémiologiques pour positionner les essais selon le profil des patients inclus (stade de la maladie et sévérité évolutive). Au fil du temps, les populations incluses dans les essais peuvent varier. On peut aussi comparer certaines caractéristiques initiales des patients à leur évolution dans les groupes placebos ; par exemple la fréquence des poussées dans la sclérose en plaques.
Si une des études est contre un des traitements précédemment approuvé, on peut faire les mêmes analyses que précédemment. L’idéal serait d’avoir des études contre placebo et produit de référence mais ces études sont assez risquées pour le demandeur d’AMM car il faut qu’il soit sûr de la supériorité de son produit et qu’il ose faire des investissements très conséquents, ces études nécessitant beaucoup plus de patients.
Ces analyses permettent parfois de suspecter les positionnements futurs des produits, les points forts qui seront mis en exergue et les points faibles qui seront plus ou moins masqués.
Bien sûr, si on disposait des données individuelles, des analyses plus poussées seraient possibles.
Si le produit est le premier à être approuvé dans l’indication, la cohérence externe perd de son intérêt… sauf vis-à-vis des études épidémiologiques réalisées dans l’indication ou sur la pathologie.
Les patients des groupes placebo peut alors être comparés aux patients suivis dans des études épidémiologiques, tant pour leur évolution que pour leurs caractéristiques initiales. Il est aussi possible que des études négatives aient déjà été publiées (d’où l’importance de publier tous les essais même s’ils sont négatifs). Il peut alors être intéressant de vérifier que la positivité des essais n’est pas (trop) favorisée par des caractéristiques des essais plus judicieusement choisies que lors des essais négatifs précédents.
Enfin, l’analyse de la cohérence externe doit être réalisée dans les deux sens. La dernière étude publiée doit être validée à la vue des études antérieures et les études antérieures doivent être analysées à la vue de la nouvelle étude. Si une étude comparant deux produits est publiée, il faut revenir aux études initiales, souvent réalisées contre placebo, et s’assurer qu’une éventuelle supériorité d’un produit sur l’autre confirme une comparaison indirecte des études initiales. Cette comparaison indirecte de deux essais est souvent décriée et dans les faits, on en tire rarement de conclusions formelles (c’est cependant le principe de base de toutes les revues publiées !). Néanmoins, il est des cas où la comparaison des études initiales (A versus placebo et B versus placebo) et des études comparatives (A versus B) permet de suspecter un problème de validité des études initiales. Dans le cas qui m’intéresse particulièrement, pour les 3 interférons béta, les études contre placebo montraient une efficacité supérieure d’un des 3 produits ; ce produit s’est révélé ultérieurement inférieur aux deux autres dans deux études comparatives. On peut se poser des questions … ou pas.
