La plupart des fraudes par falsification ou fabrication de données d’essais cliniques ont été découvertes, osons le dire, grâce à une « bêtise » de l’auteur. Plusieurs exemples ici

• Fausses signatures et effet constant du produit testé (Sedgwick),
• Plagiat entrainant des recherches complémentaires révélant une fraude par fabrication (Soman),
• Réalisation d’une étude sur des prélèvements hebdomadaires de sang de 20 rats pendant 90 semaines, plus de 100 publications, inventions de collaborateurs et inventions de patients (Darsee),
• Résultats statistiques identiques dans deux études et 137 publications en tant qu’auteur ou co-auteur (Slutsky),
• 22 patients inclus dans un essai avec 100% d’observance, 8 ECG identiques et 12 autres anomalies (Latta),
• Utilisation de patients d’un registre pas encore ouvert pour une étude épidémiologique, les patients étaient inventés (Subdo)

Il y en a d’autres…et on s’aperçoit que les auteurs des fraudes découvertes ont souvent poussé le bouchon un peu trop loin… Une « bizarrerie » découverte déclenche des recherches permettant de démontrer d’autres fraudes.
Mais il ne faut pas désespérer, les auteurs des essais cliniques vont améliorer leurs techniques de fraude et il faudra aussi s’améliorer pour leur détection.

Les méthodes de détection des fraudes (fabrication ou falsification) sont différentes de celles visant la recherche des biais.

La fraude par fabrication ou par falsification consiste à créer de novo de nouvelles données. La fabrication, c’est à partir de rien, la falsification, c’est la modification d’une donnée. La suppression d’une donnée, par exemple celle concernant un effet secondaire est aussi une fraude.
Le principe des mises en évidence des fabrications ou falsifications à partir des données individuelles, est basé sur le fait que ces données frauduleuses sont créées par un cerveau humain. Elles ne sont pas le résultat d’un mécanisme biologique ou ne sont pas obtenues selon le même ordonnancement que celles non fabriquées ou falsifiées. Le cerveau humain est très mauvais pour créer des données aléatoires ou devant vérifier une distribution particulière.
La distribution des données créées par un cerveau sera donc différente de celles obtenues « normalement ».

La détection de ces fraudes, à partir des données individuelles, reposera donc sur la recherche de différences entre les données fabriquées ou falsifiées et celles obtenues « normalement » et sur des anomalies de distribution de l’ensemble des données (voir infra). Elle doit compléter la SDV (source document verification) réalisée par le monitoring, source importante de découverte des fraudes, y compris celles par omission.
La recherche de biais, en dehors de tout contexte de fraude, est différente. Il s’agit principalement de la recherche d’un biais par levée de l’aveugle (condition nécessaire pour le biais de suivi/d’évaluation) et le biais d’attrition.
Les conditions permettant une levée d’aveugle sont très très nombreuses ; elles peuvent être décelées par :

• la lecture du protocole, de la note d’information qui décrit les effets secondaires auxquels les patients peuvent s’attendre s’ils sont sous verum, du cahier d’observation qui permet de connaitre l’ensemble des données disponibles.
• L’analyse précise des effets secondaires, en particulier leur délai de survenue, et en évitant les segmentations ou regroupements trompeurs
• l’étude, sur site, des procédés de mise en œuvre de l’essai, l’analyse des documents source et l’interrogatoire des participants.
• Eventuellement les questionnaires sur l’aveugle mais ils sont peu crédibles en général.

C’est le rôle des audits et du monitoring, qui permettent aussi de vérifier le processus de randomisation.

Suspecter un biais d’attrition est facile, le nombre de patients suivis est généralement disponible dans la publication. Mais en cas d’attrition, évaluer son impact sur les résultats, et donc l’existence d’un biais, est impossible sans des informations généralement non disponibles dans les publications : les données individuelles.
Pour rechercher les biais et les fraudes, le monitoring et l’analyse des données individuelles sont donc nécessaires.

Une idée récente : ajuster le monitoring en fonction des risques de données altérées.

La FDA et l’EMA (ou ici) ont publié en 2013 des guidelines sur le risk-based monitoring (RBM). Au lieu de faire un monitoring complet et couteux en comparant toutes les données colligées à celles des documents source (SDV), il s’agit d’établir des facteurs de risque pour chaque essai, chaque centre investigateur et chaque type de donnée pour cibler le monitoring sur site.

Ces guidelines considèrent l’analyse des données individuelles par le monitoring centralisé (par opposition au monitoring sur site) comme un moyen efficace de cibler les sites ou données à risque.
Cette idée était déjà présentée par Baigent en 2008 ou par des responsables de l’industrie pharmaceutique en 2009 lors d’une conférence de la National Academy of Sciences.

Plusieurs arguments avancés pour ce RBM :

• Ce sera moins couteux qu’un monitoring complet des données. C’est le principal argument ! Envoyer sur les sites les attachés de recherche clinique est très couteux, environ 20% du coût de l’essai.
• Ce sera plus efficace pour trouver les failles (fraudes ou erreurs). Mais il n’y a pas de preuve de cela…Tout dépend si l’on compare à un SDV réalisé à 100% ou non et de la nature des analyses réalisées sur les données individuelles.
• Cela permet de remplacer pour les évaluateurs (EMA, FDA), le très difficile contrôle d’une action réalisée en divers sites par celui d’un document papier décrivant un procédé et quelques résultats.
• Cela évite de trop embêter les investigateurs avec le monitoring
• Cela permet de créer plein de nouveaux services pour les Contract Research Organisations (CRO) avec une justification de réduction des coûts

Mais comme beaucoup de contrôles, ils sont laissés sous la responsabilité de ceux qui doivent être contrôlés.

Les contrôlés doivent rapidement s’organiser pour créer les règles servant à les contrôler ! Les laboratoires pharmaceutiques sont rompus à cette technique. Ils se sont donc regroupés pour proposer une stratégie de « risk-based monitoring ». Tous les documents de formation sont là.
Les critères de risque pour cibler le monitoring sur site concernent les conditions et les flux de recueil des informations de l’essai. Les propositions d’analyse sont résumées sur les tableaux suivants

Il y a peu de propositions sur les méthodes statistiques de détection des fraudes ou erreurs à partir des données individuelles.

Le RBM ne s’appuie pas sur la recherche des données falsifiées ou fabriquées mais sur les modalités de recueil des données. (conseil aux fraudeurs : avant de penser à créer une donnée, pensez à la manière dont elle doit être rapportée dans les documents du protocole, CRF…)

Les données de tolérance,  en particulier la répartition effet indésirables graves et non graves, sont analysées. C’est effectivement très important de suivre pendant les essais cliniques les données de tolérance. Un effet indésirable grave peut planter l’essai et le produit, il survient sans prévenir et doit être géré très rapidement (imputabilité, facteurs de risque, déclaration). L’efficacité du produit se gère plus facilement…. sur l’ensemble des données.

Dans le cadre du RBM, d’autres données ne seront pas vérifiées car considérées sans impact sur le résultat d’efficacité ou de tolérance. Il ne faudrait pas oublier d’évaluer celles qui permettent de réaliser les ajustements ou celles qui sont pronostiques ou prédictives d’une évolution particulière.

La recherche de fraudes et erreurs sur données individuelles : peut-on aller un peu plus loin ?

Les spécialistes de la recherche de fraudes sont ceux qui disposent de grandes bases de données. Ils sont en plus très motivés car les fraudeurs volent leur argent. Ce sont les sociétés de télécommunication, les banquiers ou organismes délivrant les cartes de crédit, les sociétés d’e-commerce… Pas de problème de double-aveugle et les données se comptent par milliards.
Il y a peu de publications sur la recherche de fraudes par l’analyse statistique des données individuelles des essais cliniques.

Mais les analyses statistiques destinées à la mise en évidence de fraudes ou erreurs qui sont décrites sont très nombreuses et chacun use de son imagination pour trouver un nouveau test (Liste des liens vers quelques-unes des publications en fin d’article).
Ainsi sont analysées pour la recherche des fraudes et erreurs :

• La structure des données : répartition des derniers chiffres des nombres. Les premiers chiffres des données biologiques ne suivent généralement pas la loi de Benford,
• Les données extrêmes (outliers) ou trop proches de la moyenne (inliers) ; les analyses peuvent concerner toutes les données évaluées selon divers regroupements
• Les différences entre les données des centres investigateurs : moyennes, répartition, variances, corrélations entre données, valeurs des p lorsque les données d’un centre sont comparées à celles de la totalité,
• Les corrélations entre données et les autocorrélations pour vérifier si les données sont dépendantes des données précédentes, l’évolution des données en fonction du temps

Il y en a plein d’autres…Le principe est que l’homme n’est pas capable de créer des données au hasard. Parfois, il peut réussir à en créer une mais ne peut en créer plusieurs qui doivent être corrélées ou reliées par une loi quelconque.
Plein de graphiques sont aussi proposés ; il y a même des dessins de visages dont la hauteur des cheveux, la taille du menton ou l’écartement des yeux et leur couleur dépendent de données (Chernoff Faces) afin de représenter graphiquement plus de 3 données.

Ces recherches de fraudes ou d’erreurs sont plus poussées que celles préconisées pour la seule détection des anomalies devant permettre de cibler le monitoring sur site. Vérifier que les consultations ne sont pas faites le dimanche est plus simple que de réaliser les tests décrits dans les différentes publications listées ci-dessous. Il y aura surement des « faux positif » mais le but est d’éviter les faux négatifs. Un SDV de fin d’essai fera le tri.

Mais ces recherches sur les données individuelles comportent des risques d’une levée de l’aveugle. Les réaliser pendant l’essai rend possible une fraude « centralisée ». Les réaliser après la fin de l’essai ne rentre pas dans le cadre du RBM mais dans celui de la validation finale des données. Malheureusement, ces analyses ne sont pas décrites dans les rapports d’essai clinique. On ne sait même pas si elles sont faites.

Et pourtant, il serait intéressant de les connaitre afin que les éventuels fraudeurs soient identifiés. Elles devraient être incluses dans le rapport d’essai clinique avec celles recherchant les biais.

Les fraudeurs ne seront donc que très peu impactés, si on compare le SDV à 100% et le RBM tel que décrit dans les tableaux ci-dessus.

Il faut toujours récupérer les données individuelles, pour faire les analyses qui ne sont pas faites… comme d’habitude, même conclusion.

Quelques publications sur les techniques statistiques
http://firstclinical.com/journal/2014/1411_Centralized.pdf
http://researchonline.lshtm.ac.uk/1386836/
http://www.cluepoints.com/sites/default/files/statistics_in_medicine_-_statistical_prevention_and_detection_of_fraud_0.pdf
http://www.ncbi.nlm.nih.gov/pubmed/18283080
http://www.cluepoints.com/sites/default/files/a_statistical_approach_to_central_monitoring_of_data_quality_in_clinical_trials_0.pdf
http://www.hal.inserm.fr/inserm-00868762/document
http://www.bmj.com/content/bmj/331/7511/267.full.pdf
http://ctj.sagepub.com/content/10/5/783.full.pdf ou http://www.ncbi.nlm.nih.gov/pubmed/24130202
http://www.biomedcentral.com/1471-2288/3/18
http://www.ncbi.nlm.nih.gov/pubmed/23283577