Docteur Random et Mister Foutraque

(Notre mise au cabinet noir est-elle scientifiquement fondée ?)

Communication de PLT :

Le paradoxe de Simpson

Première histoire : ce sont des docteurs et non plus des hôpitaux. Ils ont bien écouté les messages de la DGS de ne pas abuser de la chloroquine ce qui explique que le nombre de patients non-traités est de 350 pour seulement 85 traités (ils avaient quelques doutes et ils sont curieux.). Mais ici, les effectifs traités et non-traités sont plausibles alors que tu as immédiatement vu qu’il y avait un problème avec les hôpitaux. Les 10 confrères partagent leurs résultats. Stupéfaction! Pour toutes les patientèles, le pourcentage d’échecs est plus grand chez les non-traités que chez les traités ! furieux, ils demandent au ministre une opinion éclairée. Le Ministre reprend tous les chiffres et sa conclusion est que le pourcentage d’échecs sous chloroquine (12/85=0.14) a été, de peu il est vrai, supérieur à celui des non- traités (47/350=0.13) ce qui le conduit à conclure que la chloroquine n’a pas d’efficacité avérée et que compte tenu de ses effets secondaires chez le patient âgé, il vaut mieux s’en passer.


effectifsCas echec% echecconclusion
DoctorsTraités chloronon Traitéschloronon-traitéschloronon traitésDelta % non-traites vs chloroconclusion efficacité de la chloro
15600100.0166670.017oui
21050160.10.120.020oui
31060170.10.1166670.017oui
41045150.10.1111110.011oui
5520290.40.450.050oui
6510130.20.30.100oui
72030470.20.2333330.033oui
85300200.0666670.067oui
91035140.10.1142860.014oui
10510130.20.30.100oui
Total8535012470.140.18287




% chlor% non-traités






0.14120.1343   non ; % global de mortalité supérieur pour les traités chloroquine

Seconde histoire : c’est mon exemple initial, mais cette fois, le nombre de traités et de non-traités est le même pour chaque hôpital, mais il persiste des différences d’effectifs entre les hôpitaux (je n’ai rien changé des pourcentages). Ici, on observe que les conclusions individuelles et la conclusion globale sont qualitativement les mêmes, mais le pourcentage moyen d’échecs (0.028 vs. 0.035) n’est pas le même que celui de la moyenne des pourcentages (0.034 vs 0.0445).


effectifs% echec
Cas d’echecs
HôpitauxTraités chloronon TraitésTraités chloroNon traités Traités chloronon traitésconclusion efficacité de la chloro
115000150000.010.015 150225oui
2500050000.040.045 200225oui
3100010000.070.08 7080oui
410000100000.050.06 500600oui
55005000.040.07 2035oui
62002000.040.05 810oui
7200020000.010.015 2030oui
85005000.010.015 57.5oui
9400040000.020.025 80100oui
10100010000.050.07 5070oui
Total39200392000.03400.0445
11031382.5





%echec0.0281380.035268oui

Dernier exemple : toujours mon exemple initial, mais cette fois les effectifs sont les mêmes pour les traités et non-traités et également les mêmes entre les hôpitaux. Maintenant les conclusions sont les mêmes qualitativement et numériquement


effectifs% echec
Cas d’echecs
HopitauxTraités chloronon TraitésTraités chloroNon traités Traités chloronon traitésconclusion efficacité de la chloro
115000150000.010.015 150225oui
215000150000.040.045 600675oui
315000150000.070.08 10501200oui
415000150000.050.06 750900oui
515000150000.040.07 6001050oui
615000150000.040.05 600750oui
715000150000.010.015 150225oui
815000150000.010.015 150225oui
915000150000.020.025 300375oui
1015000150000.050.07 7501050oui
Total1500001500000.03400.0445
51006675





%echec0.0340.0445oui

Je pense que ce petit exemple doit faire réfléchir et il montre qu’il peut être difficile de s’entendre sur des chiffres. J’ai bâti l’exemple initial de l’hôpital en 5 minutes avec pour objectif d’avoir ce que les spécialistes appellent le paradoxe de Simpson.

Mon exemple est complètement pourri et on ne peut rien en tirer si on est un bon statisticien avec de l’éthique. On pourrait seulement conclure, si les 10 hôpitaux étaient effectivement tous les hôpitaux des Bouches-du- Rhône, que le pourcentage de mortalité des traités avec chloroquine dans les Bouches-du- Rhône a été supérieur à celui des non-traités, mais en aucun cas, on ne pourrait affirmer que c’est la chloroquine qui est la responsable ! Dans ce genre de résultats, on a de nombreux biais dont le plus fréquent est celui du facteur de confusion et pour mon exemple, le premier facteur de confusion à considérer serait que les patients à la chloroquine étaient plus gravement atteints que les autres et sont morts de la covid-19 et non de la toxicité de la chloroquine. On meurt plus souvent dans un lit mais on ne peut pas dire qu’un lit est dangereux.

Bref, mon exemple illustre pourquoi la randomisation est une nécessité (contrairement à ce que dit le sociologue dont tu m’as envoyé la vidéo) et pourquoi les essais cliniques contrôlés apporte des preuves d’un niveau supérieur aux résultats des études observationnelles qui ne sont pas randomisées. Cela ne veut pas dire qu’un essai clinique est toujours valable et ils peuvent être entachés de nombreux biais (voir ce site) ou tout simplement conçus pour tromper son monde en répondant à une question sans intérêt médical mais juteuse sur le plan marketing.

Un autre aspect des essais cliniques est leur caractère de double-aveugle pour éviter les opinions (biais cognitifs) dont un très bel exemple est celui de la comparaison Coca-Cola vs. Pepsi ! Le neuromarketing (interdit en France) joue à fond avec cela pour imposer une marque en capitalisant sur sa notoriété et non sur la qualité substantielle du produit vendu. Je peux te passer cette publication qui me semble emblématique de nos biais.

Toutes ces notions ont été progressivement acquises depuis la fin de 19e siècle avec l’histoire du début de la fin de la saignée et du petit numéricien Pierre Charles Louis qui s’est fait écraser par Broussais dont la faconde valait celle de Raoult. Mais tout cela reste incommunicable au profane qui peut très vite tomber dans des chausse-trapes (lorsqu’il est un médecin de bonne foi) et surtout, manipulable à souhait par des professionnels (l’exemple serait peut-être celui du Brexit avec Cambridge Analytica et le recours à l’IA etc.)

Ma réponse :

Cher ami,

Merci pour l’exposé. Je ne me souviens pas du passage où Jean-Dominique Michel s’en prend aux essais randomisés. Je pense que la critique la plus convaincante que j’en aie entendue jusqu’ici n’est pas de principe. Elle consiste à souligner les problèmes pratiques de leur mise en œuvre, qui explique d’ailleurs, ai-je cru comprendre, leur rareté dans la littérature qui fonde l’usage, en réalité toujours très empirique, de la plupart de nos médicaments, en dépit de l’approbation majoritaire dont ils bénéficient. L’essai randomisé, en quelque sorte, c’est la Rolls des essais. Tout le monde ne peut pas rouler en Rolls, et nombre de ceux qui en font l’éloge se contentent en pratique d’échantillons constitués de bric et de broc. La différence avec quelqu’un comme Raoult, c’est qu’il assume et théorise ce choix. On tombe sur une problématique non purement scientifique mais plus vaste : une opposition entre médecine d’urgence et science pure, une opposition entre médecine de pauvres et médecine de riches, une opposition entre soignants de terrain et hommes de laboratoires, une opposition entre médecine individuelle libérale et politique hygiénique de masse et autoritaire, une opposition entre capacité diagnostique d’un praticien expérimenté et vastes campagnes de dépistage dans le cadre de systèmes pharmaco-industriels standardisés, une opposition entre approche théorique mathématisée et approche observationnelle. Pour moi : l’opposition entre Harvey et Descartes.

Je me souviens que lors de nos études le sujet émergeait parfois de la concurrence entre vétos et agros, ces derniers faisant à nos yeux illégitimement de la médecine vétérinaire lorsqu’ils prescrivaient des adjuvants prophylactiques dans les premiers élevages de masse sur la base de calculs qui nous dépassaient. Il me semble que lorsqu’ils se mêlent de régenter la prescription, nous enferment ou relâchent selon les indicateurs ésotériques et les prédictions algorithmiques de leurs savants Cosinus, pensent en termes de commandes massives de vaccins et autres remèdes et se posent la question d’en rendre l’administration obligatoire sans se préoccuper des particularités individuelles, nos hygiénistes gouvernementaux font de la médecine collective du même genre et nous traitent comme du bétail. Or, ce qu’ils appellent « essais randomisés » fait partie de leur arsenal argumentaire, sinon de leur pratique réelle. C’est ce point qui me semble mériter examen.

Pour revenir à tes désormais trois tableaux, je crois comprendre ce que l’on entend par essai randomisé, que je ne savais pas avec précision. Il s’agit apparemment de ce que je nommais vaguement ‘ajustement’ pour que les échantillons soient véritablement ‘comparables’. Le problème qui saute aux yeux est celui des effectifs. Pour éliminer les biais statistiques, il faut apparemment que tous les échantillons aient la même taille. Il faut aussi qu’ils aient une taille minimale pour des raisons de loi des grands nombres, je suppose. Il faut donc que cette taille soit obtenue, je suppose, par tirage aléatoire dans des effectifs encore plus grands, et je suppose encore, considérablement plus grands pour des raisons à nouveau de loi des grands nombres. Tout cela n’est pas très raisonnable. Les essais randomisés rigoureux sont une impossibilité pratique. En pratique, je soupçonne qu’on se contente souvent, pour faire nombre, d’ajouter des données obtenues de droite et de gauche, mais sans être bien certain que tout le monde mette la même réalité sous des mots comme « succès » et « échec ».

Aussi le débat n’est-il pas entre deux termes, mais trois : études observationnelles de fiabilité variable et à critiquer ; essais randomisés rigoureux, mais il n’y en a pas ; synthèses mathématisées, qui se donnent pour rigoureuses parce qu’elles sont mathématisées, mais fondées sur des données abondantes mais hétérogènes, et qui se font passer pour rigoureuses alors qu’elles relèvent du bricolage, voire, comme on a vu avec Surgisphère, de la fabrication impudente à intention frauduleuse.

Dis-moi où je me trompe.

JP