False ricerche

Mi ero messo da parte questo articolo di John Ioannidis per non so quale motivo, forse un utilizzo simile a quello che ne faccio ora, forse qualcosa di più approfondito, ad ogni modo direi che Why Most Published Research Findings Are False potrebbe essere un buono spunto di discussione in questo momento storico particolare in cui, soprattutto in campo medico e genetico, la concentrazione della comunità è rivolta a un problema ancora sostanzialmente insoluto: quello del covid19.

There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.

Ho deciso di lasciare non tradotto né l'abstract qui sopra né i passi che vi propongo qui sotto, un po' per pigrizia, ma anche per non inquinare con mie possibili interpretazioni quanto scritto da Ioannidis. Certo aver selezionato un paio di passi fornisce una sorta di interpretazione, ma spiego che mi sono limitato a estrarre un passo di "attualità", se mi passate il termine nei confronti di un articolo del 2005:

Research findings from underpowered, early-phase clinical trials would be true about one in four times, or even less frequently if bias is present. Epidemiological studies of an exploratory nature perform even worse, especially when underpowered, but even well-powered epidemiological studies may have only a one in five chance being true, if R = 1:10.

Ovviamente Ioannidis propone anche una serie di soluzioni. Di queste vi propongo quella che anch'essa mi sembra più di "attualità" e che, molto probabilmente, risulterà vera nei prossimi mesi e anni:

Second, most research questions are addressed by many teams, and it is misleading to emphasize the statistically significant findings of any single team. What matters is the totality of the evidence.

Ovviamente il consiglio è leggere l'articolo nella sua interezza:

Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine, 2(8), e124. doi:10.1371%2Fjournal.pmed.0020124