Funziona o non funziona ?

Un dilemma al pari di quello di Amleto

Quante volte abbiamo sentito dire di un prodotto: “scientificamente testato” ed anche “l’efficacia di questo prodotto è garantita da un numero X di studi indipendenti“.

Ma siamo sicuri che questo basti a dire che il prodotto in questione fa bene ? Oppure c’è qualche cosa che non va ?

Prima di tutto cerchiamo di spiegare in gergo quotidiano cosa significhi “testare un prodotto”.

Se supponniamo che vogliamo testare l’efficacia di un nuovo farmaco contro una malattia, ad esempio,(ma lo stesso metodo si puo’ usare per testare un integratore alimentare, un prodotto di bellezza, uno shampo, un sapone e tante altre cose simili ) potremo agire in questo modo:

  • selezioniamo 2 insiemi di persone – questi insiemi devono essere i piu’ simli tra loro ( non stiamo a parlare qui di come fare,  ne parleremo in un altro articolo, se ne avrò tempo )
  • uno di questi gruppi che chiameremo “gruppo di controllo” seguirà la terapia standard, l’altro gruppo, che chiameremo “gruppo di test” seguirà la nuova terapia.
  • prima di cominciare la terapia, ad entrambi i gruppi di persone viene fatto uno “screening” generale per vedere quali sono le effettive condizioni di partenza
  • a questo punto si curano i 2 gruppi il controllo con la terapia standard e il test con la terapia da sperimentare,
  • finita la terapia si fa un nuovo screening generale ai due gruppi. Talvolta si fa anche uno o più screening durante la terapia, per vedere quale dei due farmaci agisce più rapidamente.

Questa metodologia nell’esempio appena fatto è riferita ad un farmaco, ma potrebbe essere un prodotto cosmetico, un apparato per fare ginnastica in casa, un oggetto che tiene lontane le mosche dal giardino, e così via; il metodo è applicabile ad una miriade di campi di ricerca.

A questo punto si analizzano questi dati usando degli strumenti matematici per vedere se c’è una differenza fra il guppo di test e quello di controllo, e se tale valore è frutto del caso oppure è un valore vero.

Esistono vari sistemi di analisi dei dati, che sfruttano diverse tecniche e diverse grandezze della popolazione. Qui li citiamo solo per dovere di completezza:

  • Analisi della Varianza (Anova – che è una estensione del famoso test “T di Student” ),
  • Analisi della Covarianza (Ancova (pagina in inglese)),
  • Analisi  multipla della varianza e della covazianza (Manova e Mancova (pagine in inglese) )
  • altri metodi che non sto qui a citare per brevità….

Potrei continuare ma fermiamoci qui.

Questi metodi di analisi, sono ben conosciuti a quelli del settore, funzionano a dovere per grandi campioni – ovvero se analizziamo dati con almeno 31 casi per gruppo [nel nostro caso dovremmo studiare 62 = 31 + 31 persone] – ma possono funzionare anche per gruppi più piccoli, ci sono infatti degli “accormimenti” (delle correzioni) che consentono di trarre risultati validi anche con cifre più ridotte. Ovviamente, c’é da dire che più piccolo è il campione è meno “robusto” (sensibile alle variazioni del campione in analisi) è il risultato che si ottiene.

 Vorrei far notare una cosa. I metodi citati sopra sono metodi statistici appartenenti al gruppo dei metodi della statistica inferenziale detti test di verifica di ipotesi, ovvero si basano su un campione ridotto e non su tutta la popolazione e su questo campione si fanno delle ipotesi che il metodo statistico deve testare e dirci se sono ipotesi accettabili oppure no.

Se si cambia il campione i dati risultanti possono cambiare, anche di molto ed in certi casi può accadere che un risultato negativo diventi positivo e viceversa.  È quindi necessario avere un indicatore di quanto sia probabile che avvenga questo tipo di errore e questo indicatore è la cosiddetta “variabile p“.

Questa variabile ci indica quale è la probabilità che il nostro risultato sia frutto di un caso. In genere si accetta un errore inferiore al 5% ovvero si considera “valido” un test che ha “p<0.05“.  Ma questo significa che se effettuiamo lo stesso test su 100 campioni 96 ci daranno lo stesso risultato mentre 4 ci daranno il risultato opposto.

Rendiamoci conto di una cosa: eseguire 100 test su cento campioni indipendenti, significa esaminare almeno 6200 persone – nel caso esamisassimo la funzionalità di un farmaco. Ed in questo caso il 4% dei risultati errati indica che quelli  danno risultati positivi alla cura ma solo per caso  sono 124 persone su 3100 persone effettivamente curate.

In altre parole: questo significa che per puro errore la guarigione si verifica per puro caso e non per il farmaco meno di una volta su 20.

Non male: c’è di che star tranquilli.

Ma è proprio così ? Forse…………..

… e vi spiego perchè dico “forse“.

Fare sperimentazione di questo genere comporta un grande impegno di persone e di tempo e le strutture indipendenti non si possono assolutamente permettere di compiere spontaneamente ( “motu propriu” si direbbe in abito legale )  ricerche del genere.

Di solito tali ricerche sono magnanimamente richieste e finanziate proprio dalle ditte che producono il prodotto da testare, in modo da poter apporre un bollino di qualità al proprio prodotto. L’unica condizione che tali imprese mettono sulla ricerca, che altrimenti è assolutamente libera, è il diritto di IMPEDIRE ogni qualsiasi pubblicazione dei dati e dei risultati della ricerca stessa senza fornire alcuna giustificazione. In parole ancora più semplici: la ricerca, gli esperimenti, i controlli e tutto il resto viene fatto in autonomia; ma la ditta “sponsor” alla fine è quella che decide cosa dire cosa pubblicare e cosa no. Assurdamente può anche far passare tutto sotto silenzio.

Oppure, può accadere che la clausola in questione sia sostituita dalla equivalente che afferma che tutti i dati della ricerca sono di proprietà della ditta committente la ricerca ed è sua esclusiva prerogativa decidere la sorte di quello che risulta dalla ricerca. Il risultato non cambia.

Cosa comporta tutto questo ?

Facciamo un esempio puramente immaginario.

Supponiamo che esista ( ma sappiamo bene che non è così ) una ditta che abbia invetato un prodotto bello,buono, ma che non fa assolutamente nulla rispetto alle proprietà che gli vengono conferite dalla pubblicità. Supponiamo anche che questa ditta immaginaria, per conferire al suo prodotto un bollino di qualità assolutamente improbabile ( e qui entriamo nella fantascienza ) decida di elargire una minima parte dei suoi profitti ultra milionari per effettuare delle ricerche su questo prodotto: se queste ricerche andassero male, sarebbero soldi scaricate dalle tasse, se comunqe anche solo pochi di questi studi andassero bene potrebbe pubblicizzarli e tenere in ombra tutti gli altri.

Il suo ipotetico slogan potrebbe essere “Testato clinicamente da 3 istituti indipendenti di ricerca” omettendo di dire che altri 57 istituti hanno fatto i test e non ne è uscito nulla di buono.

Infatti, se accettiamo come possibilità di errore nel risultato una possibilità di prendere fischi per fiaschi pari al 5% significa che su 60 studi effettuati 3 dicono il contrario degli altri 57 casi. Ma non significa che questi dicano una buogia di per sé: significa solo che il campione usato ha quei valori, e bisogna considerare il risultato non “da solo” ma insieme alla miriade di altri test effettuati.

L’insieme dei 60 studi ci direbbe che il prodotto non funziona a meno di un errore dovuto al caso del 5%, ma esercitando il suo diritto di veto, questa RIPETO ipotetica ditta renderebe pubblici solo quelli in cui il prodotto funziona. Miracolo: il prodotto funziona nel 100% dei casi………….

Allora, il prodotto funziona o non funziona ?

“Ai posteri l’ardua sentenza”

Alessando Manzoni – Il Cinque Maggio

Advertisements

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...