Le revisioni di letteratura in medicina.

Revisioni letterarie e sistematiche, meta-analisi

Igiene, Epidemiologia e Sanit Pubblica Dip. Medicina Sperimentale ed Applicata Universit degli Studi di Brescia

Perch fare revisioni della letteratura scientifica - I

1 ) Laggiornamento scientifico continuo in medicina necessario ma difficilmente praticabile:
Le conoscenze scientifiche diventano rapidamente obsolete (gi dopo 5 anni dalla laurea) ed universalmente riconosciuta la necessit di continui aggiornamenti
Ogni anno vengono pubblicate nuove ricerche su circa 30.000 riviste del campo bio-medico La semplice lettura di articoli originali (letteratura primaria) si dimostrata scarsamente efficace nel modificare le conoscenze e i comportamenti dei medici

Perch fare revisioni della letteratura scientifica - II

2 ) Lavanzare delle conoscenze scientifiche non un processo rapido e facile:
E sempre difficile cambiare atteggiamenti/conoscenze/comportamenti
consolidati (pregiudizi) I risultati di una singola ricerca spesso non sono sufficienti a modificare le conoscenze, e servono conferme indipendenti (possibilit di falsi positivi) I risultati di studi di piccole dimensioni possono essere negativi per solo effetto del caso, in mancanza di una potenza sufficiente a evidenziare leffetto che si voleva indagare (possibilit di falsi negativi) La ricerca scientifica pu essere affetta da diversi tipi di bias, sia nella metodologia di conduzione della ricerca che nella pubblicazione del lavoro o nellinterpretazione dei risultati.

Le linee guida come indicazione di pratica clinica corrente

Le revisioni sistematiche e meta-analisi sono utilizzate spesso per produrre pareri, raccomandazioni e linee guida. Le linee guida hanno un ruolo sostanziale non solo per la pratica clinica corrente ma anche per aspetti medico-legali. Decreto Balduzzi (DL 158/2012), testo rielaborato dalla Commissione Affari Sociali, dopo il parere della Bilancio, che stato posto a voto di fiducia il 18 /10/2012:
RESPONSABILIT PROFESSIONALE E RISCHIO CLINICO (ART. 3)
Lesercente la professione sanitaria che nello svolgimento della propria attivit si attiene a linee guida e buone pratiche accreditate dalla comunit scientifica nazionale e internazionale, risponde dei danni derivanti da tali attivit solo nei casi di dolo e colpa grave.

Procedure prive di documentazione di efficacia ma largamente utilizzate

Sanguinamento e salassi (pi di 2 secoli) Effetto negativo del salasso nelle polmoniti (circa 70 anni) Pneumotorace nella tisi (tecnica del Forlanini,) Lobotomia frontale per disturbi psichiatrici (20 anni) Infezione malarica per neurosifilide Albumina nei pazienti critici (tuttora) Terapia sostitutiva in menopausa (prove di efficacia di scarsa qualit, tuttora) Supplementazione routinaria di vitamina K, calcio e magnesio in gravidanza (tuttora)

Ritardo nella accettazione di prove di documentata efficacia

Vitamina C nella prevenzione dello scorbuto (circa 40 anni) Lavaggio delle mani per la prevenzione della febbre puerperale (circa 40 anni) Utilizzo disinfettanti per la chirurgia (10-15 anni) Idratazione nel colera (70-80 anni) Corticosteroidi nel neonato prematuro (10-15 anni) Terapia trombolitica nellinfarto (circa 15 anni) Terapia con beta-bloccanti nella prevenzione secondaria di pazienti infartuati (15 anni) Somministrazione di folati nel periodo periconcezionale (tuttora)

Come sintetizzare i risultati di pi studi?

Revisioni letterarie:

non hanno una metodologia definita (in genere riportano solo gli studi ritenuti pi importanti dallestensore dellarticolo)
Revisioni sistematiche: hanno una metodologie definita e descritta dettagliatamente riguardo a: ricerca degli studi, estrazione dei dati, valutazione dei risultati; non sempre forniscono una combinazione quantitativa dei risultati Meta-analisi: Sono revisioni sistematiche che producono misure sommarie dei risultati delle ricerche mettendo insieme i dati dei singoli studi in termini quantitativi

Rassegna letteraria (classica)

assenza regole esplicite e condivise di:
strategia di ricerca degli studi criteri di selezione degli studi sulla base della qualit estrazione dei dati sintesi dei dati (di solito qualitativa)

rischio di influenza dellautore nella:

selezione degli studi valutazione critica sintesi dei risultati interpretazione della sintesi

Revisione sistematica e meta-analisi

presenta regole esplicite:
definizione degli obiettivi ricerca sistematica delle fonti esaustivit della ricerca di studi (studi non pubblicati) arco temporale ben definito definizione dei criteri di inclusione e di esclusione degli studi valutazione e scelta degli studi (critical appraisal) estrazione dei dati con un form prefissato valutazione della qualit metodologica degli studi sintesi qualitativa delle informazioni valutazione delleterogeneit tra gli studi sintesi quantitativa dei risultati (meta-analisi) se fattibile e appropriata peer reviewing

Tipi di studi inclusi nelle meta-analisi

Studi sperimentali (trial randomizzati controllati)
- Riguardano soprattutto studi su trattamenti (anche preventivi) - Utilizzano come misura di effetto lodds ratio (OR) anche se le misure originali sono rischi relativi (RR)

Studi osservazionali (coorte e caso-controllo)

- Riguardano soprattutto studi epidemiologici e studi clinici non sperimentali (es. studi di farmaco-epidemiologia) - Utilizzano come misura di effetto lodds ratio (OR) o il rischio relativo (RR) a seconda degli studi inclusi (caso-controllo o coorte)

Risultati di 16 studi sullefficacia della profilassi antibiotica nel ridurre il rischio di infezioni nosocomiali in pazienti ricoverati in terapia intensiva (DAmico et al, 1998)
Studi Profilassi antibiotica
N pazienti con infezione Abel-Smith Aerdts Blair Boland Cockerill Finch Jacobs Kerver Palomar Rocha Sanchez Stoutenbeek Ulrich Verwaest1 Verwaest2 Winter 13 1 12 14 4 4 0 5 10 7 32 61 7 22 31 3 N pazienti totali N pazienti con infezione 23 29 38 17 12 7 4 31 25 25 60 99 26 40 40 17

Controllo
N pazienti totali

Stima effetto del trattamento

RR (95%CI) 0.29 (0.17,0.49) 0.07 (0.01,0.51) 0.33 (0.18,0.61) 0.82 (0.49,1.37) 0.33 (0.11,0.99) 0.69 (0.23,2.01) 0.11 (0.01,2.04) 0.15 (0.7,0.36) 0.39 (0.21,0.73) 0.32 (0.15,0.68) 0.57 (0.40,0.81) 0.61 (0.47,0.78) 0.28 (0.13,0.59) 0.53 (0.33,0.85) 0.72 (0.47,1.09) 0.18 (0.5,0.59)

58 28 161 32 75 20 45 49 50 47 131 202 55 193 200 91

30 60 170 32 75 24 46 47 49 54 140 200 57 185 185 92

Rappresentazione dei risultati degli stessi studi e della loro combinazione mediante forrest plot
Test eterogeneit (Q) = 35.18 (d.f. = 15) p = 0.002

Studi
AbeleSmith AbelAerdts Blair Boland Cockerill Finch Jacobs Kerver Palomar Rocha Sanchez Stoutenbeek Ulrich Verwaest1 Verwaest2 Winter Overall (95% CI)

Rischio Relativo
(95% CI)
0.29 (0.17,0.49) 0.07 (0.01,0.52) 0.33 (0.18,0.62) 0.82 (0.49,1.37) 0.33 (0.11,0.99) 0.69 (0.23,2.01) 0.11 (0.01,2.05) 0.15 (0.07,0.36) 0.39 (0.21,0.73) 0.32 (0.15,0.68) 0.57 (0.40,0.81) 0.61 (0.47,0.78) 0.28 (0.13,0.59) 0.53 (0.33,0.85) 0.72 (0.47,1.10) 0.18 (0.05,0.59) 0.50 (0.43,0.57)

% Peso
6.9 0.5 4.9 7.1 1.6 1.6 0.2 2.5 4.8 3.4 14.5 29.1 3.3 8.0 10.3 1.3

Risk ratio

.001

.01

.05

.2

Limpiego di revisioni sistematiche e meta-analisi

Sono lo strumento oggi pi utilizzato per la produzione di conoscenze scientifiche basate su prove di efficacia (Evidence Based Medicine) Sono attualmente il metodo pi rapido e di riconosciuta attendibilit per laggiornamento continuo in medicina Vengono sempre pi utilizzate da societ scientifiche, task force e gruppi di lavoro ad hoc per esprimere raccomandazioni e linee guida Vengono sempre pi utilizzate per indirizzare le politiche sanitarie

Caratteristiche di una meta-analisi ideale

Esaustiva = include tutti gli studi (compresi quelli non pubblicati) Obiettiva = indipendente da chi la efettua Quantitativa = misura complessiva delleffetto in esame Sistematica = procedimento di estrazione e analisi rigoroso (assenza di bias)

I pregi delle meta-analisi

Sono lunico modo se pure imperfetto di sintetizzare levidenza scientifica complessivamente prodotta su di un determinato aspetto Sono relativamente rapide e poco costose Costituiscono una misura oggettiva e riproducibile e quindi evitano i problemi dei conflitti di interesse e dei pareri autorevoli (ipse dixit) Consentono di ottenere una stima complessiva delleffetto che supera i limiti di numerosit dei singoli studi Un mega trial meglio di una meta-analisi di tanti piccoli trial ?

I limiti delle meta-analisi

La qualit delle meta-analisi dipende dalla qualit degli studi Spesso si evidenzia eterogeneit tra i diversi studi, che non sempre possibile spiegare Una meta-analisi pu individuare ma non correggere bias di pubblicazione (bias di selezione) o errori metodologici di conduzione degli studi (bias di informazione/selezione) Le meta-analisi possono fornire risultati discordanti a seconda del peso assegnato ai diversi studi e dei metodi di analisi Le meta-analisi dovrebbero tenere conto della qualit degli studi esaminati, ma a tuttoggi non esiste alcun criterio standardizzato di valutazione della qualit dei lavori scientifici Richiedono lo stesso rigore metodologico degli studi primari e possono essere egualmente affette da errori sistematici

STUDI OSSERVAZIONALI E SPERIMENTALI

Definizione
STUDIO SPERIMENTALE condotto in condizioni controllate e implica la manipolazione di una o pi variabili (indipendenti) per poter determinare leffetto di questa manipolazione su di unaltra variabile (dipendente) STUDIO OSSERVAZIONALE studiato il decorso naturale dei fenomeni. I cambiamenti o le differenze in una o pi variabili sono studiati in relazione a cambiamenti o differenze in altre variabili senza lintervento degli investigatori.

(Rothman KJ, S. Greenland, Modern Epidemiology, Philadelphia, USA, 1998)

Il metodo GRADE

Il metodo GRADE per la valutazione della qualit dellevidenza e la produzione di raccomandazioni/linee guida
GRADE = Grading of Recommendations Assessment, Development and Evaluation sorto nel 2000 come gruppo collaborativo informale di persone interessate ad affrontare i limiti dei sistemi di grading con lo scopo di sviluppare un comune, ragionevole approccio alla classificazione della qualit delle prove e della forza delle raccomandazioni

Il metodo GRADE
La qualit delle prove non dipende solo dal disegno dello studio e dipende dallesito (outcome) La qualit dellevidenza comprende anche la coerenza (consistenza) tra gli studi e la trasferibilit dei risultati La qualit dellevidenza va valutata in funzione dellesito

Il metodo GRADE
Distingue tra: Qualit dellevidenza:
il grado di confidenza che la stima delleffetto sia corretta: alta moderata bassa molto bassa

Forza della raccomandazione:

il grado di confidenza che un certo intervento produca pi beneficio che danno: forte

debole

Una bassa qualit dellevidenza pu corrispondere a una forte raccomandazione, se c un consenso di opinioni nel prendere una decisione

Il metodo GRADE: i fattori presi in considerazione per la produzione di raccomandazioni/linee guida

Qualit delle prove Bilancio rischi/benefici

Valori e preferenze dei pazienti

Forza della raccomandazione

Bilancio benefici/costi

POSITIVO - forte - debole

NESSUNA RACCOMANDAZIONE

NEGATIVO - forte - debole

Perch le rassegne (a volte) non aiutano? complessit dellinterpretazione differenziazione dellevidenza disponibile complessit dellorganizzazione ruolo di attori diversi

La qualit delle rassegne di letteratura

Rassegna di 106 reviews sui rischi del fumo passivo

The Cochrane Library

The Cochrane Database of Systematic Reviews The Database of Abstracts of Reviews of Effectiveness The Cochrane Controlled Trials Register The Cochrane Methodology Register
Pubblicate ad oggi da CDSR: circa 3.000 reviews oltre 20.000 collaboratori in tutto il mondo

Rassegne Cochrane
efficacia di trattamenti medici e chirurgici efficacia di interventi preventivi (individuali e di popolazione) efficacia di interventi organizzativi costo/efficacia di interventi diagnosi...

torna

Trial clinici, studi inutili bruciano 85 miliardi di dollari lanno (settembre 2011)
L'85% delle ricerche scientifiche che si fanno si perdono, nel senso che vengono fatte senza un esame preventivo degli studi gi fatti e delle conoscenze acquisite, non si considerano le reali esigenze dei pazienti o non si pubblica alcuno studio perch i risultati sono stati deludenti. Lo sottolinea nel suo intervento al simposio per i 50 anni del Mario Negri Iain Chalmers, ricercatore e direttore della rivista "John Lind Library". Il risultato sono perdite economiche quantificabili in 85 miliardi di dollari l'anno aggiunge Chalmers. Circa il 50% degli studi spiega sono progettati senza riferimenti alla ricerca dei risultati esistenti e non vengono compiuti i passi necessari per ridurre gli errori. Il che a volte ha portato negli anni a far partecipare persone a studi che si sono poi rivelati inutili. Inoltre il 50% degli studi non viene pubblicato per intero o il ricercatore non scrive nulla perch i risultati sono stati al di sotto delle aspettative. Il punto che il presupposto di molte ricerche non sono i pazienti, ma l'interesse economico rincara il direttore del Mario Negri Silvio Garattini. Ma non ha senso continuare a ripetere le stesse ricerche, senza aggiungere nulla, una dispersione di risorse sia economiche sia umane conclude.

Bias di pubblicazione
Differente probabilit di pubblicazione di risultati positivi (attesi) rispetto a negativi Determina un bias (di solito un aumento del RR) nella misura sommaria Pu essere individuato mediante metodi grafici (funnel-plot )

Publication bias (II): costruzione di un funnel plot

RR vero

Nb di soggetti

RR

Funnel-plot for detection of publication bias

La qualit dei trial: la scala di Jadad (1996)

1. 2. 3. Lo studio era descritto come randomizzato? (1=si; 0=no) Lo studio era descritto come in doppio cieco? (1=si; 0=no) Erano descritti i pazienti che abbandonavano lo studio o ne erano esclusi? (1=si; 0=no) Aggiungere un punto se: Per la domanda 1, il metodo con cui stata generata la sequenza di randomizzazione era descritto ed era appropriato (tavole di randomizzazione, generazione al computer, ecc.); Per la domanda 2, il metodo di doppio cieco era descritto ed era appropriato (placebo identico, placebo attivo, riproducibilit della somministrazione, ecc); Sottrarre un punto se: Per la domanda 1, il metodo con cui stata generata la sequenza di randomizzazione era descritto ed era inappropriato (pazienti allocati alternativamente, secondo la data di nascita, il numero di ammissione ospedaliera, ecc.); Per la domanda 2, il metodo di doppio cieco era descritto ed era inappropriato (confronto tra farmaco per via orale e farmaco parenterale, pi somministrazioni contro singola somministrazione, ecc)

Bias nellanalisi dei dati e/o nellinterpretazione dei risultati

absence of proof is not proof of absence (lassenza di prove non una prova di assenza di un effetto): i risultati negativi non implicano necessariamente la mancanza di una relazione
in diverse meta-analisi si visto che gli studi sponsorizzati da aziende private hanno, rispetto a quelli non sponsorizzati: maggiore probabilit di avere un risultato positivo una maggiore frequenza di analisi dei dati per sottogruppi uninterpretazione spesso pi positiva sulleffetto indagato rispetto a quanto effettivamente risulta dallo studio

Bias nel riportare i risultati degli studi (reporting bias)

Assessment of risk of bias (Cochrane handbook)

1. Adequate sequence generation (such as computer generated random numbers and random number tables, whilst inadequate approaches included the use of alternation, case record numbers, birth dates or days of the week). 2. Adequate measures to conceal allocation. Concealment was deemed adequate where randomisation is centralised or pharmacy-controlled, or where the following are used: serially numbered containers, on-site computer-based systems where assignment is unreadable until after allocation, other methods with robust methods to prevent foreknowledge of the allocation sequence to clinicians and patients. 3. Blinding was deemed adequate if blinding was applied (whether the participant, care provider or outcome assessors) 4. Completeness of outcome data was deemed adequate if intention to treat analysis was performed for each outcome and not what patient numbers the analysis was confined to. 5. Free of selective reporting: was deemed adequate if all stated outcomes were reported on and presented. We will highlight any selective outcome reporting.

I conflitti di interesse nella ricerca biomedica: il ruolo degli sponsor (az. Farmaceutiche)

I conflitti di interesse nella ricerca scientifica. Il caso Wakefield - 1

I conflitti di interesse nella ricerca scientifica. Il caso Wakefield - 2

I conflitti di interesse nella ricerca scientifica. Il caso Wakefield (da Epicentro)

11 febbraio 2010 - Sono passati dodici anni da quando Andrew Jeremy Wakefield pubblic sulla rivista scientifica britannica The Lancet un articolo in cui si ipotizzava un legame tra la vaccinazione contro il morbillo e lautismo. Dodici anni di paura e di sfiducia, non privi di ripercussioni sulla sanit pubblica. Proprio nel momento in cui lOrganizzazione mondiale della sanit aveva posto come obiettivo per il 2007 leradicazione del morbillo da tutta Europa, la pubblicazione di Wakefield provoc un drastico calo nellaccettazione della vaccinazione antimorbillosa e la copertura vaccinale and via via diminuendo. Ancora oggi, nel 2010, leliminazione della malattia dalla regione europea ancora un obiettivo difficile da raggiungere. Il caso Wakefield: ecco com andata a finire

Wakefield was dishonest and irresponsible over MMR research, says the General Medical Council
(BMJ 2010;340:c593 Published 29 January 2010) Andrew Wakefield, the gastroenterologist whose suggestion of a link between autism, bowel disease and the measles virus sparked a UK wide scare over the safety of the measles, mumps, and rubella (MMR) vaccine, has been found guilty of dishonesty and irresponsibility by the General Medical Council. The UK regulator held that Dr Wakefield abused his position, subjected children to intrusive procedures such as lumbar puncture and colonoscopy that were not clinically indicated, carried out research which flouted the conditions of ethics committee approval and brought the medical profession into disrepute. Although the paper conceded that it had not found a definite link, Dr Wakefield caused a furore when he suggested during a press conference that single vaccines for measles, mumps, and rubella might be preferable to a triple vaccine. Dr Wakefield, 52, failed to disclose to the Lancet that the study had received funding from the legal aid board through a solicitor who hoped to mount a legal action against the manufacturer, and that he had also filed a patent application for a new vaccine. His failure to mention these conflicts of interest was contrary to his duties as senior author of the Lancet paper, the GMC panel found, and he had dishonestly represented that the children in the paper had come through GPs or paediatricians by the standard route. Ten of the papers 13 authors later retracted the "interpretation" of the data ( BMJ 2004;328:602;). Subsequent research has found no evidence of a link between the vaccine and autism.

Il caso Wakefield: i retroscena

Wakefield venne contattato da uno studio legale che aveva intenzione di intentare causa allazienda produttrice del vaccino trivalente per i possibili danni a bambini affetti da autismo e altri disturbi. Wakefield ricevette i 12 casi descritti nellarticolo dalle famiglie interessate alla causa (di essi, 11 citarono poi in giudizio le aziende), ricevendo allinizio circa 56.000 euro per occuparsi del caso. Alla fine Wakefield ricevette un compenso di circa 486.000 euro pi le spese per il suo ruolo nella causa contro il vaccino trivalente Wakefield era coinvolto in un brevetto riguardante un nuovo vaccino monovalente contro il morbillo. In una celebre conferenza successiva alla pubblicazione dellarticolo su Lancet sostenne che lassociazione tra vaccino e autismo era dovuta allimpiego del trivalente anzich del monovalente.

Trial clinici: dati oscurati e non pubblicati

Molti risultati dei trial clinici non vengono resi pubblici e spesso anche quelli resi noti sono parziali e non soddisfacenti. Queste le conclusioni cui sono giunti alcuni ricercatori che hanno condotto una serie di analisi sull'argomento pubblicate in questi giorni sul British Medical Journal. Le nuove regole stabilite dall'Fda nel 2007 hanno reso obbligatoria la pubblicazione di un sommario dei risultati sul sito web ClinicalTrials.gov per tutti gli studi entro 12 mesi dalla loro conclusione. Dal 2008 inoltre la Federazione internazionale delle aziende farmaceutiche ha richiesto ai suoi membri di registrare tutti gli studi condotti su pazienti e di pubblicare un sommario dei risultati. Analizzando i dati del 2009 i ricercatori inglesi hanno visto infatti che solo per il 22% degli studi registrati su ClinicalTrials.gov sono stati resi disponibili i dati un anno dopo la fine della sperimentazione. E meno della met di tutti gli studi finanziati dal National Institutes of Health degli Usa viene pubblicata su riviste entro 30 mesi dalla loro fine. Inoltre, quando nelle revisioni degli studi sui farmaci si considerano anche i dati precedentemente non pubblicati, i risultati sono spesso diversi.