La valutazione critica di un articolo scientifico

Universit degli Studi G. DAnnunzio

Facolt di Medicina e Chirurgia
Corso di Laurea Specialistica in Scienze Infermieristiche e Ostetriche

Dott.ssa Elisabetta Palma

Dott. Giancarlo Cicolini

Obiettivi di apprendimento:
Definire la valutazione critica (Critical Appraisal C.A.) in un contesto pratico Comprendere i criteri chiave per la C.A. e selezionare una checklist o altro strumento appropriato per la C.A. Identificare le conclusioni di un articolo e valutare se la metodologia giustifica risultati Valutare se i risultati sono generalizzabili ad altre aree Sviluppare metodi di registrazione e presentazione di C.A. ad articoli, con la consapevolezza delle risorse necessarie a supportare il processo

Una riflessione
Leccesso di informazioni un problema reale per i clinici, i manager e i ricercatori. Considerare metodi capaci di ridurre il volume della letteratura (risorse, abilit, tecnologie)
Risorse Es.: ricerca di riviste full-text Abilit Es.: capacit di lettura veloce "Skim reading Tecnologie Es.: servizio di e-mail alerting

La C.A.
unabilit supportata da un certo numero di risorse appositamente sviluppate per lo scopo e da un certo numero di tecnologie come le riviste interattive online. Ma cosa davvero la C.A. di un articolo e in cosa si differenzia dalla semplice lettura?

La valutazione:
una tecnica che implementa lefficienza della vostra lettura, permettendovi di escludere ricerche con disegni di ricerca troppo deboli per la pratica. Questo permette di avere tempo libero per lanalisi sistematica di studi qualitativamente buoni ed estrarne i punti salienti. La valutazione permette di risolvere 2 ordini di problemi comuni a diverse discipline: Leccesso di informazioni pubblicate (in generale l80% di quello che vi serve si trova nel 20% della letteratura totale, non avrete mai bisogno del resto!) La consapevolezza che tutti gli studi contengono errori, anche se spesso minori, o sono troppo lontani dalla realt (effetto ivory tower")

Gli strumenti utili della C.A.:

La C.A. utilizza strumenti utili per:
la valutazione sistematica della letteratura separare gli studi buoni dai cattivi quando nella ricerca incontrate studi in conflitto filtrare la ricerca originale o le meta-analisi di buona qualit decidere quali articoli influenzeranno la vostra pratica clinica infrangere le barriere tra ricerca (scienza pura) e pratica (scienza applicata) supportare lo sviluppo dellEvidence Based Practice (EBP).

Una riflessione Quando vi imbattete in un articolo di ricerca come decidete se: vale la pena leggerlo? il contenuto credibile?

Fattori rilevanti / 1
RILEVANZA argomento dello studio, importanza attuale nella pratica clinica, somiglianza con il setting dove state lavorando, come stato scritto, a chi rivolto, ecc. FATTORI ESTRINSECI - chi ha scritto larticolo, dove lavora, qualifica professionale, se conosciuto, chi finanzia la pubblicazione, in che rivista pubblicato, se lautore ha gi scritto sullargomento (non sono necessariamente associati con la qualit dellarticolo) FATTORI INTRINSECI - appropriatezza del disegno dello studio rispetto al quesito di ricerca, la numerosit campionaria, i metodi di reclutamento, i metodi utilizzati per ottenere i risultati, ecc. (sono in relazione allo studio stesso)

Fattori rilevanti / 2
La C.A impone di liberarsi da pregiudizi o bias nei riguardi dei fattori estrinseci (i puristi affermano che non dovrebbero essere conosciuti al momento del giudizio). Il giudizio iniziale va dato sulla rilevanza generale dello studio. Successivamente, guardare ai fattori intrinseci utilizzando una checklist strutturata, infine riconsiderare lutilizzabilit nella pratica.

Le checklist
Esistono vari tipi di checklist sulla base del tipo di ricerca oppure specifiche per una professione (es: gli infermieri) o disciplina (es.: promozione della salute) Nella scelta della lista focalizzate sulla qualit del metodo e non sulla lunghezza della lista. In genere un buono studio si fa riconoscere, mentre studi mediocri possono sembrare di buona qualit.

Griglie per la C.A. - siti utili

Studi caso-controllo: http://www.public-health.org.uk/casp/ Revisioni sistematiche: http://www.publichealth.org.uk/casp/review.html RCT: http://www.publichealth.org.uk/casp/rct.html Studi qualitativi: http://www.publichealth.org.uk/casp/qualitative.html

C.A. di ricerche originali

Questo modello si applica a studi primari e ricerche originali che utilizzano la metodologia quantitativa,
utilizzate la skim reading per farvi unidea analizzate di nuovo, lentamente, valutando la rispondenza ai tre aspetti:
VALIDITA AFFIDABILITA APPLICABILITA

Le domande da farsi
VALIDITA
le conclusioni sono giustificate dalla metodologia e dai risultati? la metodologia corretta? gli autori hanno fatto affermazioni ragionevoli? ci sono altri fattori confondenti che andavano considerati? se utilizzano un campione, come hanno evitato i bias?

AFFIDABILITA APPLICABILITA

Le domande da farsi
VALIDITA AFFIDABILITA
quali sono i risultati dellarticolo? leffetto stato dimostrato abbastanza da giustificarne la significativit? quanto siamo confidenti che il risultato si trova nellintervallo della ragionevole aspettativa e non dovuto al caso?

APPLICABILITA

Le domande da farsi
VALIDITA AFFIDABILITA APPLICABILITA
i problemi che devo affrontare sono sufficientemente simili a questi dello studio? posso estrapolarne i risultati? posso generalizzarli al mio posto di lavoro?

Metodologia
quesiti di ricerca
sono definiti?

campione randomizzazione

come stato selezionato? la dimensione sufficiente (potenza)?

metodi di randomizzazione? criteri di inclusione/esclusione chiari? a parte lintervento sperimentale, il trattamento nei 2 gruppi lo stresso? drop-out e crossover sono conteggiati? gli outcomes sono definiti? lanalisi ITT utilizzata?

Quesiti di screening
Lo studio indirizzato a un argomento specifico e chiaro?
Saresti in grado di descrivere lo studio in termini di partecipanti, dellintervento, degli the outcomes misurati e dei confronti fatti? Lassegnazione dei partecipanti era randomizzata? I soggetti entrati nello studio sono stati tutti correttamente conteggiati alla fine? Se rispondi SI a tutte queste domande, allora vai avanti e cerca risposte a queste altre domande:

Quesiti sui gruppi

Ci sono differenze tra i due gruppi riconducibili a bias di selezione o variabili di confondimento? (et, genere, estrazione sociale) Cecit rispetto ai partecipanti, ai ricercatori, agli sperimentatori I gruppi erano simili allinizio dello studio? A parte lintervento sperimentale, i due gruppi sono stati trattati allo stesso modo?

Quesiti sui risultati

Quanto stata rilevante la differenza tra i due gruppi? (quali outcomes sono stati registrati? come sono state espresse le differenze tra i gruppi?) Quanto erano precise le stime degli effetti del trattamento?(vai a vedere gli I.C.)

Quesiti sulla utilit

I risultati saranno utili a livello locale?
I risultati possono essere applicati al tuo lavoro? (in cosa i soggetti dello studio sono diversi dai tuoi pazienti?) Gli outcomes importanti sono stati tutti considerati? (se no, questo inficia linterpretazione dello studio) I benefici controbilanciano i rischi e i costi? (molte ricerche non includono lanalisi costibenefici, che potrebbe essere invece molto utile).

Esempio:
Critical appraisal of a randomised controlled trial (primary quantitative research): RCT to evaluate early discharge scheme for patients with stroke. Rudd AG, Wolfe CDA, Tilling K and Beech R. BMJ 1997; 315: 10391044.
http://www.bmj.com/cgi/content/full/315/7115/1039

I risultati dello studio sono validi?

1. lo studio era indirizzato a un quesito ben specifico? Il quesito era stato chiaramente identificato in termini di:
Popolazione studiata Interventi applicati Outcomes considerati

VALIDITA

Guardiamo insieme
Labstract ci aiuta a individuare la popolazione (Setting/subjects):
331 pazienti clinicamente stabili, che vivono soli e che sono in grado di spostarsi autonomamente o che vivono con un caregiver e sono in grado di spostarsi con aiuto. questi sono pazienti che si recano in uno dei 2 ospedali scuola del centro di Londra: appare chiaro che questo esclude molti altri pazienti eleggibili che potrebbero beneficiare degli interventi sullo stroke appare chiaro che lincidenza di malattie cardiache o respiratorie potrebbe essere minore in questi pazienti (il centro di Londra non presenta industrie pesanti o minerarie es. carbone che influenzano la saute di pazienti di questo gruppo di et) La tipologia di pazienti del centro citt potrebbe essere differente da quella della periferia, pi popolosa.

Da notare che nessuna di queste potenziali differenze inficia di per s la definizione di popolazione, tuttavia potrebbe esserci una limitazione alla applicabilit in altre realt.
VALIDITA

Guardiamo insieme
Lintervento descritto come una "specialist community rehabilitation" comparata al "conventional hospital and community care" Questo pone due problemi:
il termine "conventional care" troppo vago, in setting diversi pu assumere caratteristiche differenti in termini di durata e qualit. Le variazioni nellassistenza convenzionale erogata presso il St. Thomas e il King's College Hospital vengono messe insieme, determinando fattori di confondimento. i "packages of care" sono composti da un numero di elementi indistinguibili, che non vengono mai identificati, cos come non viene valutata la loro efficacia individuale. Risulta impossibile conoscere quali componenti degli interventi effettuati vengono attuati nel gruppo sperimentale e di controllo e se questi sono efficaci.

Questo approccio a scatola chiusa dove il lettore deve prendere per buoni i contenuti del pacchetto di cura si ritrova anche in altri studi, per es. la Cochrane Collaboration's review sullefficacia delle "stroke units." nella fattispecie, impossibile sapere esattamente cosa comprende una "stroke unit n se tali realt sono omogenee. necessario un approccio pragmatico, se si riesce a definire quale degli interventi presenti nel pacchetto di assistenza efficace allora una ulteriore ricerca potr verificare la natura e i meccanismi attraverso cui si generano i benefici per il paziente.

VALIDITA

Guardiamo insieme
La tendenza ad essere sopraffatti dal gran numero di outcomes riportati. In questo caso gli autori hanno deciso quali fossero gli esiti principali e la dirata del periodo di misurazione; in questo caso lindice di Barthel a 12 mesi. Questo porta a due riflessioni: Questa particolare misura di esito valida e significativa? Il periodo durante cui viene misurata valida in termini di contesto clinico? Coloro che non hanno conoscenze specifiche nel campo della riabilitazione faranno fatica a comprendere il significato dellindice di Barthel. Nellarticolo si specifica che si tratta di una misura della disabilit in cui valori minori sono associati a condizioni peggiori. Solitamente il significato clinico della Barthel alla dimissione pi appropriato rispetto a quello a un anno, tuttavia in questo caso lobiettivo il ritorno alla normalit (per quanto possibile) per cui la misurazione a un anno rilevante (collegata ai programmi di riabilitazione di comunit).
VALIDITA

I risultati dello studio sono validi?

1. lo studio era indirizzato a un quesito ben specifico? Il quesito era stato chiaramente Riepilogando, a parte i dubbi identificato in termini insieme circa lesatta natura dell di:
degli interventi e la consapevolezza Popolazione studiata che molti pazienti eleggibili sono Interventi applicati stati esclusi dallo studio, Outcomes considerati

la domanda pu considerarsi esaurita.

VALIDITA

I risultati dello studio sono validi?

2. lassegnazione dei pazienti al trattamento era randomizzata?
Non una questione di lana caprina: se le condizioni di randomizzazione non sono soddisfatte, diventa impossibile dare un giudizio definitivo sullo studio.

VALIDITA

Guardiamo insieme
Lassegnazione dei pazienti al trattamento era randomizzata? Troviamo i dettagli della randomizzazione in un paragrafo separato, in cui apprendiamo che randomisation was restricted in permuted blocks of 10 with random number tables provided in blank sealed opaque envelopes. Una randomizzazione di qualit caratterizzata da metodiche non aperte a manipolazioni o artefatti statistici. I metodi migliori sono: generatori computerizzati di numeri casuali tavole dei numeri casuali (come in questo caso) La permutazione in blocchi una forma di randomizzazione limitata, usata spesso per praticit negli studi multicentrici per scongiurare sbilanciamenti eccessivi nel numero dei pazienti assegnati in ogni braccio dello studio e per favorire unallocazione indipendente. particolarmente suscettibile ai bias di selezione.

VALIDITA

I risultati dello studio sono validi?

3. I pazienti entrati nello studio sono stati conteggiati correttamente alla fine?
Completezza del follow up Analisi ITT

VALIDITA

Guardiamo insieme
Completezza del follow up
problematica in pazienti con patologie severe, in particolare in una popolazione anziana come quella oggetto di studio (et media 71 anni). Valutate se il numero dei pazienti che escono dallo studio bilanciato tra i gruppi (non il nostro caso)
Levento morte a 12 mesi ha interessato il 16% e il 21% dei pazienti nei 2 gruppi. I drop-out sono stati rispettivamente il 3% e il 2%, mentre 5+4 hanno rifiutato di proseguire i controlli o si sono trasferiti.

VALIDITA

Guardiamo insieme
Analisi ITT
permette di avere unidea di cosa accaduto realmente calcolando gli esiti (es. mortalit) entro ciascun braccio, rapportandola al numero di pazienti inizialmente assegnati a quel braccio. Lanalisi ITT non tiene conto delle violazioni del protocollo ma anzich escluderle dallanalisi registra entro ciascun braccio gli eventi che riguardano i pazienti compliant assieme agli eventi che riguardano i pazienti che hanno violato il protocollo.
i pazienti sono stati analizzati nel gruppo dove erano stati allocati?"

VALIDITA

I risultati dello studio sono validi?

4. I pazienti, i sanitari, i ricercatori erano ciechi rispetto al trattamento?
Appare chiaro che i pazienti sapevano in che gruppo erano: "occasionally the patient did make clear which group they had been in". I ricercatori erano divisi in 2 gruppi: coloro che raccoglievano i dati e coloro che li analizzavano.
Il ricercatore che a 12 mesi andava a casa del paziente era cieco al trattamento ma poteva venirlo a sapere casualmente dal paziente stesso. Non chiaro se chi analizzava i dati era in cieco.
VALIDITA

I risultati dello studio sono validi?

5.I gruppi erano simili allinizio dello studio?
Dalla tabella 1 sembra di si. Da notare la lunga permanenza prima della randomizzazione nel community therapy group. I pazienti disfasici nel community therapy group maggiore, indicando una maggiore severit delle condizioni.

Entrambi i gruppi sono stati ben analizzati nelle analisi pi rilevanti, come il Previous Barthel score e il Barthel score alla randomizzazione.
VALIDITA

Se lo squilibrio contrario allipotesi di studio, ovvero i due gruppi erano uguali allinizio significa che lentit degli esiti sarebbe stata ancora maggiore nei casi, ci modifica ma non nega linterpretazione. Se, invece, la diversit favorisce il gruppo sperimentale, questo determina un confondimento nello studio.

I risultati dello studio sono validi?

6. A parte lintervento sperimentale, i gruppi sono stati trattati allo stesso modo?
Vale per tutta la durata dello studio, qualunque altra procedura potrebbe contribuire a bias di risultato.
Ad esempio se un gruppo viene visto ogni mese per 6 mesi e laltro viene visto solo allinizio e alla fine dei 6 mesi la differenza nei risultati della riabilitazione potrebbe essere spiegata da variabili non legate allo studio (interazione sociale con il ricercatore).

In questo caso specificato che "All other services apart from therapy were as described for the conventional group"
VALIDITA

I risultati dello studio sono affidabili?

Quali sono i risultati?
Entit del trattamento Stima degli effetti del trattamento

AFFIDABILITA

I risultati dello studio sono affidabili?

7. Entit delleffetto del trattamento?
Si cercava una differenza di 3.5 nel punteggio di Barthel a un anno calcolato su 130 pazienti in ciascun gruppo, alla fine il gruppo di controllo risultato leggermente pi piccolo (126).
I trattamenti non sono significativamente differenti in termini di efficacia relativa. Il livello di significativit statistica era p<0.05, guardando gli altri outcomes vediamo che il community therapy group aveva livelli di ansia da ricovero e depressione pi elevati (p=0.02) e una maggiore soddisfazione rispetto allassistenza ospedaliera (p=0.032) rispetto al conventional group. Nessunaltra misura a un anno risulta statisticamente significativa.

discutibile affermare che tali differenze assumano un significato clinico.

AFFIDABILITA

I risultati dello studio sono affidabili?

8. Quanto sono precise le stime delleffetto del trattamento?
Data la mancanza di significativit statistica, non si pu affermare nulla. Si nota tuttavia che lIC al 95% per la scala di Barthel va da 0 a 1, indicando che la differenza tra i due gruppi non superiore a 1.
AFFIDABILITA

I risultati dello studio sono applicabili?

9. I risultati possono essere applicati alla popolazione locale?
Lo studio ha il pregio di essere stato condotto in GB, allinterno del NHS, tuttavia possono comunque esistere variazioni legate a fattori associati allaver condotto lo studio nel centro di Londra, in due ospedali scuola. Non siamo certi che i pacchetti di assistenza fossero simili tra i due gruppi o che possano essere simili a quelli forniti alla nostra popolazione locale. Il problema principale di questo studio che molti soggetti sono stati esclusi dati i criteri di inclusione molto rigidi. Possiamo dire che un certo sottogruppo pu beneficiare dellimplementazione di linee guida e protocolli basati sullevidenza scientifica, ma non lintera popolazione. APPLICABILITA

Ulteriori considerazioni La valutazione degli outcomes importante:

per il professionista per il manager per il paziente

Sono stati considerati tutti gli outcome importanti?

SODDISFAZIONE ACCETTABILITA

paziente sanitario
EFFICACIA

manager
COSTO/ EFFICACIA

Sono stati considerati tutti gli outcome importanti?

Di solito nessuno studio risponde in modo soddisfacente a tutte e tre le dimensioni. EFFICACIA: in questo studio i due trattamenti sono simili SODDISFAZIONE: sembrerebbe che i soggetti trattati in ospedale siano pi soddisfatti, ma con livello di stress pi elevato rispetto ai pazienti del community therapy group. COSTO/EFFICACIA: nella tabella 5 gli autori hanno raccolto molti dati, anche se in modo non sistematico o comprensibile. I dati raccolti permettono unanalisi dei costi, anche se non era tra gli intenti dichiarati, ma non possibile stabilire se i reparti di ricovero o i servizi ambulatoriali sono direttamente confrontabili. ricordate: siate cauti quando vengono aggiunte altre argomentazioni estranee alla ricerca originale a supporto delle tesi degli autori.

Sono stati considerati tutti gli outcome importanti?

Il gioco vale la candela?
I benefici valgono i rischi / i costi?
La mera lettura dellanalisi dei costi rende difficile stabilire un livello di soglia. in assenza di benefici, giustificato implementare la dimissione precoce, magari in quei pazienti che potrebbero beneficiarne? ulteriori dati sullincidenza dello stroke nella popolazione locale potrebbero indirizzare le politiche sanitarie (e i finanziamenti conseguenti) verso i reparti ospedalieri o i servizi sul territorio Ulteriori studi potrebbero analizzare i fattori di costo rilevanti e valutarne limpatto sul settore sanitario e sociale

Conclusioni?
La C.A. :
(di un singolo articolo) non d risposte definitive rispetto a un problema, tuttavia chiarisce quali sono le priorit per ulteriori ricerche ci difende dalluso improprio di articoli per scopi impropri o diversi da quelli inizialmente dichiarati ci aiuta a identificare dove gli autori hanno oltrepassato i limiti della loro stessa ricerca nel trarre conclusioni per la pratica clinica.

Conclusioni?
Le domande ulteriori da considerare includono:
come ridurre lincertezza ed estendere lapplicabilit di un singolo studio? cosa fare quando due o pi studi su una medesima area arrivano a conclusioni apparentemente diverse?

Per rispondere, necessario fare la C.A. delle revisioni sistematiche della letteratura.

La C.A. delle revisioni

Un singolo studio sembra dimostrare che non esietono differenze significative tra i due approcci (dimissione precoce vs. trattamento convenzionale) una conclusione esaustiva / definitiva? Potrebbero altri studi confermare / smentire questa conclusione? qui che le revisioni sistematiche mostrano la loro utilit: se pi studi mostrano risultati simili, possiamo essere certi che un dato intervento funziona se i risultati sono contraddittori, dobbiamo concentrarci su possibili bias di progettazione o sulla presenza di altri fattori di confondimento Ci sono altre differenze nel campione, nel tipo di intervento sperimentale e negli effetti misurati?

La C.A. delle revisioni

In pratica possiamo prendere gli studi a supporto o a sfavore circa lefficacia di un determinato intervento e:
dare un voto a ciascuno studio e vedere qual lopinione prevalente (non tiene conto delle dimensioni) catalogare gli studi in base alle dimensioni e vedere dove c un maggiore sostegno allipotesi (non tiene conto della qualit del disegno degli studi) catalogare gli studi in base a dimensione e qualit (tiene conto della potenza e della qualit degli studi)

Questo approccio utile per tutti gli studi secondari (meta-analisi, revisioni sistematiche, linee guida, analisi economiche) La check list simile a quella che abbiamo gi visto per gli studi primari.

Check list C.A. letteratura secondaria

A. I risultati delle revisioni sono validi?
Forniscono risposte a quesiti specifici sullassistenza al paziente? Hanno evidenziato gli studi attraverso la ricerca: in Medline e altri database rilevanti nel registro Cochrane delle RCT nella letteratura straniera nella letteratura grigia (fonti non pubblicate non indicizzate: tesi, atti di conferenze, report interni, documenti dellindustria farmaceutica) confronto incrociato dei riferimenti bibliografici contatto diretto con gli esperti del settore per trovare materiale non pubblicato ricerca manuale delle pi importanti riviste del settore

Check list C.A. letteratura secondaria

A. I risultati delle revisioni sono validi?
Nelle meta-analisi, pi importante ri-analizzare i dati piuttosto che le conclusioni Gli autori hanno indicato i criteri di inclusione ed esclusione degli studi, considerando i Pazienti, gli interventi utilizzati, gli outcomes riportati e la metodologia?

Check list C.A. letteratura secondaria

B. Quali sono i risultati? Nelle meta analisi, come sono presentati i dati?
I dati sono spesso rappresentati con linee orizzontali che rappresentano lIC 95% delleffetto di ogni studio (llC 95% del rischio relativo di casi rispetto ai controlli) A volte c un puntino centrale a rappresentare la migliore stima singola dello studio.

Guardate lo schema e proponete le vostre osservazioni

Cosa possiamo dedurre?

Probabilmente un piccolo studio, IC ampio, crossing unity (impossibile stabilire un piccolo studio, efficace) Probabilmente se lintervento IC
ampio, non crossing unity:suggerisce che lintervento efficace ma con Studio pi ampio, IC ristretto ma scarse evidenze. crossingunity, non evidenze che lintervento siaIC ristretto, non Studio ampio, efficace. studio piccolo, IC ampio, suggerisce crossing, suggerisce che lintervento Meta-anali di tutti gli studi che lintervento dannoso! efficace. identificati, suggerisce che lintervento efficace.

Check list C.A. letteratura secondaria

Gli autori hanno considerato lomogeneit?
Se sono interessato alleffetto della frutta sul cancro mi cercher studi sul consumo di mele e arance, ma se mi interessa solo il consumo di agrumi dovr scartare gli studi sulle mele. Nelle meta-anali, posso confrontare visivamente i grafici come abbiamo appena visto, oppure possiamo usare il 2 test (Thompson, 1995).

Check list C.A. letteratura secondaria

C. I risultati saranno utili localmente:
pi facile stabilirlo rispetto alla ricerca originale. Altri studi possono aver interessato persone di et, estrazione sociale ma se il trattamento efficace nonostante le differenze allora il risultato generalizzabile. Attenti alle comparazioni tra sottogruppi, spesso le conclusioni non sono giustificate. Attenti alle forzature tipo testare pi ipotesi sui dati, soprattutto se le ipotesi sono fatte dopo che lo studio iniziato. Sono stati considerati tutti gli outcomes clinici importanti? I benefici compensano rischi e costi?

Critical appraisal di una revisione sistematica

Esercizio 2:
Effectiveness of home care programmes for patients with incurable cancer on their quality of life and time spent in hospital: systematic review F W J M Smeenk, JC M van Haastregt, LP de Witte, HF J M Crebolder BMJ 1998; 316: 1939-1944 and at:
http://www.bmj.com/cgi/content/full/316/7149/1939

A. Are the results of the review valid?

Screening Questions
chi ha fatto la revisione si indirizzato a un argomento specifico? gli autori hanno consultato gli articoli giusti? vale la pena continuare a leggere?

A. Are the results of the review valid?

Detailed Questions pensi che siano stati inclusi studi importanti e rilevanti? gli autori hanno fatto abbastanza per valutare la qualit degli studi inclusi? se i risultati sono stati confrontati, era ragionevole farlo? qual il risultato finale della review? quanto sono precisi i risultati? i risultati sono applicabili alla popolazione locale? sono stati considerati tutti gli outcomes importanti? i benefici compensano rischi e costi?

APPRAISAL OF QUALITATIVE STUDIES

A prima vista, la valutazione di studi qualitativi appare pi intuitiva e meno deduttiva,pi unarte che una scienza. Ci sono sommari di inrevite invece di numeri, gli outcomes possono esse pi soggettivi e sfaccettati rispetto a variabili dicotomiche si/no. Gli strumenti di raccolta dati (intervistesembrabo pi a rischio di bias da osservatore rispetto alle scale di misurazione di peso o pressione. C il rischio di enfatizzare anche inconsciamente argomenti che supportino le conclusioni: chi legge pu dare interpretazioni differenti. Il ricercatore pu perdere limparzialit e trovarsi coinvolto dal soggetto osservato.

Metodi di ricerca qualitativa

Per affermare che una ricerca qualitativa di buon livello, gli autori devono dimostrare:
di avere un obiettivo specifico e non di mettere insieme i dati per dar loro un senso di scegliere la metodologia appropriata cosa incluso e cosa non incluso in modo chiaro Effetti sui drop out e i non-responder.

Gli autori devono porre nuove domande pertinenti a un lavoro qualitativo. Gli autori devono dichiarare le relazioni tra osservatori e soggetti osservati e qualunque bias che pu essere stato introdotto. Di nuovo, dobbiamo farci e dobbiamo rispondere alle solite 3 domande:
qual il messaggio? posso crederci? posso generalizzare?

Analisi critica di uno studio qualitativo

Esercizio 3 Reed J and Morgan D (1999) Discharging older people from hospital to care homes Journal of Advanced Nursing 29: 81925
http://www3.interscience.wiley.com/journal/119093365/a bstract

Analisi critica di uno studio qualitativo

Screening questions
Lo scopo della ricerca chiaramente dichiarato? La metodologia qualitativa approrpiata?

Analisi critica di uno studio qualitativo

Detailed Questions: Stategie di campionamento
a. da dove e perch strato estratto il campione? Chi stato selezionato e perch? Come stata fatta la selezione e perch? La dimensione del campione era giustificata? chiaro perch alcuni partecipanti hanno scelto di non partecipare?

Analisi critica di uno studio qualitativo

Detailed Questions: La strategia di campionamento era adatta allo scopo? Raccolta dati: chiaro:

dove si svolta e perch stato scelto quel setting come e perch sono stati raccolti i dati? come e perch sono stati registrati i dati? i metodi di raccolta sono stati cambiati in corso dopera? Perch? i dati sono stati raccolti in modo finalizzato allo scopo della ricerca?

Analisi critica di uno studio qualitativo

Detailed Questions:

Analisi dei dati chiaro:

Come stata fatta lanalisi? I dati erano sufficientemente rigorosi?

Analisi critica di uno studio qualitativo

Detailed Questions:

Relazioni tra osservatori chiaro:

Se i ricercatori hanno esaminato il loro ruolo in modo critico, i bias e le influenze potenziali? Dove sono stati raccolti i dati e perch stato scelto quel setting? Come stata spiegata la ricerca ai partecipanti?

La relazione tra ricercatori e partecipanti stata adeguatamente considerata?

Analisi critica di uno studio qualitativo

Detailed Questions:

Risultati Giustificazione dellinterpretazione dei dati

I dati presentati sono sufficienti a supportare i risultati? I ricercatori spiegano come i dati sono presentati sono stati estrapolati dalloriginale?

Analisi critica di uno studio qualitativo

Detailed Questions:

Trasferibilit Rilevanza e utilit

Nellindirizzare nuove ricerche Nel contribuire a comprendere/fare luce/dare una nuova prospettiva allargomento Nel suggerire future ricerche In termini di impatto sulla pratica corrente

Analisi critica di uno studio qualitativo

Detailed Questions:

How relevant is the research? How important are these findings to practice?

Utilizzare e presentare i risultati di una CA

Riflessione:
Come registreresti o archivieresti i risultati di una CA che hai fatto per massimizzare lutilit dellanalisi?

Utilizzare e presentare i risultati di una CA

Quali sono i possibili "outputs" di un esercizio di CA? ecco alcuni suggerimenti, non esaustivi :
Cambiare la mia pratica. Cambiare la pratica dei miei colleghi. Sviluppare LG. Dare lavvio a una rivista o a un forum professionale Associare la tua ricerca alloggetto in questione

Critically Appraised Topics (CATs)

I CATs sono sommari scritti dove conservare il lavoro fatto su uno studio per utilizzarlo in altri casi. Sono utilissimi per imparare a formulare quesiti clinici, cercare le migliori prove di efficacia, valutare, organizzare, riassumere le evidenze,integrare la ricerca nella pratica clinica. Sono stati inventati dai docenti di medicina internistica della McMaster University per affinare le capacit di CA e migliorare le abilit didattiche in ambito EBM. References http://163.1.212.5/cats/catsearch.html