See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/300541696

Matriz de dispersão da concordância de motivos de exclusão para revisão

sistemática como métrica de qualidade

Conference Paper · August 2015

DOI: 10.5540/03.2015.003.01.0378

CITATIONS READS

0 16

4 authors, including:

Thiago Henrique Neves Felipe Ferre

Federal University of Minas Gerais Federal University of Minas Gerais
1 PUBLICATION   0 CITATIONS    17 PUBLICATIONS   42 CITATIONS   

SEE PROFILE SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Economic evaluation of treatments for people living with type 2 diabetes mellitus - perspective of the Brazilian public health system View project

All content following this page was uploaded by Thiago Henrique Neves on 12 December 2017.

The user has requested enhancement of the downloaded file.

 Proceeding Series of the Brazilian Society of Applied and Computational Mathematics, Vol. 3, N. 1, 2015.
Trabalho apresentado no XXXV CNMAC, Natal-RN, 2014.

Matriz de dispersão da concordância de motivos de exclusão para revisão

sistemática como métrica de qualidade

Thiago Henrique Neves∗ Matheus Henrique Sales∗

Departamento de Matemática - Departamento de Ciência da Computação, UFMG
31270-010, Belo Horizonte, MG
E-mail: thiagonevesuf@gmail.com, matheushsales@gmail.com

Felipe Ferré Francisco de Assis Acurcio

Departamento de Farmácia Social, UFMG
31270-901, Belo Horizonte, MG
E-mail: ferrebioinfo@gmail.com, fracurcio@gmail.com

RESUMO

A revisão sistemática é uma metodologia de busca explı́cita de identificação, seleção e avaliação de

artigos. Para evitar viés de seleção de artigos a revisão sistemática estipula a avaliação de dois revisores,
cuja discordância é julgada por um terceiro.
Usualmente, a exclusão de um artigo deve ser classificada conforme a não contemplação de critérios
previamente delimitados que envolvem os tipos de participantes (P), de estudo (E) ou de intervenção (I).
Cada pesquisador pode justificar a exclusão pela combinação dessas classes (e.g. ”P”+”E”, ”P”+”E”+”I”).
Os nı́veis de concordância entre os pesquisadores fornecem evidência para a avaliação da qualidade do
estudo no que tange às estratégias de busca, definição do tema e treinamento.
O objetivo do presente trabalho é propor um parâmetro de qualidade para avaliar a dispersão da
concordância de motivos de exclusão. Essa métrica consiste em categorizar as avaliações de um usuário
nas 7 possı́veis combinações de classes de motivos (P, E, I, PE, PI, EI, PEI) e confrontá-las com o
resultado dos demais pesquisadores.
Foram geradas matrizes quadradas (n=7), em cuja diagonal principal constam avaliações totalmente
concordantes e nas demais posições da matriz as parcialmente concordantes. Foi elaborado um módulo
para verificação visual da dispersão dos dados de um avaliador em relação aos demais. Para cada matriz
foi feita uma análise de concordância utilizando o coeficiente de Kappa, avaliando-se a relação entre a
concordância observada e a esperada.
Esta avaliação beneficiou estudos que envolveram buscas por técnicas de aprendizado de máquina
para previsão de interações medicamentosas, terapias para doenças reumáticas, transplante renal e dia-
betes. A utilização da métrica de qualidade proposta pode reduzir riscos de viés de seleção em revisões
sistemáticas.
Em um estudo sobre diabetes mellitus tipo 1 envolvendo 7.570 artigos e 11 avaliadores, obteve-se
um Kappa médio 0,462 com um desvio padrão de 0,093, sugerindo que a concordância de exclusão entre
os pesquisadores foi “regular” conforme a escala consolidada por Landis e colaboradores (1977).
O presente trabalho representa uma métrica de qualidade a ser utilizada por pesquisadores que reali-
zam estudos de revisão sistemática.
Palavras-chave: Kappa, Matriz de Dispersão, Metrica, Qualidade
∗
bolsista de Iniciação Cientı́fica FUNDEP

DOI: 10.5540/03.2015.003.01.0378 010378-1 © 2015 SBMAC

 Proceeding Series of the Brazilian Society of Applied and Computational Mathematics, Vol. 3, N. 1, 2015.

Referências
[1] Landis, J. R. and Koch, G. G., The Measurement of Observer Agreement for Categorical Data,
Biometrics, 33 (1977) 159-174.

[2] Liberati, Alessandro and Altman, Douglas G and Tetzlaff, Jennifer and Mulrow, Cynthia and
Gøtzsche, Peter C and Ioannidis, John P A and Clarke, Mike and Devereaux, P J and Kleijnen,
Jos and Moher, David, The PRISMA statement for reporting systematic reviews and meta-analyses
of studies that evaluate healthcare interventions: explanation and elaboration pp. 72-147, BMJ, 339,
2009.

[3] Higgins, Julian PT and Green, Sally, Cochrane Handbook for Systematic Reviews of Interventions,
The Cochrane Collaboration, Oxford, 2011.

DOI: 10.5540/03.2015.003.01.0378 010378-2 © 2015 SBMAC

View publication stats