1

Roteiro para reviso bibliogrfica sistemtica:

aplicao no desenvolvimento de produtos e
gerenciamento de projetos
Edivandro Carlos Conforto
a
(econfort@sc.usp.br); Daniel Capaldo Amaral
a

(amaral@sc.usp.br); Srgio Luis da Silva
b
(sergiol@ufscar.br).
a
Grupo de Engenharia Integrada (EI2)/Escola de Engenharia de So Carlos, USP, SP BRASIL
b
Grupo de Estudo e Pesquisa em Qualidade/GEPEQ, UFSCar, SP BRASIL
Resumo
A reviso bibliogrfica sistemtica um mtodo cientfico para busca e anlise de artigos de uma
determinada rea da cincia. amplamente utilizada em pesquisas na medicina, psicologia e cincias
sociais, onde h grandes massas de dados e fontes de informaes. Pesquisas na rea de gesto de
operaes tambm necessitam analisar crescentes quantidades de artigos e informaes. No entanto,
tcnicas de reviso sistemtica so pouco difundidas nessa rea, em especial em desenvolvimento de
produtos e gerenciamento de projetos. O objetivo desse artigo apresentar um roteiro para a conduo
de reviso bibliogrfica sistemtica (RBS) na rea de gesto de operaes com foco em pesquisas nos
temas desenvolvimento de produtos e gerenciamento de projetos. O roteiro foi intitulado RBS
Roadmap e foi criado a partir das melhores prticas preconizadas em reas pioneiras nesse tipo
reviso, combinada com uma pesquisa-ao em trs pesquisas na rea de gesto de operaes. A
principal contribuio para a teoria e prtica a sistematizao do procedimento para reviso
sistemtica voltado especificamente para pesquisas na rea de desenvolvimento de produtos e
gerenciamento de projetos, que pode ser utilizado como referncia para pesquisadores nessa rea.
Palavras-chave: Roteiro para Reviso Bibliogrfica Sistemtica; RBS Roadmap; Desenvolvimento de
Produtos; Gerenciamento de Projetos.
1. Introduo
A reviso bibliogrfica importante para definir a linha limtrofe da pesquisa que se deseja
desenvolver, considerando uma perspectiva cientfica, afirma Dane (1990). Ainda segundo o autor,
preciso definir os tpicos chave, autores, palavras, peridicos e fontes de dados preliminares. Nesse
sentido, a reviso bibliogrfica considerada um passo inicial para qualquer pesquisa cientfica
(WEBSTER; WATSON, 2002). Desenvolvida com base em material j elaborado como livros, artigos
e teses (GIL, 2007), a pesquisa bibliogrfica possui carter exploratrio, pois permite maior
familiaridade com o problema, aprimoramento de ideias ou descoberta de intuies, complementa Gil
(2007).
No caso especfico de pesquisas avanadas, onde exige-se certo ineditismo e originalidade na
contribuio, a reviso bibliogrfica desempenha um papel preponderante. Por isso, conduzi-la de
forma sistemtica e rigorosa, contribui para o desenvolvimento de uma base slida de conhecimento,
facilitando o desenvolvimento da teoria em reas onde j existem pesquisas, e tambm, identificando
reas onde h oportunidades para novas pesquisas (WEBSTER; WATSON, 2002). Shaw (1995) relata
que um dos principais problemas de trabalhos que descrevem revises da literatura sem o devido rigor,
a nfase apenas na interpretao pessoal dos textos em linguagem narrativa, porm com pouca
anlise crtica. Por isso, o rigor e a relevncia da reviso bibliogrfica como embasamento de um
trabalho de pesquisa no deve ser subestimado, argumenta Hart (1998).
Embora a reviso bibliogrfica seja comum a todas as pesquisas cientficas, importante que esta seja
bem executada e confivel, realizada de forma sistemtica e de modo compreensivo (WEBSTER;
WATSON, 2002; WALSHAM, 2006; LEVY; ELLIS, 2006). De um modo geral, Conboy (2009)
destaca que a abordagem de anlise e estratgia adotada na conduo de uma reviso bibliogrfica no
tem recebido a devida ateno, em especial nos temas que so considerados emergentes. O foco passa

2
ser apenas a coleta e anlise de dados empricos, negligenciando os relacionamentos, ou as ligaes
com o estado da arte de pesquisas publicadas na mesma rea de estudo, que possam indicar correlao
do desenvolvimento de uma teoria.
Se a pesquisa bibliogrfica receber a devida ateno e for conduzida com rigor e de forma sistemtica
(WEBSTER; WATSON, 2002; WALSHAM, 2006; LEVY; ELLIS, 2006), esta permitir que outros
pesquisadores possam fazer uso desses resultados com maior confiabilidade, possibilitando reutilizar
estudos j finalizados, focando apenas no tpico em que se deseja pesquisar. Alm de economia de
tempo e recursos, os resultados de uma reviso sistemtica permitem identificar lacunas na teoria que
podem ser exploradas por outros pesquisadores, mas que no foram identificadas em estudos
semelhantes devido superficialidade e falta de rigor na reviso bibliogrfica.
Para Shaw (1995) em determinadas reas do conhecimento (por exemplo, engenharia) so vrios os
problemas no progresso da teoria e conceitos. Cita-se como exemplo a rea de gesto de
desenvolvimento de produtos. Muitos dos problemas em pesquisas nessa rea ocorrem devido falta
de estudos tericos embasados em um mtodo sistemtico. Em muitos casos, parte do problema j est
solucionado e publicado, mas devido quantidade de artigos publicados, inmeras bases de dados e
peridicos, o processo de busca e identificao desses estudos torna-se um processo complexo e
exaustivo. Esse argumento corroborado por Hart (1998) que enfatiza a importncia de investigar e
compreender de forma ampla o corpo de conhecimento existente antes de iniciar uma pesquisa.
Uma forma de obter maior rigor e melhores nveis de confiabilidade em uma reviso bibliogrfica
adotar uma abordagem sistemtica. Isso significa, definir uma estratgia e um mtodo sistemtico para
realizar buscas e analisar resultados, que permita a repetio por meio de ciclos contnuos at que os
objetivos da reviso sejam alcanados. Este artigo apresenta um roteiro desenvolvido para auxiliar
pesquisadores da rea de gesto de operaes, com foco em desenvolvimento de produtos e
gerenciamento de projetos, na conduo de reviso bibliogrfica sistemtica. O roteiro foi intitulado
RBS Roadmap e foi desenvolvido a partir das melhores prticas preconizadas em reas do
conhecimento que fazem uso dessa estratgia, combinada com uma pesquisa-ao em 3 pesquisas
cientficas na rea de gerenciamento de projetos.
2. Reviso bibliogrfica sistemtica: a experincia das reas praticantes e
as possibilidades em desenvolvimento de produtos
A reviso sistemtica reconhecida por ser metdica, transparente e ser replicvel, conforme
argumentam Cook et al. (1997) e Cooper (1998). Na rea da medicina e suas inmeras subreas, o uso
de reviso sistemtica tem sido frequente, e recentemente comea ganhar adeptos nas pesquisas em
gesto (TRANFIELD; DENYER; PALMINDER, 2003). Isso pode ser confirmado por artigos recentes
como o trabalho de Dyba e Dingsoyr (2008).
Cook et al. (1997) destaca que a reviso bibliogrfica pode ser narrativa ou sistemtica. O primeiro
tipo baseado em uma descrio simplificada de estudos e informaes sobre um determinado
assunto. O segundo tipo, apesar de tambm ter o carter narrativo, baseado na aplicao de mtodos
com maior rigor cientfico, podendo alcanar melhores resultados e reduzir erros e o vis do
pesquisador responsvel pela investigao. Esse processo permite ao pesquisador compilar dados,
refinar hipteses, estimar tamanho de amostras, definir melhor o mtodo de pesquisa a ser adotado
para aquele problema, e por fim definir direes para futuras pesquisas (COOK et al., 1997).
Nessa mesma linha de raciocnio, Mulrow (1994) enfatiza que revises sistemticas incluindo meta-
anlise so atividades pouco valorizadas no mundo cientfico. No entanto, setores como sade, estudos
demogrficos e legisladores de polticas pblicas necessitam fazer uso de reviso sistemtica para
integrar e analisar de forma eficiente uma grande quantidade de informao, possibilitando a tomada
de deciso mais eficaz. Para Mulrow (1994), o uso de procedimentos sistemticos aumenta a
confiabilidade e acuracidade das concluses e resultados do estudo. Completa argumentando que
apesar da reviso sistemtica consumir bastante tempo e recursos, ainda assim mais rpido e custa
menos do que comear um novo estudo completo em uma rea que j possui resultados publicados,
mas que no foram devidamente explorados (MULROW, 1994).

3
possvel encontrar padres semelhantes de quantidade e diversidade de informaes na rea de
gesto de operaes, em especial em desenvolvimento de produtos e gerenciamento de projetos.
Analisando estudos como Brown e Eisenhardt (1995), Griffin (1997), Barczak, Griffin e Kahn (2009)
logo identificarmos que a teoria de desenvolvimento de produtos vasta. Como resultado da
quantidade e diversidade de fontes de informao presentes no meio cientfico, necessrio esforo
singular para melhor entender o estado da arte, e assim, identificar as reais lacunas na teoria que
precisam ser investigadas. Evidencia semelhante pode ser encontrada na rea de gerenciamento de
projetos (KIOPPENBORG; OPFER, 2002; KOLLTVEIT; KARLSEN; GRONHAUG, 2007;
SHENHAR; DVIR, 2007).
Nesse contexto possvel fazer um paralelo das caractersticas entre essas duas reas e os estudos
realizados em reas como medicina. O estudo de Mulrow (1994), com foco na rea de medicina,
descreve nove argumentos para o uso de reviso sistemtica: 1) quantidade de informao disponvel
sobre diversos assuntos; 2) necessidade de integrar informaes crticas para a tomada de deciso; 3)
reviso sistemtica uma forma vivel de pesquisa cientfica; 4) a generalidade dos resultados de
vrias pesquisas que podem ser consolidados em poucos estudos; 5) tornar possvel a anlise de
consistncia dos relacionamentos entre os resultados de estudos j realizados; 6) explicar
inconsistncia nos dados e conflitos de resultados; 7) o uso de anlises estatsticas de metadados das
pesquisas sistemticas torna-se uma ferramenta poderosa para identificar tendncias alm das
evidncias, e assim mapear novas fontes de pesquisa; 8) permite aumentar a preciso das estimativas
dos riscos ou efeitos dos resultados dos estudos; 9) aumenta a qualidade da reflexo sobre a realidade,
ou atualidade do corpo de conhecimento existente em uma determinada rea.
No entanto, apesar de difundida em algumas reas do conhecimento, existe uma oportunidade para uso
dessas tcnicas na rea de gesto de operaes, tanto na aplicao quanto na descrio de modelos
para a conduo de reviso sistemtica. Uma pesquisa realizada na base de dados ISI Web of
Knowledge com as palavras systematic, literature, review (systematic AND literature AND
review) revela o uso desse termo em reas como medicina, psicologia e cincias sociais. A partir de
um teste, a busca gerou um total de 14.261 resultados. Filtrando por rea, focando apenas artigos da
rea de gesto de operaes Operations Research & Management Science, foram encontrados
apenas 42 resultados. Desse total, nenhum artigo apresentou tcnicas ou mtodos para a conduo de
reviso sistemtica, ou mesmo relatou o uso de mtodos semelhantes. um indcio da ausncia de
modelos especficos para aplicao de reviso sistemtica na rea de gesto de operaes com foco em
desenvolvimento de produtos e gerenciamento de projetos.
3. Modelos para reviso bibliogrfica sistemtica
Para Bereton et al. (2005) uma reviso sistemtica permite ao pesquisador uma avaliao rigorosa e
confivel das pesquisas realizadas dentro de um tema especfico. A Reviso Bibliogrfica Sistemtica
(RBS) um instrumento para mapear trabalhos publicados no tema de pesquisa especfico para que o
pesquisador seja capaz de elaborar uma sntese do conhecimento existente sobre o assunto
(BIOLCHINI et al., 2007). Busca-se alcanar maior qualidade nas buscas e resultados da reviso
bibliogrfica, ou seja, compreender o estado da arte do assunto pesquisado. Para isso necessrio
adotar um procedimento, um conjunto de passos, tcnicas e ferramentas especficas. A definio para
RBS adotada neste trabalho uma adaptao da proposta de Levy e Ellis (2006). Reviso bibliogrfica
sistemtica o processo de coletar, conhecer, compreender, analisar, sintetizar e avaliar um conjunto
de artigos cientficos com o propsito de criar um embasamento terico-cientfico (estado da arte)
sobre um determinado tpico ou assunto pesquisado.
Os estudos individuais que constituem as entradas para uma reviso sistemtica so intitulados
estudos primrios, e a reviso sistemtica constitui uma forma de estudo secundrio, afirma
Kitchenham (2004). Segundo o autor, existem razes especficas que contribuem para a realizao de
uma RBS, tais como:
Consolidar evidncias e resultados obtidos em estudos anteriores sobre o tema de interesse;
Identificar lacunas na teoria e pesquisas recentes como embasamento para o aprimoramento das
pesquisas;

4
Fornecer embasamento e modelos tericos para posicionar apropriadamente novos temas e
oportunidades de pesquisa, ou mesmo, refutar ou validar hipteses, ou criar novas hipteses
sobre um determinado tema de pesquisa.
O resultado de uma RBS deve constituir o estado da arte e demonstrar que a pesquisa em questo
contribui com algo novo para o corpo de conhecimento existente (LEVY; ELLIS, 2006). O termo
Corpo de Conhecimentos ou Body of Knowledge refere-se ao conhecimento acumulado que foi
constitudo a partir dos resultados de outras pesquisas (IIVARI; HIRSCHHEIM; KLEIN, 2004). Para
Levy e Ellis (2006), conhecer o atual estgio do corpo de conhecimentos sobre o assunto que se
pretende estudar o primeiro passo em um projeto de pesquisa. Assim, uma reviso bibliogrfica
sistemtica til para (LEVY; ELLIS, 2006):
Ajudar o pesquisador no dimensionamento e compreenso do corpo de conhecimento referente a
um determinado assunto, incluindo identificar pesquisas que j foram realizadas, o que falta
pesquisar, quais so as lacunas;
Prover um embasamento terico slido para o estudo proposto, como complemento ao item
anterior;
Prover evidncia e o devido embasamento para o problema de pesquisa que guiar a
investigao;
Apresentar as devidas justificativas para a conduo o estudo, e qual a contribuio original para
o corpo de conhecimento e/ou teoria;
Contribuir para melhor definir e estruturar o mtodo de pesquisa, objetivos e questes para o
estudo proposto.
Levy e Ellis (2006) descrevem uma reviso sistemtica por meio de um processo. Os autores adotam a
definio de processo como sequencia de passos e atividades (SETHI; KING, 1998 apud LEVY;
ELLIS, 2006). Para alcanar esses resultados, Levy e Ellis (2006) definem trs fases principais:
Entrada; Processamento; e Sada. Na fase entrada esto as informaes preliminares que sero
processadas, por exemplo: artigos clssicos na rea de estudo, livros-texto que compilam
conhecimentos na rea, artigos de referncia indicados por especialistas. Tambm inclui o plano de
como ser conduzida a RBS, ou seja, o protocolo da RBS. Trata-se de um documento que descreve o
processo, tcnicas e ferramentas que sero utilizadas durante a fase 2 (processamento), que por fim ir
gerar as sadas, relatrios, sntese dos resultados, etc.. A Figura 1 ilustra as trs fases de uma RBS,
conforme proposta de Levy e Ellis (2006).

Figura 1. Fases de uma reviso bibliogrfica efetiva. Fonte: Adaptado de Levy e Ellis (2006).
O modelo proposto por Levy e Ellis (2006) refora a necessidade de realizar a RBS em ciclos por
meio de seis etapas conforme apresentado na figura. medida que o conhecimento sobre o assunto
aumenta, os ciclos so realizados de modo mais eficiente. Esse ciclo repetido quantas vezes forem
necessrias at que os objetivos da pesquisa bibliogrfica sejam alcanados.
Outro modelo para reviso sistemtica encontrado na literatura, com foco na rea de tecnologia de
informao, proposto por Biolchini et al. (2007). A Figura 2 ilustra as principais fases de um
processo para a conduo de uma reviso sistemtica de acordo com Biolchini et al. (2007).

5

Figura 2. Representao do processo sistemtico para reviso bibliogrfica. Fonte: Adaptado de Biolchini et al.
(2007).
O modelo semelhante ao proposto por Levy e Ellis (2006). O modelo proposto por Biolchini et al.
(2007) contempla o planejamento, execuo e anlise dos resultados, mas no enfatiza a necessidade
de conduzir a reviso bibliogrfica em ciclos iterativos. Na fase de planejamento, por exemplo, so
definidos os objetivos da RBS e um protocolo desenvolvido. Este protocolo detalha a questo central
de pesquisa, objetivos, palavras-chave, Strings de busca e o mtodo de execuo. Uma vez aprovado o
protocolo, comea a fase de execuo. Nessa fase so identificados, selecionados e avaliados estudos
primrios, seguindo os critrios de incluso e excluso estabelecidos no protocolo da RBS. Uma vez
selecionados os artigos primrios, os dados so extrados e compilados durante a fase de anlise de
resultados.
Os autores indicam um ponto de avaliao aps a primeira e segunda fase. Os resultados devem ser
avaliados e, se reprovados, deve-se retornar fase de execuo. Porm, o modelo no deixa explicito a
necessidade de realizar ciclos iterativos de busca, anlise e compreenso, negligenciando o
aprendizado do pesquisador e no reaproveitando o conhecimento adquirido durante as buscas de
artigos, leitura e compreenso dos textos.
Existem outras propostas mais simplificadas. Por exemplo, Cooper (1998) descreve em detalhes como
desenvolver pesquisas bibliogrficas na rea das cincias sociais. J o trabalho de Dyb e Dingsoyr
(2008) utiliza um mtodo sistemtico para reviso de artigos cientficos da rea de desenvolvimento de
software. Porm, em ambos os casos no apresentam um roteiro para aplicao de reviso
bibliogrfica sistemtica.
4. Desenvolvimento do roteiro para reviso sistemtica RBS Roadmap
Diante da ausncia de modelos especficos, e da carncia de propostas deste tipo, esse artigo apresenta
um roteiro para a conduo de reviso sistemtica na rea de gesto de operaes. O roteiro foi
construdo por meio de uma pesquisa-ao (COUGHLAN; COGHLAN, 2002) e com base em roteiros
existentes, de outras reas do conhecimento, como a proposta de Biolchini et al. (2007), o modelo de
Levy e Ellis (2006), seguido do procedimento utilizado por Dyba e Dingsyr (2008). Em comum esses
modelos apresentaram maior aderncia s necessidades da rea de gesto de operaes. Alm disso,
no foi encontrada proposta especfica para a rea de gesto de operaes, ou ainda para a rea de
gesto de desenvolvimento de produtos e tecnologias.
O roteiro para a conduo de reviso sistemtica apresentado nesse artigo foi intitulado como RBS
Roadmap. O primeiro passo para sua construo foi elaborar uma verso do protocolo de pesquisa
com base nas propostas encontradas. A partir dessa verso inicial, adaptaes foram realizadas para
adequar aos requisitos de aplicao em trs pesquisas na rea de gesto de operaes com foco em
desenvolvimento de produtos e gerenciamento de projetos, identificadas nesse estudo como: Pesquisa
A, Pesquisa B e Pesquisa C. Em seguida apresentada uma descrio de cada pesquisa.
O objetivo da Pesquisa A identificar e analisar estudos que apresentam modelos tericos e definies
para o conceito de agilidade. Trata-se de uma pesquisa de doutorado. Busca-se identificar estudos que
tragam definies para o conceito de agilidade que seja aplicvel ao gerenciamento gil de projetos;
analisar a correlao entre a teoria de gerenciamento gil de projetos e o conceito de agilidade adotado

6
em outras reas do conhecimento; identificar modelos tericos de agilidade e suas principais
dimenses, que possam ser replicados no gerenciamento gil de projetos.
Na Pesquisa B busca-se identificar e analisar estudos que apresentam prticas, tcnicas e ferramentas
qualificadas como geis voltadas para o gerenciamento de projetos. Tem como propsito identificar
estudos que tragam definies de prtica de gerenciamento de projetos, e por conseguinte, identificar
prticas, tcnicas e ferramentas para gerenciamento de projetos segundo a teoria tradicional e teoria
gil. Alm disso, busca identificar estudos que faam comparaes, ou apresentem casos de aplicao
de diferentes prticas de gerenciamento de projetos em ambientes de inovao.
Na Pesquisa C, o objetivo identificar e analisar estudos que apresentam modelos tericos e
indicadores de desempenho utilizados na medio do nvel de agilidade das prticas de gesto de
projetos. Busca-se identificar trabalhos que apresentem uma definio de desempenho para o processo
de gerenciamento de projetos e quais indicadores so utilizados, como so construdos e quais
ferramentas de medio da agilidade so utilizadas. Tambm foco das buscas, identificar quais so
os fatores que impactam na agilidade das prticas de gesto em projetos de desenvolvimento de novos
produtos.
Os resultados das trs pesquisas foram compilados e o conhecimento e experincia registrados pelos
pesquisadores que aplicaram a verso inicial do protocolo. Em seguida foram compilados em um
roteiro que pudesse ser replicado e continuamente melhorado por meio da aplicao em outras
pesquisas na rea de desenvolvimento de produtos e gerenciamento de projetos.
5. Resultados
Esta seo descreve o roteiro final obtido. A seo 5.1 apresenta uma viso geral do roteiro, seguido
do detalhamento das fases e etapas, conforme descrito na Figura 3.
5.1 Viso geral do RBS Roadmap
O RBS Roadmap est organizado em fases e etapas. Possui 15 etapas distribudas em 3 fases (Entrada,
Processamento e Sada). A Figura 3 ilustra as fases e etapas do RBS Roadmap.
5.1.1 FASE 1 ENTRADA
ETAPA1.1 Problema a definio do problema o ponto de partida da reviso bibliogrfica
sistemtica. Busca-se responder uma ou mais perguntas com a reviso bibliogrfica. Segundo Gil
(2007), um problema deve ser formulado na forma de pergunta, ser claro e preciso, ser emprico,
suscetvel de soluo e delimitado a uma dimenso vivel. possvel ainda definir hipteses para
a RBS, buscando respostas para refutar ou corroborar essas hipteses em estudos j publicados.
ETAPA 1.2 Objetivos os objetivos da RBS devem estar alinhados com os objetivos do projeto
de pesquisa. Tambm devem ter clareza e serem factveis. importante ter rigor na definio dos
objetivos, uma vez que eles sero a base para a anlise dos artigos encontrados nas buscas. A
partir dos objetivos da RBS possvel definir critrios para incluso dos artigos no estudo.
ETAPA 1.3 Fontes primrias as fontes primrias constituem-se de artigos, peridicos ou bases
de dados que sero teis para a definio de palavras-chave, e identificao dos principais
autores e artigos relevantes. importante consultar especialistas e pesquisadores seniores na rea
que se pretende fazer uma RBS, para a indicao de artigos clssicos e peridicos relevantes para
a rea de estudo. Tambm possvel identificar as fontes primrias a partir de uma reviso
bibliogrfica preliminar, sem o rigor de uma reviso sistemtica, fazendo a leitura de artigos e
teses na rea de estudo. importante definir critrios de incluso das fontes de pesquisa,
principalmente no caso de artigos por exemplo: o peridico est indexado em base de dados;
apresenta trabalhos completos na rea de investigao; foi indicado por especialistas, ou mesmo
ter sido identificado em estudos preliminares.

7

Figura 3. Modelo para conduo da reviso bibliogrfica sistemtica RBS Roadmap
ETAPA 1.4 Strings de busca Para criar a String de busca necessrio identificar as palavras e
termos referente ao tema de pesquisa. Isso pode ser feito a partir do estudo preliminar das fontes
(artigos) e tambm por consulta a especialistas e pesquisadores. A partir da preciso
compreender as regras para se criar Strings de Busca utilizando operadores lgicos comumente
aplicados em buscas avanadas ou buscas booleanas. Para melhor compreender como utilizar os
operadores lgicos a pgina da ISI Web of Knowledge oferece um tutorial que pode ser acessado
a partir da pgina de busca avanada, disponvel em
(http://images.isiknowledge.com/WOKRS410B4/help/WOS/ht_operators.html). A construo da
String segue um processo de definio, teste e adaptao. preciso testar a combinao das
palavras e termos e a forma como foram utilizados os operadores lgicos da busca booleana.
Destaca-se a importncia de adotar uma base de dados de referncia. A mais conhecida a Web
of Science. importante ficar atento s diferenas entre as bases de dados no que tange a
construo de Strings e uso dos operadores lgicos.
ETAPA 1.5 Critrios de incluso para a definio dos critrios de incluso dos artigos preciso
levar em conta os objetivos da pesquisa. Por exemplo, se a reviso busca identificar casos de
aplicao de uma determinada prtica de gesto, os artigos necessariamente devero conter
estudos de caso ou pesquisa-ao. Se a RBS tem por objetivo identificar modelos tericos e
definio de termos, caso os artigos no apresentem essas informaes, sero excludos no
decorrer dos filtros de leitura. Uma explicao dos filtros de leitura est na Figura 4.
ETAPA 1.6 Critrios de qualificao o uso de critrios de qualificao dos artigos
especialmente til para avaliar a importncia do artigo para o estudo. preciso observar
elementos do artigo tais como: mtodo de pesquisa utilizado, a quantidade de citaes do artigo,
o fator de impacto da revista que o artigo foi publicado, dentre outros. Os critrios de
qualificao podem variar de acordo com o objetivo da RBS, porm alguns critrios podem ser
aplicados em qualquer tipo de estudo, por exemplo: o mtodo de pesquisa adotado; quantidade de
citaes que o artigo obteve; se o mtodo adotado do tipo levantamento (survey); se teve
carter explicativo ou descritivo; qual o tamanho e diversidade da amostra, etc..
ETAPA 1.7 Mtodo e ferramentas a definio do mtodo de busca e ferramentas envolve
definir as etapas para a conduo das buscas, definir os filtros de busca, como ser realizado a
busca nos peridicos e bases de dados, como os resultados sero armazenados, etc.. O mtodo de
busca deve ser iterativo, ou seja, deve contemplar ciclos que favorecem o aprendizado,
refinamento da busca, e buscas cruzadas, a partir de referncias citadas nos artigos encontrados.
Nesse tpico, este artigo apresenta uma proposta conforme ilustrado na Figura 4.

8
ETAPA 1.8 Cronograma Definir o cronograma para realizao da RBS bem como
equipamentos, planejar compra de softwares, definir parcerias, etc.. preciso estar atento para o
prazo mximo vivel para a conduo da RBS. Dependendo dos objetivos, a RBS pode ter uma
durao de 3, 6 ou at 12 meses, desde o planejamento at a concluso. Essa estimativa de prazo
importante, e pode ser definida com base no registro do tempo gasto na pesquisa em cada
peridico, bem como a leitura dos textos segundo os filtros de busca, conforme Figura 4.
5.1.2 FASE 2 PROCESSAMENTO
As etapas de busca, anlise dos resultados e documentao (Etapas 2.1, 2.2 e 2.3, respectivamente)
seguem um processo iterativo contendo 7 passos. Esse processo est ilustrado na Figura 4. Na Etapa
2.1 so realizadas as buscas, compreende os passos 1, 5 e 6. Na Etapa 2.2, realizada a leitura e
anlise dos resultados, ou seja, os filtros de leitura, passos 2, 3 e 4. Na Etapa 2.3, realizada a
documentao e arquivamento dos artigos selecionados nos filtros, bem como os resultados das buscas
e filtros de leitura, seguindo os passos 2, 3, 4 e 7. Na etapa 2.3 as informaes documentadas so:
quantidade de artigos encontrados por peridico, quantidade de artigos excludos, quantidade de
artigos encontrados na busca cruzada, etc.. Esses dados so importantes para refinar as buscas e
posteriormente sero teis para argumentao terica e embasamento da sntese da teoria sobre o
assunto pesquisado. Alm disso, til para outros pesquisadores que iro pesquisar temas
correlacionados, propondo um ponto inicial que reduz o tempo da RBS e possibilita melhor
direcionamento e foco na pesquisa.

Figura 4. Procedimento iterativo da fase de processamento, RBS Roadmap
Em uma reviso bibliogrfica sistemtica o processo de busca e anlise dos artigos deve ser bem
definido e seguido rigorosamente. Antes do incio das buscas necessrio adaptar a String de busca
criada na etapa 1.4. Isso necessrio para adequar a String para que funcione corretamente nos
diferentes mecanismos de busca dos peridicos. O mesmo procedimento deve ser feito para conduzir
as buscas nas bases de dados. Os operadores lgicos, tais como OR, AND so comuns na maioria
dos mecanismos de busca. Contudo, existem mecanismos mais avanados que possuem operadores
lgicos especficos que podem contribuir para refinar as buscas.
Conforme apresentado na Figura 4, o Passo 1 consiste na busca por peridico, de forma individual.
necessrio, portanto, definir uma lista inicial de peridicos relevantes para o tema pesquisado. Essa
lista desenvolvida na Fase 1 (Entrada Etapa 1.3 Definir fontes primrias). Para cada peridico da
lista realizada uma busca, utilizando a String de busca. Os resultados so registrados

9
individualmente, por peridico, utilizando o Form1. O Form 1 possui os seguintes campos: nome do
peridico; JCR Web of Science; Qualis-CAPES; nmero da RBS; Quantidade de artigos encontrados
na busca; Quantidade de artigos selecionados (Filtro 1); Data da busca; Quantidade de artigos
excludos; % de aproveitamento. No corpo do formulrio existem campos para cadastro dos artigos
encontrados: ID (cdigo) do artigo; ttulo; autores; ano; palavras-chave; filtros de pesquisa (para
indicar o filtro realizado); critrios de incluso do artigo. O ID do artigo pode ser composto do nmero
do peridico, seguido do nmero da busca (caso haja buscas distintas sendo conduzidas), e o nmero
do artigo. Alm disso, o Form1 possui um campo especfico para registrar a String adaptada, utilizada
na busca no respectivo peridico. Os artigos selecionados podem ser arquivados no software de gesto
de referncias, Mendeley. A Figura 5 ilustra um exemplo do Form1 utilizado nas pesquisas descritas
nesse artigo.

Figura 5. Exemplo do Form1 utilizado para registro dos artigos no filtro 1 e 2, RBS Roadmap
O segundo formulrio (Form2) foi criado para registrar os dados das buscas, conforme filtros 1, 2 e 3.
So dados teis para anlises do desempenho da RBS e tambm podem ser utilizados como
embasamento para sntese dos resultados e compreenso do estado da arte no tema pesquisado. O
Form2 possui os campos: ID do peridico; nome do peridico; data da busca; total de artigos
encontrados na busca; total de artigos que passaram pelo filtro 1; tempo gasto no filtro 1 por peridico;
total de artigos que passaram pelo filtro 2; tempo gasto no filtro 2; total de artigos excludos no filtro
2; repositrio (indicando a quantidade de artigos que foram para o repositrio). Com esse formulrio
possvel realizar algumas anlises, por exemplo, identificar os peridicos mais importantes para o
estudo. A Figura 6 ilustra o Form2 utilizado nas pesquisas citadas nesse artigo.

Figura 6. Exemplo do formulrio Form2, RBS Roadmap
Uma vez realizada a busca no peridico, o resultado dever ser submetido ao primeiro filtro de leitura
(Filtro 1) conforme Passo 2. Nesse filtro apenas o ttulo, resumo e palavras-chave so lidos. Deve-se
realizar a checagem das palavras-chave definidas pelos autores do artigo e sua aderncia com aquelas
utilizadas na construo da String, ou conjunto de palavras-chave de referncia. Os artigos que
estiverem alinhados com os objetivos da pesquisa e atenderem os critrios de incluso sero
selecionados para o prximo filtro. importante ressaltar que nesse primeiro filtro, apenas com a
leitura do ttulo, resumo e palavras-chave, muitas vezes no suficiente para saber se o artigo atende
aos objetivos e critrios de incluso. Caso haja dvida com relao ao artigo importante mant-lo na
lista de artigos, e submet-lo ao Filtro 2, onde ser feita a leitura da introduo e concluso.
O Filtro 2 realizado no Passo 3. Consiste na leitura da introduo e concluso dos artigos, e repete a
leitura do ttulo, resumo e palavras-chave. Os artigos que no atenderem os objetivos de busca e os
critrios de incluso so eliminados da reviso. No quarto passo (Passo 4), os artigos selecionados no
Filtro 2, so submetidos leitura completa (Filtro 3). Nesse momento importante ter foco nos
objetivos e critrios de incluso. Os artigos que passarem por este filtro certamente sero relevantes
para a pesquisa e sntese da teoria, e podero compor a dissertao ou tese. Em ambas as etapas
importante documentar os dados no Form2.
O Filtro 3 especialmente importante pois o incio do processo iterativo de busca cruzada, onde so
rastreados e identificados artigos relevantes por meio das citaes dos autores. o momento de ler por
completo o trabalho, analisar e interpretar o texto. Esse passo (Passo 5) tem por objetivo principal

10
identificar estudos relevantes que no foram encontrados durante a busca nos peridicos ou bases de
dados. Alm disso, nesse momento que os critrios de qualificao do artigo so preenchidos
utilizando-se o Form3. Os dados dos artigos podem ser recuperados do Form1, sendo que nessa etapa
outros aspectos do artigo sero avaliados como: quantidade de citaes, objetivo e resultados do
estudo, contribuio da pesquisa para a teoria estudada, mtodo de pesquisa utilizado, dentre outros. O
objetivo realizar uma leitura minuciosa do trabalho e avali-lo. Essa avaliao, utilizando os critrios
de qualificao, ser til para priorizar os artigos e assim, identificar os mais relevantes para o estudo.
Cada pesquisador pode criar um formulrio (Form3) segundo as caractersticas mais apropriadas ao
seu estudo. Em geral, o formulrio 3 utilizado para registrar um resumo do artigo, com informaes
do tipo: nome do peridico; ttulo do artigo; autores; ano de publicao; instituio do autor principal
do artigo; pas; JCR do peridico; Google Scholar Citation; WoS Citation Report do artigo; campo
para indicar o atendimento aos objetivos da pesquisa; descrio dos objetivos/resultados relevantes do
estudo; mtodo de pesquisa adotado; unidade de anlise; tamanho da amostra; amplitude da amostra;
campo para observaes relevantes, etc.. Esse formulrio ser til na construo da sntese final da
reviso e anlise dos resultados obtidos.
No Passo 6 realiza-se a busca nas bases de dados. O principal objetivo encontrar artigos recentes,
publicados em anais de congressos e eventos cientficos que esto indexados em bases de dados.
Utiliza-se a String de busca para identificar um conjunto de artigos relevantes para o estudo. Devido a
grande quantidade de artigos que podem ser encontrados, esse trabalho de busca na base de dados
exige o refinamento da String de busca e dos resultados gerados. Essa quantidade pode ser reduzida
com a limitao do escopo da busca, por exemplo, definindo o perodo da busca em apenas 5 anos.
Outra restrio importante so as reas de pesquisa que j so conhecidas devido ao trabalho de busca
e leitura dos artigos encontrados nos peridicos estudados.
A documentao dos artigos e resultados das buscas constitui o Passo 7. Os artigos que passarem pelo
Filtro 3 so catalogados e armazenados em um software para gesto de referncias bibliogrficas.
Nesse estudo foi utilizado o Mendeley. Tambm utiliza-se o Form2 e Form3 para registro dos dados
das buscas. O Form2, em especial, utilizado em todos os passos do procedimento apresentado. Todos
os resultados obtidos durante a fase de processamento, utilizando-se os sete passos apresentados, em
conjunto com os filtros de busca e formulrios de registro dos artigos, sero teis na fase final da
reviso sistemtica, conforme descrito a seguir.
5.1.3 FASE 3 SADA
A fase final do roteiro RBS Roadmap consiste de 4 etapas:
ETAPA 3.1 Alertas Consiste na insero de alertas nos principais peridicos identificados
durante a conduo da RBS. Ao final da RBS, as informaes contidas no Form3 so teis para
priorizar os artigos e consequentemente identificar os principais peridicos para a rea de estudo.
O pesquisador pode inserir alertas nos peridicos e receber por email um aviso com os artigos
publicados em futuras edies. Essa ao til para rastrear novos artigos e atualizar o
repositrio de artigos da pesquisa.
ETAPA 3.2 Cadastro e arquivo Os artigos que foram selecionados no Filtro 3, e foram
analisados e interpretados sero includos no repositrio de artigos da pesquisa. Os artigos sero
armazenados com o apoio de um software para gerenciamento de referencias (Mendeley). Trata-
se de um sistema de fcil utilizao que permite compartilhamento de arquivos entre os
participantes do projeto de pesquisa, e ainda possibilita marcao no texto, e registro e anotaes
como resultado da leitura dos artigos.
ETAPA 3.3 Sntese e resultados nessa etapa elabora-se um relatrio que ser uma sntese da
bibliografia estudada. Trata-se de um texto sobre o assunto estudado que poder assumir o
formato de uma seo de reviso bibliogrfica que posteriormente ser inserida na tese ou
dissertao. importante identificar o estado atual do corpo de conhecimento no assunto
pesquisado, por exemplo, descrevendo os principais autores da rea, a evoluo do conceito,

11
quantidade de artigos diretamente relacionados ao tema de pesquisa, compilar e avaliar as
definies dos termos, modelos tericos, estudos de casos, survey, etc..
ETAPA 3.4 Modelos tericos a construo de modelos tericos e definio de hipteses tm
como embasamento os resultados da RBS, e a sntese do tema estudado. O modelo terico o
resultado final da RBS. Ser especialmente til para a continuao da pesquisa, na construo do
mtodo para realizao de estudos de caso, ou survey. Caso a RBS tenha sido embasada em
hipteses pr-definidas, nesse momento elas podem ser avaliadas e confrontadas com os
resultados obtidos, verificando se podem ser refutadas ou corroboradas.
6. Consideraes finais
O objetivo deste artigo foi apresentar um roteiro para a conduo de reviso bibliogrfica sistemtica,
desenvolvido a partir de uma pesquisa-ao em trs pesquisas na rea de desenvolvimento de produtos
e gerenciamento de projetos, e com base em modelos preconizados em outras reas do conhecimento.
Conforme discutido por Levy e Ellis (2006) e Biolchini et al. (2007), existem diversas razes e
contribuies para utilizar reviso bibliogrfica sistemtica em um trabalho cientfico de pesquisa. Em
especial, quando h a necessidade de trabalhar uma grande quantidade de dados e busca-se
compreender o estado da arte sobre um determinado assunto, exemplo do que ocorre na rea de
medicina (MULROW, 1994), permitindo uma maior confiabilidade nos resultados da reviso
(WEBSTER; WATSON, 2002; WALSHAM, 2006; LEVY; ELLIS, 2006).
Dessa forma, duas contribuies so apontadas, uma de ordem terica e outra de ordem prtica. Do
ponto de vista prtico, destaca-se a descrio de um roteiro para conduo de reviso bibliogrfica
sistemtica, construdo a partir de uma pesquisa-ao considerando trs pesquisas na rea de gesto de
operaes. O RBS Roadmap mostrou-se til nas pesquisas, em especial para a pesquisa de doutorado
(Pesquisa 1), na conduo da reviso sistemtica, por meio da aplicao de um conjunto de etapas
dispostas em um fluxo iterativo de busca, anlise dos resultados e documentao, utilizando-se filtros
de leitura e critrios de qualificao dos artigos. Assim, considera-se que o RBS Roadmap seja til
para a conduo de pesquisas bibliogrficas com maior rigor cientfico na rea de gesto de operaes,
em especial desenvolvimento de produtos e gerenciamento de projetos.
Do ponto de vista terico, este artigo aprimora os modelos propostos por Biolchini et al. (2007) e Levy
e Ellis (2006), propondo assim um roteiro para RBS com foco na rea de gesto de operaes. Nesse
sentido, este artigo corrobora com o indcio sobre a ausncia de modelos especficos para esta rea, em
especial desenvolvimento de produtos e gerenciamento de projetos, identificado no incio do estudo.
Em resumo, o RBS Roadmap sistematiza o potencial de aplicao da reviso sistemtica, amplamente
utilizado em outras reas da cincia, que pode ser til tambm na rea de gesto de operaes.
A principal limitao do RBS Roadmap o foco em artigos de peridicos e congressos, no
apresentando por exemplo, como conduzir a reviso sistemtica em livros, teses ou dissertaes. Alm
disso destaca-se a necessidade de adaptar o roteiro para cada pesquisa, e ampliar sua aplicao,
verificando pontos de melhoria para adequar aos diferentes tipos de pesquisa conduzidas na rea de
gesto de operaes. O RBS Roadmap apenas um guia, que pode servir como referencia para outros
estudos. Outra restrio est relacionada com a anlise dos resultados pois necessrio considerar
tcnicas estatsticas para anlises quantitativas dos resultados.
Como passos futuros, indica-se o aprimoramento do mtodo RBS Roadmap por meio da aplicao em
mais pesquisas e tambm, adicionar ferramentas avanadas de apoio anlise de dados. o caso da
anlise bibliomtrica e anlise semntica de termos para a definio de conceitos e modelos tericos.
No caso do uso de tcnicas de bibliometria, o RBS Roadmap pode contemplar um subconjunto de
passos para realizar esse tipo de anlise, indicando ferramentas utilizadas e quais resultados e tipos de
anlise so possveis com o uso dessa tcnica.
7. Agradecimentos:
Os autores agradecem o apoio financeiro da Fundao de Amparo Pesquisa do Estado de So Paulo
(FAPESP) sem o qual no seria possvel realizar essa pesquisa.

12
8. Referncias
Barczak, G.; Griffin, A; Kahn, K.B. Perspective: trends and drives of success in NPD practices: results of the
2003 PDMA best practices study. Journal of Product Innovation Management v.26, n.1, pp.3-23, 2009.
Bereton et al. Lessons from Applying the Sistematic Literature Review Process within the Software Engineering
Domain. The Journal of System and Software, v. 80, p.571-583, 2007.
Biolchini, J.C.A., et al. Scientific research ontology to support systematic review in software engineering.
Advanced Engineering Informatics, v.21, n.2, p.133-151, 2007.
Brown, S.; Eisenhardt, K. Product development: past research, present findings, and future directions. Academy
of Management Review, v.20, n.2, p.343-378, 1995.
Conboy, K. Agility from First Principles: reconstructing the concept of agility in information system
development. Information Systems Research, v.20, n.3, pp. 329-354, 2009.
Cook, D.J.; Mulrow, C.D.; Haynes, R.B. Systematic reviews: synthesis of best evidence for clinical decisions.
Annals of Internal Medicine, v.126, n.5, pp.376-380, 1997.
Cooper, H. Synthesizing Research. Thousand Oaks: Sage, 1998.
Coughlan, P.; Coghlan, D. Action Research action research for operations management. International Journal
of Operations & Production Management, v.22, n.2, p.220-240, 2002.
Dane, F. Research methods. Brooks/Cole Publishing Company: California, 1990.
Dyba, T.; Dingsoyr, T. Empirical studies of agile software development: a systematic review. Information and
Software Technology, v.50, pp.833-859, 2008.
Gil, A. Como elaborar projetos de pesquisa. Atlas: So Paulo, 2007.
Griffin, A. PDMA Research on new product development practices: updating trends and benchmarking best
practices. Journal of Product Innovation Management, v.14, n.6, p.429-458, 1997.
Hart, C. Doing a literature review: releasing the social science research imagination. Sage Publications:
London, 1998.
Iivari, J.; Hirschheim, R; Klein, H.K. Towards a distinctive body of knowledge for information systems experts:
coding ISD process knowledge in two IS journals. Information Systems Journal, v.14, n.4, p.313-342, 2004.
Journal Citation Reports Thomson Reuters. Disponvel em:
http://thomsonreuters.com/products_services/science/science_products/a-z/journal_citation_reports/. Acesso em:
23 nov 2010.
Kioppenborg, T.; Opfer, W. The current state of project management research: trends, interpretations and
predictions. Project Management Journal, v.33, n.2, p.5-18, 2002.
Kitchenham, B. Procedures for performing systematic reviews, Joint Technical Report Software Engineering
Group, Department of Computer Science, Keele University, United King and Empirical Software Engineering,
National ICT Australia Ltd., Australia, 2004.
Kolltveit, B.; Karlsen, J.; Gronhaug, K. Perspectives on project management. International Journal of Project
Management, v.25, n.1, p.3-9, 2007.
Levy, Y.; Ellis, T.J. A system approach to conduct an effective literature review in support of information
systems research. Informing Science Journal, v.9, p.181-212, 2006.
Mendeley. Disponvel em: http://www.mendeley.com/. Acesso em 23 nov 2010.
Mulrow, C.D. Systematic reviews rationale for systematic reviews. British Medical Journal, v.309, pp.597599,
1994.
Portal de Peridicos CAPES. Disponvel em: http://novo.periodicos.capes.gov.br/. Acesso em 23 nov 2010.
Shaw, J. A schema approach to the formal literature review in engineering theses. System, v.23, n.3, p.325-335,
1995.
Shenhar, A.; Dvir, D. Project Management Research - the challenge and opportunity. Project Management
Journal, v.38, n.2, p.93-99, 2007.
Tranfield, D.; Denyer, D., Towards a methodology for developing evidence-informed management knowledge
by means of systematic review. British Journal of Management, v.14, n.3, pp.207-22, 2003.
Walsham, G. Doing interpretive research. European Journal of Information Systems, v.15, pp.320-330, 2006.
Webster, J.; Watson, J.T. Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly
& The Society for Information Management, v.26, n.2, pp.13-23, 2002.