Revista Brasileira de Zootecnia

2007 Sociedade Brasileira de Zootecnia ISSN impresso: 1516-3598 ISSN on-line: 1806-9290 www.sbz.org.br

R. Bras. Zootec., v.36, suplemento especial, p.285-294, 2007

Meta-anlise em pesquisas cientficas - enfoque em metodologias

Lovatto P.A., Lehnen C.R., Andretta I., Carvalho A.D., Hauschild L.
Universidade Federal de Santa Maria, Departamento de Zootecnia, Campus Camobi, 97119-900, Santa Maria, RS. lovatto@smail.ufsm.br

RESUMO - Este texto descreve os princpios bsicos de sistematizao com enfoque em meta-anlise. apresentado o estado da arte da meta-anlise, recuperando informaes de sua evoluo e metodologias bsicas para sua realizao. So descritos seus antecedentes histricos, os limites das abordagens clssicas de reviso de literatura, as bases conceituais, os objetivos e justificativas. indicada uma metodologia geral para realizao da meta-anlise. So apresentados os critrios para a definio dos objetivos. So descritos os procedimentos de sistematizao das informaes e gesto de base bibliogrfica de dados destinada aos estudos meta-analticos (seleo, codificao, filtragem de dados). So apresentadas as anlises mais comuns (grfica, ponderaes), a escolha do modelo estatstico (um fator explicativo qualitativo, um efeito qualitativo ou quantitativo), os fatores de interferncia, os procedimentos ps-analticos (variaes residuais, heterogeneidade entre resultados). Em sntese, este texto mostra que a metaanlise superior s formas tradicionais de reviso de literatura por estimar com maior preciso os efeitos dos tratamentos, ajustando-os para a heterogeneidade experimental. No entanto, a meta-anlise exige os efeitos na sistematizao e anlise dos resultados da pesquisa. Palavras-chave : anlise sistmica, produo animal, reviso de literatura, sistematizao

Meta analysis in scientific research: a methodological approach

ABSTRACT - This text describes a basic approach of systematization with focus on meta-analysis. It is presented the art state of the meta-analysis, recovering information of its evolution and basic methodologies for its accomplishment. In this text are described the historical antecedents of meta-analysis, the limits of the classic approaches of literature review, the conceptual bases and the objectives. It is indicated a general methodology for meta-analysis procedures. The criteria for the definition of the objectives are presented. The procedures of the systematization and management of bibliographical data base selected to meta-analytic studies are described (selection, code, data filtration). The most common analysis (graph, adjustments) are presented, the choice of the statistical model (a qualitative explanatory factor, a qualitative or quantitative effect), the interference factors and the post-analytic procedures (residual variations, heterogeneity among results). In conclusion, this text shows that meta-analysis is better than traditional methods of literature review for esteeming with more precision the treatments effects adjusting its for the experimental heterogeneity. However, the meta-analysis requires discipline in the systematization and analysis of the research results. Key Words: animal production, literature review, systematization

1. Introduo
Nas ltimas dcadas a produo cientfica mundial evoluiu de forma exponencial. No Brasil, essa evoluo foi mais tardia e, embora no tenha sido homognea, existem reas onde ela seguiu o comportamento mundial. Essa produtividade
Correspondncias devem ser enviadas para: lovatto@smail.ufsm.br

cientfica resultado do interesse contnuo para o desenvolvimento de novas tecnologias, que instigam cincia a compreenso cada vez mais detalhada dos mecanismos cientficos. Isso fez com que o elevado nmero de publicaes se transformasse num problema para a seleo e anlise qualificada da literatura. Mas esse

286

Lovatto et al.

problema necessrio, benfico e fundamental para a evoluo do conhecimento. No entanto, o grande volume de informaes pode dificultar a contextualizao do problema com erros de interpretao ou anlise. Diante disso, vrias alternativas foram sugeridas para analisar e sistematizar as informaes. H mais de duas dcadas foi proposta a metaanlise, procedimento que combina resultados de vrios estudos para fazer uma sntese reproduzvel e quantificvel dos dados. Essa sntese melhora a potncia estatstica na pesquisa dos efeitos dos tratamentos, sendo mais precisa na estimao e tamanho do efeito. A meta-anlise permite, em caso de resultados aparentemente discordantes, obter uma viso geral da situao (Boissel et al., 1989; Boissel, 1994; DAgostino & Weintraub, 1995). No domnio agrcola, em especial na rea animal, o nmero de meta-anlises publicadas tem aumentado nos ltimos anos (Lovatto & Sauvant, 2002; Martin & Sauvant, 2002; Offner et al., 2003; Eugne et al ., 2004; Hauptli et al ., 2007), sinalizando que esse procedimento possa se tornar rotina nesse campo da cincia. Vrias razes podem justificar o ingresso tardio das cincias animais na meta-anlise. Algumas delas, mais conceituais, tm origem na estrutura evolutiva da cincia, baseada essencialmente num paradigma cartesiano. Outras resultam de nossa formao educacional, que tem dificuldade em definir e executar planos pedaggicos inter e multidisciplinares. Mas as demandas dos pesquisadores e tambm dos usurios das tecnologias esto estimulando e forando o uso de alternativas para metodologias analticas da literatura que dem vises globais e quantitativas dos resultados experimentais. Nesse sentido, a Comisso Organizadora da 44 REUNIO ANUAL DA SBZ inova ao colocar na pauta do evento temas considerados novas metodologias, como a meta-anlise. Este texto tem dois objetivos principais. O primeiro indicar o estado da arte da meta-anlise, recuperando informaes de sua evoluo e metodologias bsicas para sua realizao. O segundo de contribuir com o debate sobre metodologias analticas sistmicas de literatura em produo animal. Para tanto, apresentaremos inicialmente uma abordagem histrica, na seqncia as razes

que justificam a meta-anlise, em seguida alguns procedimentos operacionais bsicos e, finalmente, as concluses.

2. Meta-anlise: antecedentes histricos

Em 1952, Hans J. Eysenck concluiu que a psicoterapia no tinha nenhum efeito benfico, o que desencadeou grande debate entre os profissionais dessa rea. Vinte anos de pesquisa e avaliao de centenas de estudos no resolveram os problemas levantados por esse debate. Para provar que Eysenck estava errado, Smith & Glass (1977) agregaram estatisticamente resultados de 375 pesquisas em psicoterapia e concluram que a psicoterapia tem efeitos. Smith e Glass chamaram esse mtodo de meta-anlise. A meta-anlise se desenvolveu inicialmente nas cincias sociais, na educao, na medicina e, mais tarde, na agricultura. Os fundamentos da metaanlise so muito anteriores s observaes de Smith e Glass. Fisher (1935) afirmou que ao realizar testes de probabilidades independentes, um ou nenhum podem ser significativos, mas a associao deles d a impresso de que as probabilidades so em geral mais baixas que se fossem obtidas por acaso . Mas desde 1932, Fisher propunha um mtodo para combinar os valores de p . Isso traz tona a idia de valores de probabilidade acumulativos. Os primeiros trabalhos que se interessaram pela problemtica da combinao dos resultados de vrias experimentos independentes foram realizados por Cochran (1954). O mtodo publicado por Mantel & Haenszel (1959) se tornou um dos principais nessa rea. Muitos pesquisadores acham que isso serviu como base estatstica da moderna meta-anlise. Mas foi recentemente que o interesse pela meta-anlise se intensificou. A Figura 1 mostra a evoluo nos ltimos 26 anos das publicaes cientficas internacionais (indexadas PubMed) e nacionais (indexadas Scielo) tratando de metaanlise. Em nvel internacional houve uma evoluo exponencial das publicaes, passando de 23 em 1980 para mais de 3.700 em 2006. O cenrio nacional no seguiu essa tendncia. Os primeiros dois artigos sobre o tema surgiram em 1999 alcanando em 2006 oito publicaes.

2007 Sociedade Brasileira de Zootecnia

Meta-anlise em pesquisas cientficas - enfoque em metodologias

287

Figura 1 - Evoluo nos ltimos 26 anos das publicaes cientficas internacionais (indexadas PubMed) e nacionais (indexadas Scielo) tratando de meta-anlise. Pesquisa realizada em 12/03/07.

3. Meta-anlise: limites das abordagens clssicas

Um dos artigos que melhor discute as razes do uso da meta-anlise foi publicado por Sauvant et al. (2005). Por ser aplicado diretamente s cincias animais, nosso texto utiliza esse artigo como referncia mais importante. Nele os autores reiteram que na transformao de resultados de pesquisa em um conhecimento utilizvel, um nico experimento no pode ser conclusivo para uma inferncia. Isso porque os resultados de um experimento refletem as condies experimentais. Embora as metodologias do experimento sejam estabelecidas para que os resultados amostrais possam ser extrapolados populao, a comunidade cientfica geralmente confirma os primeiros resultados atravs de experimentos adicionais. Dessa forma, para um mesmo assunto, dezenas, ou at mesmo centenas de experimentos so realizados.

significativos no tenham mesmo peso que os significativos. A meta-anlise muda o enfoque, a direo e a magnitude dos efeitos entre os estudos. Outro aspecto crtico das revises tradicionais que elas ignoram as diferenas de condies experimentais aplicadas entre os estudos. Isso evidencia que, sem o ajuste dessas diferenas atravs de ferramentas apropriadas, os resultados no sero compilados na base de dados de forma coerente e confivel (Anello & Fleiss, 1995). A variabilidade observada inter-experimentos , normalmente, atribuda variao aleatria (Victor, 1995). A meta-anlise possibilita uma estimativa imparcial do efeito de tratamento, com um aumento da preciso. Devido aos efeitos conflitantes, os estudos individualizados produzem estimativas de associaes que divergem de abordagens mais sistmicas. A considerao completa de heterogeneidade entre estudos, em particular de possveis fontes de variao, permite um clculo mecanicista de uma medida global de efeito.

5. Meta-anlise: objetivos e justificativas

5.1. Obter novos resultados A meta-anlise pode evidenciar um efeito de um tratamento que, individualmente, no permite estabelecer concluses por falta de potncia analtica (baixo n). Nesta situao, a meta-anlise melhora o poder analtico do modelo, aumentando as chances de evidenciar diferenas entre os tratamentos (caso existam). Porm, o reagrupamento de vrios tratamentos de n reduzido no garante que a meta-anlise gere resultados conclusivos. desejvel que os artigos utilizados tenham um desenho experimental correto, sobretudo com relao s repeties. Existem casos onde uma meta-anlise positiva no foi confirmada por experimentos subseqentes. A meta-anlise representa um meio muito interessante para justificar a necessidade de um experimento (Fagard et al., 1996). 5.2. Sntese de resultados contraditrios Em certos domnios, os dados disponveis para uma deciso so constitudos por certo nmero de tratamentos conclusivos e por alguns tratamentos no conclusivos. Essa situao pode se explicar por um tamanho insuficiente da amostra ou n. A meta-anlise permite fazer uma sntese dos dados

4. Meta-anlise: bases conceituais

Mtodos tradicionais de reviso tm como objetivo extrair informaes de trabalhos publicados com ou sem (mais comum) anlises estatsticas. Quando so realizadas anlises estatsticas, os testes usados s vezes no so adequados por serem dependentes do tamanho da amostra. Isso pode fazer com que resultados no

2007 Sociedade Brasileira de Zootecnia

288

Lovatto et al.

contraditrios por menor que seja sua potncia analtica. 5.3. Aumento da preciso analtica O reagrupamento de vrios experimentos induz a uma melhor preciso na avaliao do tamanho do efeito do tratamento. Isso se deve a uma anlise fundamentada em uma quantidade maior de informao, acompanhada do aumento de comparaes entre temas. 5.4. Melhor representatividade A avaliao oriunda da meta-anlise se aproxima mais ao efeito da aplicao prtica do tratamento. Considerados individualmente, cada trabalho foi realizado com vrios cuidados especficos. Muitas vezes esses cuidados experimentais esto distantes do conjunto da populao. Reagrupando os tratamentos com caractersticas diferentes, a meta-anlise permite ajustar (ou corrigir) a mdia geral dos estudos aos fatores de variao. O efeito do tratamento avaliado levando em conta diferentes condies, o que aumenta sua aplicabilidade para a populao. 5.5. Ajuda para a planificao e gerao de hiptese nova A meta-anlise pode ser realizada em diferentes momentos da definio do problema, da questo a ser respondida e de um novo dispositivo experimental. Durante a fase de planificao de um novo experimento, a meta-anlise fornece os meios para fazer uma sntese do conhecimento adquirido sobre o tema. Ela permite assim reforar a hiptese de que o tratamento produz um efeito. Os resultados obtidos facilitaro o clculo do nmero de repeties. A meta-anlise pode identificar hipteses diferentes das que motivaram os experimentos includos na meta-anlise. necessrio observar com cuidado a validao de uma hiptese atravs de dados que serviram para gerar a mesma hiptese.

de sobrevivncia ou, o mais comum em nosso domnio, de dados quantitativos resultantes de medidas sobre indivduos, de tecidos ou de produtos. A questo da natureza dos fatores estudados em meta-anlise importante por considerar e tratar a heterogeneidade entre tratamentos e/ou experimentos. O fator publicao ou experimento considerado como um efeito aleatrio se cada amostra for tida como uma representao de uma populao maior. Neste contexto, diferenas entre experimentos so resultados da variabilidade da amostragem aleatria e o objetivo em geral controlar a variabilidade deste fator. Trata-se de um efeito fixo se cada experimento ou grupo de experimentos vem de uma populao diferente. Nesse caso, as modalidades podem ser escolhidas pela comunidade de pesquisadores. Nessa condio, o objetivo princi-pal classificar e explicar essas modalidades. Se o objetivo obter uma lei geral de resposta a uma prtica, conveniente verificar se os experimentos agrupados so representativos dos vrios contextos nos quais as prticas em questo sero aplicadas. Este ltimo aspecto importante, mas s vezes negligenciado. Ao sistematizar o tema, busque um efeito fixo que permita classificar esses contextos.

7. Meta-anlise: dificuldades do tratamento das bases de dados

A base de dados se apresenta em geral em linhas (tratamentos, lotes, tipos experimentais) e em colunas (medidas e codificaes). Um dos maiores problemas que a planilha pode conter clulas vazias, o que reduz os recursos analticos descri-tivos multidimensionais e obriga a avanar por uma abordagem uni ou bidimensional. Esta ltima abordagem freqente em meta-anlise para estudar os pares (varivel explicada varivel explicativa). Por outro lado, o meta-dispositivo experimental constitudo por uma base de dados agrupada, nunca organizado com antecedncia, no sendo clssico, equilibrado ou ortogonal (Sauvant et al., 2005). Alm disso, na maioria das situaes tratadas por meta-anlise, a variabilidade entre os tratamentos mais importante que aquela induzida experimentalmente dentro dos tratamentos. Somado a isso, as relaes existentes entre duas variveis no so idnticas entre e

6. Meta-anlise: natureza de dados e dos fatores

Os dados avaliados por meta-anlise podem ser de natureza qualitativa, expressos, por exemplo, por um cdigo tipo [0-1]. Eles tambm podem ser expressos em forma de percentagem,

2007 Sociedade Brasileira de Zootecnia

Meta-anlise em pesquisas cientficas - enfoque em metodologias

289

dentro dos tratamentos. Nessa situao, a questo que se apresenta se a relao inter ou intratratamentos tem um alcance mais geral.

8. Meta-anlise: procedimentos
Alguns procedimentos (Figura 2) constituem as boas prticas e compem a engenharia da metaanlise, devendo ser aplicados do modo mais rigoroso possvel. 8.1. Definio do objetivo O tema da pesquisa pode ser determinado atravs de variveis dependentes, independentes ou comumente pesquisadas. Nesse contexto, fundamental relacionar as causas e efeitos das variveis. Antes de tudo, necessrio definir um objetivo de pesquisa, uma problemtica, quem a pessoa essencial para definir as fases seguintes e, em particular, a codificao, filtragem, a ponderao dos dados e o modelo estatstico. Ns podemos ter objetivos mais ou menos focados, fazendo um estudo exploratrio do tipo vigilncia bibliogrfica. Mas sempre so os objetivos que determinam todo o processo meta-analtico.

8.2. Sistematizao das informaes Toda a meta-anlise baseada na sistematizao de um conjunto de dados obtidos principalmente da literatura cientfica. Em situaes especiais os dados podem ser obtidos de experimentos no publicados. A construo da base de dados depende da organizao lgica das informaes descritas no material bibliogrfico. Em vista da disponibilidade de dados, necessrio limitar a pesquisa bibliogrfica no espao (amplitude geogrfica) e tempo (perodo de incluso dos artigos). Utilize as definies operacionais das variveis, a qualidade dos artigos, os participantes e o desenho experimental. A busca pode ser em bases digitais ( ex. portal Peridicos Capes). Selecione o conjunto final de artigos, faa individualmente e no exclua artigos no significativos. Os dados a serem extrados dependem dos objetivos, mas importante elaborar um formulrio de extrao de dados (principalmente informaes do material/mtodos e resultados). No ideal ter critrios pr-determinados para incluso e excluso de artigos. desejvel que esses critrios sejam desenvolvidos medida que se interage com a literatura. Para incluir ou excluir artigos de baixa

Figura 2 - Principais etapas de uma meta-anlise (adaptado de Sauvant et al., 2005).

2007 Sociedade Brasileira de Zootecnia

290

Lovatto et al.

qualidade se parte do pressuposto que todos os resultados possam ter erros potenciais (qualidade metodolgica). Um cuidado especial deve ser observado quanto mxima inclumos estudos publi-cados porque foram revisados. Resultados significativos sero publicados mais que os no significativos. difcil tentar identificar e recuperar todos os experimentos onde se conheam os critrios de elegibilidade. As fontes potenciais para identificao de documentos so bases de dados bibliogrficas informatizadas, autores que trabalham no mesmo tema de pesquisa, programas de conferncia, dissertaes, reviso de artigos, procura manual de peridicos relevantes, relatrios, entre outros. 8.3. Codificao de dados A primeira fase essencial de um trabalho metaanaltico a codificao dos dados das publicaes includas na base. Torna-se necessrio tambm codificar por objetivo experimental anunciado e avaliado em cada publicao. Isso nos remete a definir tantos cdigos quanto os objetivos experimentais agrupados na base. Essas codificaes so indispensveis para interpretar os dados considerando os vrios objetivos experimentais. Existem situaes onde necessrio discretizar uma varivel contnua transformando-a, de acordo com o objetivo, em uma varivel discreta. Essa varivel ter n modos em uma s coluna, ou vrias colunas de n modos (codificando 0-1). Essa codificao permite localizar, ou considerar estatisticamente, as modalidades dos fatores experimentais, as caractersticas principais, um tipo de medida, equipe de pesquisa, etc. Na prtica importante incluir na base todas as informaes disponveis que so aplicveis aos objetivos da pesquisa. 8.4. Filtragem dos dados A qualidade dos resultados da meta-anlise se deve tambm a filtragem dos dados, que se desenvolve em trs fases. A primeira consiste em assegurar que uma publicao candidata para a entrada na base tenha coerncia com os objetivos do trabalho. Uma vez selecionada, a publicao deve ser explorada exaustivamente atravs de uma leitura crtica e eventuais erros devem ser anotados. Embora bvio, esse trabalho deve ser realizado por pessoas que tenham conhecimento suficiente

no tema. No possvel terceirizar essa tarefa a membros da equipe sem treinamento prvio. Nossa experincia tem demonstrado que os doutorandos e mestrandos podem, aps uma formao completa, realizar adequadamente essa tarefa. No caso de graduandos, necessrio que os mesmos tenham capacidade de anlise e interpretao sistmica das informaes. Depois disso, se a publicao for aceita, seus dados so transferidos, com precauo para evitar enganos de transcrio, para a base de dados. Aps a insero da publicao na base de dados, importante considerar no conjunto das caractersticas gerais e das relaes da base, se a mesma no apresenta um comportamento anormal. Se for o caso, a publicao deve ser deixada de lado sem ser eliminada definitivamente, pois pode ser novamente consultada no decorrer de trabalho. 8.5. Anlise dos dados 8.5.1. Grfica A anlise grfica de dados representa uma fase essencial de uma meta-anlise. Essa anlise permite, pela visualizao das representaes grficas, identificar rapidamente as informaes e relaes importantes. Essa abordagem muito til porque nos d uma idia inicial e geral da heterogeneidade e coerncia dos dados sobre a natureza e a importncia das relaes inter ou intraexperimentos. A anlise grfica sistemtica dos dados permite tambm estabelecer hipteses ou clarear pontos-chave para a escolha de um modelo estatstico. Ela permite ainda identificar rapidamente, devido a codificao de dados, indivduos ou experimentos que apresentam condio particular ou aberrante. A anlise grfica pode tambm identificar a existncia de no linearidade e de interaes e localizar nos dados explorados experimentalmente as zonas possvel e plausvel de mesmas variaes. Ela permite ainda estimar valores de variveis para qual o esforo da pesquisa foi maior. 8.5.2. Do meta-dispositivo experimental necessrio conhecer o meta-dispositivo constitudo pela estrutura dos experimentos para cada caracterstica explicativa. Para isso, diferentes procedimentos devem ser aplicados antes e depois da anlise estatstica. No caso de uma varivel explicativa, til

2007 Sociedade Brasileira de Zootecnia

Meta-anlise em pesquisas cientficas - enfoque em metodologias

291

codificar os tipos e freqncias dos diferentes dispositivos experimentais aplicados. Esse conhecimento pode ser essencial para certas fases da interpretao. Histogramas do conjunto de tratamentos e de experimentos sobre a varivel explicativa do uma idia da distribuio do esforo de pesquisa. importante tambm considerar as variaes intra-experimentos das variveis explicativas. Variaes intra-experimentos de amplitudes muito pequenas no so interessantes para obter leis de resposta intra. Outro aspecto importante saber se existe ou no, um efeito significativo do experimento sobre as caractersticas tratadas como varivel explicativa. No caso de efeito significativo, necessrio prestar ateno sobre o procedimento estatstico para estudar um efeito intra-experimento, pois no existe correlao entre efeitos intra e interexperimentos. No caso de duas ou mais variveis explicativas a serem includas no mesmo modelo, sugerido examinar, grfica e estatisticamente, as relaes globais, inter e intra-experimentos. Isso permite observar o grau de independncia entre estas variveis e a possibilidade de interpretar independentemente coeficientes de regresso. 8.5.3. Ponderaes Os experimentos agrupados numa meta-anlise so freqentemente muito variados em relao a critrios como o nmero de animais, dispositivo experimental e variao residual (desvio padro) aps o tratamento estatstico. necessrio considerar essa diversidade no momento da anlise. conveniente, ento, considerar a escolha do sistema de ponderao de experimentos. Globalmente temos dois tipos de ponderaes. As ponderaes justificadas pela teoria estatstica: no modelo linear geral e onde as varincias das observaes so diferentes e conhecidas, os estimadores do mximo de verossimilhana so obtidos ponderando cada observao pelo inverso da varincia do resultado do experimento i, ou seja, (ni/Sri2), onde ni o nmero de observaes individuais da qual obtivemos a mdia. Outras ponderaes i usam o inverso da varincia residual (1/Sri2) ou o desvio padro residual (1/Sri), ou novamente a raiz quadrada/Sr). Mas a aplicao dessas ponderaes apresenta a inconvenincia de modificar os valores

de parmetros (desvio padro residual....) tornando difcil o interesse estatstico de uma ponderao. Para evitar isso, ST-Pierre (2001) props a diviso de cada ponderao pelo valor do conjunto para obter parmetros que possuam a mesma escala. Esta necessidade depende do software utilizado. Por exemplo, com a opo weight do SAS, h normalizao automtica de ponderaes para que a soma seja igual a um. Nas ponderaes de acordo com outros critrios considera-se, por exemplo, a fora do experimento (quer dizer a capacidade de evidenciar um efeito cuja amplitude definida a priori) ou at mesmo a durao da experimentao. tambm desejvel considerar, por ponderao, uma nota de avaliao global, parcialmente subjetiva, da qualidade do experimento aps a leitura crtica da publicao. Esta qualidade deve ser avaliada de acordo com uma grade elaborada por um ou vrios especialistas do tema considerado. Mas o interesse da ponderao diminui quando o nmero de experimentos considerados aumenta (Sauvant et al., 2005). Outra questo recorrente sobre esse tema saber se mais oportuno ponderar uma experimentao ou os tratamentos que correspondem em geral aos resultados mdios de um lote de animais. Realmente, uma parte heterognea, rejeitada pelos autores da publicao baseada num teste de homogeneidade, de homocedacidade ou varincia, pode ser analisada adequadamente por metaanlise. Porm, para ser realizado, esse procedimento pressupe o conhecimento das variaes intra de cada tratamento ou lote. Infelizmente, essa informao raramente est disponvel nas publicaes. Outro aspecto que merece reflexo na aplicao de ponderaes a relevncia da escolha de um dispositivo experimental em relao a um objetivo cientfico. Para muitas variveis de difcil medida, o dispositivo experimental geralmente aplicado em animais o quadrado latino. A vantagem deste dispositivo usar um nmero reduzido de animais, controlar a varincia individual, ter coeficientes de variao baixos e maior poder analtico. Por outro lado, pela evoluo fisiolgica dos animais, os perodos experimentais aplicados so, em geral, bastante curtos. Isso significa que os efeitos testados podem dar informao unicamente sobre modificaes

2007 Sociedade Brasileira de Zootecnia

292

Lovatto et al.

passageiras consideradas durante prazo limitado. Isso levanta a questo da validade do processo de inferncia. Podemos nos questionar sobre a relevncia dos dispositivos experimentais fornecendo algumas variaes residuais mais elevadas, envolvendo mais animais e aumentando a durao experimental. 8.5.4. Escolha de um modelo estatstico A varivel resposta pode ser contnua ou discreta. Como a meta-anlise se desenvolveu historicamente em cincias da educao, depois em medicina, com variveis respostas binrias, nosso interesse somente para variveis respostas contnuas que so a maioria de nossas situaes. No caso de varivel resposta binria (doente/sadio) utilizado o modelo linear generalizado. Como o problema do vis de publicao onipresente em medicina, h tendncia geral de se publicar artigos que mostrem efeitos significativos. Se dois estudos sobre o mesmo tema so realizados por equipes diferentes, um pode observar presena e o outro ausncia de efeito significativo. O estudo com efeito positivo tem mais chances de ser publicado, mesmo que aquele com efeito negativo tenha qualidade semelhante. Dessa forma, a meta-anlise que selecionar somente artigos publicados vai sofrer esse vis. Isso no comum em estudos de produo animal, pois as pesquisas buscam a quantificao do efeito e no unicamente provar sua existncia. De maneira geral h duas situaes, dependendo se a varivel resposta dependente de um fator qualitativo ou quantitativo. 8.5.5. Caso de um fator explicativo qualitativo O modo mais simples para analisar os dados aplicando um modelo estatstico de anlise de varincia: Yij = i + j + ()ij + eij Onde: Yij a varivel resposta; i efeito do tratamento; j fator experimental que pode ser fixo ou aleatrio; ( ) ij efeito da interao tratamento x estudo, fixo ou aleatrio; eij variao residual. Nesse modelo as observaes podem ou no ser ponderadas. Mtodos alternativos foram propostos para integrar esses diferentes aspectos num nico teste global de significncia, mas parece

que eles so menos poderosos que o modelo linear ponderado descrito anteriormente. 8.5.6. Caso de um fator explicativo quantitativo No contexto de pesquisa de uma lei de resposta Y = f (X), ST-PIERRE (2001) props o ajuste dos resultados de n experimentos ( i = 1 a n) e m tratamentos (j = 1 a m) por um modelo estatstico do tipo anlise de varincia-covarincia: Yij = Bo + si + B1*Xij + bi*Xij + eij Onde: Yij: varivel resposta, tratamento j do experimento j; Bo: termo constante, geralmente considerado como um efeito fixo; si: ordenada origem aleatria dos experimentos i; B1: coeficiente de regresso geral Y sobre X (efeito fixo); Xij: varivel explicativa quantitativa; bi : efeito aleatrio do experimento i sobre o coeficiente de regresso de Y sobre X. eij: erro aleatrio. STPierre (2001) simulou um conjunto de dados correspondendo a esse modelo e mostrou a necessidade de fazer uma anlise da relao intraexperimento e no global (integrando todas as observaes sem distino). 8.5.7. Escolha entre um efeito qualitativo ou quantitativo O debate antigo bloco ou covarivel pode ser aplicado em certos controles de efeito intraexperimento. Se este corresponde a um critrio quantitativo com senso concreto, ele pode ser melhor controlado por covarivel. o caso, por exemplo, do reagrupamento de experimentos realizados com animais em crescimento com diferenas importantes entre eles de estgio de crescimento. Neste caso, indicado utilizar o peso vivo como critrio de controle da variao interexperimentos. 8.5.8. Considerando os fatores de interferncia Os fatores de interferncia so as variaes das condies aplicadas inter-experimentos suscetveis de modular resposta de um tratamento. Esses fatores podem ser de natureza quantitativa ou qualitativa, no necessariamente conhecidos a priori. No primeiro caso, importante estudar a (s) resposta (s) considerada (s) em funo dos valores do fator interferente (estudo da interao se o nmero de graus de liberdade permite).

2007 Sociedade Brasileira de Zootecnia

Meta-anlise em pesquisas cientficas - enfoque em metodologias

293

comum que a resposta de critrio explicado dependa do valor da testemunha desse critrio ou do valor da varivel explicativa. 8.5.9. Procedimentos ps-analticos Aps a aplicao de um modelo estatstico de ajuste de dados, conveniente realizar diferentes procedimentos ps-analticos. Eles permitem conhecer melhor certos limites da anlise realizada e saber se so necessrias algumas anlises complementares. 8.5.9.1.A estrutura das variaes residuais Aps a anlise, importante estudar a distribuio de resduos (eij). Eles devem seguir uma lei normal, o que pode ser testado atravs de mtodos disponveis como os testes dos Qui2, de Shapiro-Wilks e grficos. Os desvios studentizados muito elevados (>3, de acordo com o nmero de observaes no estudo) podem ser considerados como aberrantes. No caso de uma meta-anlise, a excluso de lotes (ou tratamentos) pela anlise dos desvios studentizados pode mutilar um experimento obrigando sua excluso completa da interpretao. Dessa forma, necessrio avaliar adequadamente as conseqncias da excluso de um tratamento. Finalmente, necessrio examinar as possveis relaes inter ou intra-experimento que poderiam aparecer entre os resduos e as variveis explicativas. Exemplos prticos de anlise residual podem ser observados nos trabalhos de Martin & Sauvant (2002) e Offner et al. (2003). 8.5.9.2. Heterogeneidade entre resultados de estudo Se os resultados dos estudos diferem muito, talvez no seja adequado combin-los. O desafio a forma de medir essa adequao. Nesse sentido, uma alternativa examinar estatisticamente o grau de semelhana nos resultados dos estudos (testar a heterogeneidade). Observar se nesses procedimentos os resultados de um estudo reflete um nico efeito subjacente em lugar de uma distribuio de efeitos. Se este teste mostra resultados homogneos, as diferenas entre estudos so assumidas como conseqncias da variao do teste, sendo indicado um modelo de efeitos fixos. Porm, se os testes mostrarem heterogeneidade significativa, um modelo com efeitos aleatrios

necessrio. Uma limitao principal dessa abordagem a falta de poder dos testes estatsticos (eles freqentemente no rejeitam a hiptese nula de resultados homogneos mesmo com diferenas significativas entre estudos). Embora no exista nenhuma soluo estatstica para isso, a heterogeneidade entre resultados experimentais no deveria ser vista como um problema para a meta-anlise.

9. Concluses
A meta-anlise superior s formas tradicionais de reviso de literatura. Ela estima com maior preciso o efeito dos tratamentos, ajustandoos para a heterogeneidade experimental. A meta-anlise permite produzir informao til com custos reduzidos. A meta-anlise uma ferramenta importante para mostrar reas onde a evidncia disponvel insuficiente e onde so necessrios novos estudos. A meta-anlise exige disciplina no processo de sistematizar os resultados da pesquisa.

10. Referncias
ANELLO, C.; FLEISS, J.L. Exploratory or analytic metaanalysis: Should we distinguish between them? Journal of Clinical Epidemiology, v.48, n.1, p.109-116, 1995. BOISSEL, J.P. Mta-analyse des essais cliniques; intrts et limites. Archives des Maladies du Coeur et des Vaisseaux, v.87, n.IV, p.11-17, 1994. BOISSEL, J.P.; BLANCHARD, J.; PANAK, E.et al. Considerations for the meta-analysis of randomized clinical trials. Summary of a panel discussion. Controlled Clinical Trials, v.10, p.254-281, 1989. COCHRAN, W.G. The combination of estimates from different experiments. Biometrics, v.10, p.101-129, 1954. DAGOSTINO, R.B.; WEINTRAUB, M. Meta-analysis: A method for synthesizing research. Clinical Pharmacology an Therapeutics, v.58, p.605-616, 1995. EUGNE, M.; ARCHIMDE, H.; SAUVANT, D. Quantitative meta-analysis on the effects of defaunation of the rumen on growth, intake and digestion in ruminants. Livestock Production Science, v. 85, p.81-97, 2004. FAGARD, R.H.; STAESSEN, J.A.; THIJS, L. Advantages and disadvantages of the meta-analysis approach. Journal of Hypertension, v.14, n.(S2), p.S9-S13, 1996. FISHER, R.A. The disign of experiments. Edinbourgh: Oliver and Boyd, 1935. 260p. HAUPTLI, L.; HAUSCHILD, L.; LOVATTO, P. A. Adio de extratos vegetais e antimicrobianos de sntese para leites na creche: Estudo meta-analtico. Cincia Rural, v.7, in press, 2007. LOVATTO, P.A.; SAUVANT, D. Mta-analyse et modlisation de lingestion volontaire chez le porc en croissance. Journes Rech. Porcine en France, v.34, p.129-134, 2002. MANTEL, N.; HAENSZEL, W.M. Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, v.22, p.719-748, 1959.

2007 Sociedade Brasileira de Zootecnia

294

Lovatto et al.

MARTIN, O.; SAUVANT, D. Meta-analysis of input/output kinetics in lactating dairy cows. Journal Dairy Science, v. 85, p.3363-3381, 2002. OFFNER, A.; BACH, A.; SAUVANT, D. Quantitative review of in situ starch degradation in the rumen. Animal Feed Science and Technology, v.106, n.1-4, p.81-93, 2003. SAUVANT, D.; SCHMIDELY, P.; DAUDIN, J.J. Les mtaanalyses des donnes exprimentales: Applications en nutrition animale. INRA Productions Animales, v.8, n.1, p.63-73, 2005. SMITH, M.L.; GLASS, G.V. Meta-analysis of psychotherapy outcome studies. Am Psichol, v.32, n.9, p.752-760, 1977. ST-PIERRE, N.R. Invited review: Integrating quantitative findings from multiple studies using mixed model methodology. J Dairy Sci, v.84, p.741-755, 2001. VICTOR, N. the challenge of meta-analysis: Discussion. Indications and contra-indications for meta-analysis. Journal of Clinical Epidemiology, v.48, n.1, p.5-8, 1995.

2007 Sociedade Brasileira de Zootecnia