Sei sulla pagina 1di 298

Universidade de Braslia

Faculdade de Economia, Administrao,


Informao e Documentao

Contabilidade

Cincia

da

Departamento de Cincia da Informao e Documentao

Mtodo de avaliao de programas de governo eletrnico


sob a tica do cidado-cliente:
Uma aplicao no contexto brasileiro

Cludia Augusto Dias

Tese para o Curso de Doutorado em Cincia


da Informao do Departamento de Cincia
da
Informao
e
Documentao
da
Universidade de Braslia.

Orientadora: Prof. Dra. Sely Maria de Souza Costa

Braslia - DF
2006

ii

Ao meu filho, Felipe.

iii

Agradecimentos
Desde o incio de 1999, quando comecei a cursar, ainda como aluna especial, a Psgraduao do Departamento de Cincia da Informao e Documentao da Universidade de Braslia,
at a concluso desta tese, muitas pessoas contriburam para que isso fosse possvel. A todas elas
agradeo pelo apoio e incentivo, essenciais para o dia-a-dia da pesquisa, durante todas as suas
etapas. Gostaria de agradecer, em especial, queles que possibilitaram a realizao desta pesquisa e
queles que nela diretamente participaram, oferecendo parte de seu precioso tempo e fornecendo
informaes cruciais para este estudo:

minha orientadora, Sely Costa, pela ateno, amizade e orientao ao longo deste
trabalho;

Aos demais professores do Departamento de Cincia da Informao e Documentao da


Universidade de Braslia, pelo conhecimento adquirido em suas aulas e pelas sugestes,
principalmente nos aspectos metodolgicos, para melhoria desta tese;

Aos gestores do Programa E-Gov brasileiro, coordenadores dos Comits Tcnicos, e


Secretrio de Logstica e Tecnologia da Informao, do Ministrio do Planejamento,
Oramento e Gesto, pelas informaes fornecidas sobre o Programa Governo Eletrnico
brasileiro;

Aos gestores dos portais web pesquisados, pelas informaes fornecidas sobre seus
servios de governo eletrnico e pelo apoio realizao da pesquisa de satisfao de
seus clientes;

Aos gestores de portais participantes dos grupos focais e aos milhares de usurios
participantes da pesquisa de satisfao, pelos relevantes subsdios ao trabalho de
pesquisa;

Aos Analistas de Controle Externo do Tribunal de Contas da Unio, companheiros de


equipe de auditoria em aes do Programa Governo Eletrnico, Andr Kirchheim,
Carmen Pereira Rego Meireles e Paulo Henrique Ramos Medeiros, por terem participado

iv
ativamente na avaliao dos resultados do Programa E-Gov brasileiro e dos servios
pblicos eletrnicos selecionados;

doutoranda Girlene Ribeiro de Jesus e aos professores Jacob A. Laros e Luciana


Mouro, pela orientao metodolgica na elaborao de instrumentos de coleta e anlise
estatstica de dados;

Aos especialistas Ernesto Jeger, Joo Batista Simo e Maria Alexandra Viegas Cortez da
Cunha, pela contribuio significativa no planejamento da avaliao dos resultados do
Programa E-Gov brasileiro;

Aos Secretrios de Controle Externo, Cludio Souza Castello Branco e Selma Maria
Hayakawa Cunha Serpa; ao Diretor de Auditoria da Tecnologia da Informao, Daniel
Dias Pereira e sua substituta Roberta Ribeiro de Queiroz Martins; ao Diretor de Gesto
do Ambiente Computacional, Antonio Quintino Rosa; ao Analista, Renato Kanemoto; e ao
Tcnico, Glaudstony Cavalcante Maia da Costa, pelo apoio no planejamento e na
execuo da auditoria em aes do Programa E-Gov brasileiro;

Aos Ministros e colegas do Tribunal de Contas da Unio, por terem me dado a


oportunidade de cursar a Ps-graduao, como meio de aperfeioamento profissional;

Ao professor Fernando Albuquerque, pelo incentivo durante a realizao desta pesquisa.

A todos, muito obrigada.

Resumo
O modelo conceitual construdo nesta pesquisa organiza e expe idias da teoria de
comunicao de massa aplicada prestao de servios pblicos via Internet e sugere formas
possveis de avaliao da fidelidade desse processo de comunicao eletrnica, tanto pelo Governo
quanto pelos cidados-clientes desses servios. A partir desse modelo, que traa um paralelo entre
fidelidade do processo de comunicao e qualidade de servios pblicos, como um novo enfoque
para a rea de Comunicao da Informao, esta pesquisa teve, como objetivo geral, definir e validar
mtodo de avaliao dos resultados de programas de governo eletrnico sob a tica dos cidadosclientes.
Para tanto, foi identificada, na literatura, documentao sobre programas de governo
eletrnico, mtodos e mtricas para sua avaliao; elaborados modelos de avaliao de governo
eletrnico, e outros baseados nos mtodos identificados e selecionados na literatura; selecionados o
Programa E-Gov brasileiro e cinco servios pblicos eletrnicos; e, por fim, proposto mtodo de
avaliao de programas de governo eletrnico, o qual foi aplicado e validado ao longo desta
pesquisa. O conjunto de tcnicas desse mtodo englobou, alm do grupo focal e da avaliao
heurstica, vrias das tcnicas e ferramentas de coleta, anlise de dados e de controle de qualidade
geralmente utilizadas em avaliaes de programa: pesquisa documental, entrevista, levantamento
(survey), anlise de grupo de interesse, anlise SWOT, diagrama de verificao de risco, matriz de
planejamento, matriz de achados e painel de referncia. Como contribuies significativas desta
pesquisa destacam-se os modelos de avaliao de governo eletrnico, de avaliao da satisfao e
de avaliao de programas de governo eletrnico; a lista de verificao para portais e servios e-gov
e os instrumentos de coleta de dados, disponveis como apndices; a confrontao do modelo de
avaliao da satisfao desta pesquisa com modelos similares de outros estudos; assim como os
resultados da aplicao do mtodo proposto.
Em suma, para a academia, este trabalho servir como um novo ngulo sobre fidelidade do
processo de comunicao entre governo e sociedade e de qualidade de servios pblicos; como
fonte de consulta bibliogrfica sobre avaliao de e-gov sob a tica do cidado-cliente; como
referncia para a construo de novos instrumentos de coleta de dados; e como fonte de inspirao
para outras pesquisas complementares a esta. Para a comunidade tcnica, esta pesquisa oferece
mtodo de avaliao de governo eletrnico, com lista de verificao para portais e servios e-gov,
instrumentos de coleta de dados validados e procedimentos detalhados, com anlise crtica de
vantagens e desvantagens de cada tcnica, para sua aplicao prtica em avaliao de programas e
servios pblicos eletrnicos, visando a tomada de deciso abalizada para a melhoria desses
programas e servios. A aplicao peridica desse mtodo permitir o acompanhamento e o controle
da qualidade dos servios e-gov oferecidos populao.
Palavras-chave: avaliao de governo eletrnico; qualidade de servios pblicos eletrnicos;
satisfao do usurio; comunicao eletrnica; estudo de usurios.

vi

Abstract
The conceptual model developed by the researcher organizes and shows ideas from mass
communication theory applied to public services delivery through the Internet, and suggests a few
alternatives to evaluate the fidelity of this electronic communication process, from Government and
citizens points of view. From this model, which draws a parallel between communication process
fidelity and public service quality, as a new focus to the field of Information Communication, this
research aimed to define and validate an evaluation method of electronic government program results,
from citizens point of view.
To achieve the research objective, the researcher identified, during literature review,
documents about electronic government programs, methods and metrics for their evaluation;
elaborated electronic government evaluation models, and other, based on methods identified and
selected from literature; selected the Brazilian E-Gov Program and five electronic public services to be
evaluated; and, at last, proposed an electronic government evaluation method, which was applied and
validated during the research. The proposed evaluation method includes, besides focus groups and
heuristic evaluation, many data collection, data analysis and quality control techniques and tools
generally used in program evaluations: document research, interviews, surveys, stakeholder and
SWOT analysis, risk diagram, audit planning and finding matrixes, reference panel.
As significant contributions of this research, one may highlights the electronic government,
satisfaction and program evaluation models; the e-gov portals and services evaluation checklist, and
the data collection tools related to this researchs objectives, available as appendixes; the comparison
between the proposed satisfaction evaluation model and similar models developed by other
researchers; and also the results achieved by applying the proposed method.
In summary, for academy, this research will serve as a new angle on communication process
fidelity between government and society, and public service quality; as bibliographic source about egov evaluation from citizens point of view; as reference to new data collection instruments
development; and as inspiration to other researchers. For technical community, this research offers an
electronic government evaluation method, with e-gov portals and services evaluation checklist,
validated data collection instruments, detailed procedures, and critical analysis about advantages and
disadvantages of each technique, to be applied in real-life programs and electronic public services
evaluation, in order to support decision-making to improve these programs and services. Applying this
method periodically will provide quality control and monitoring of e-gov services offered to citizens.
Keywords: electronic government evaluation; electronic public services quality; user satisfaction;
electronic communication; user study.

vii

Sumrio
LISTA DE SIGLAS E ABREVIATURAS ................................................................... XI
LISTA DE FIGURAS, QUADROS E GRFICOS.....................................................XV
1 INTRODUO ..................................................................................................... 1
1.1

Problema ................................................................................................................................................ 4

1.2
Objetivos ................................................................................................................................................ 4
1.2.1
Objetivo geral.................................................................................................................................. 4
1.2.2
Objetivos especficos....................................................................................................................... 5
1.3

Delimitaes da pesquisa ...................................................................................................................... 5

1.4

Justificativa............................................................................................................................................ 6

1.5

Organizao da tese .............................................................................................................................. 8

REVISO DA LITERATURA ............................................................................... 9

2.1
Comunicao ......................................................................................................................................... 9
2.1.1
Processo de comunicao e seus modelos....................................................................................... 9
2.1.2
Comunicao de massa ................................................................................................................. 12
2.1.3
Comunicao efetiva e fidelidade ................................................................................................. 14
2.1.4
Consideraes finais...................................................................................................................... 17
2.2
Governo eletrnico .............................................................................................................................. 18
2.2.1
Caractersticas ............................................................................................................................... 20
2.2.1.1
Canais eletrnicos de comunicao........................................................................................... 21
2.2.1.2
Foco no cliente .......................................................................................................................... 21
2.2.1.3
Processamento em tempo real ................................................................................................... 22
2.2.1.4
Ambiente sem papel .................................................................................................................. 22
2.2.1.5
Processos automticos............................................................................................................... 22
2.2.1.6
Integrao linha de frente retaguarda ..................................................................................... 22
2.2.1.7
Dependncia da tecnologia da informao................................................................................ 23
2.2.2
Potenciais benefcios ..................................................................................................................... 23
2.2.2.1
Melhores servios...................................................................................................................... 23
2.2.2.2
Governo mais eficiente.............................................................................................................. 24
2.2.2.3
Novas relaes entre o governo e a sociedade .......................................................................... 25
2.2.2.4
Outros benefcios para a sociedade ........................................................................................... 25
2.2.3
Setores envolvidos......................................................................................................................... 26
2.2.3.1
Relao do governo com os cidados-clientes (G2C) ............................................................... 26
2.2.3.2
Relao do governo com outros agentes governamentais (G2G).............................................. 27
2.2.3.3
Relao do governo com as empresas (G2B)............................................................................ 27
2.2.4
Estgios ......................................................................................................................................... 27
2.2.4.1
Apresentao de informaes.................................................................................................... 28
2.2.4.2
Busca de informaes................................................................................................................ 29
2.2.4.3
Interatividade limitada............................................................................................................... 29
2.2.4.4
Transao eletrnica.................................................................................................................. 29
2.2.4.5
Integrao e-gov........................................................................................................................ 30
2.2.5
Desafios......................................................................................................................................... 31
2.2.6
Avaliao....................................................................................................................................... 32
2.2.6.1
Classificao em estgios evolutivos e benchmarking.............................................................. 33
2.2.6.2
Comparao da realidade alcanada com seus objetivos estratgicos....................................... 39
2.2.6.3
Prestao de contas ao governo central ..................................................................................... 40
2.2.6.4
Avaliao de programas de governo ......................................................................................... 40
2.2.6.5
Avaliao de aplicaes especficas.......................................................................................... 42
2.2.7
Consideraes finais...................................................................................................................... 43

viii
2.3
Satisfao do cliente de servios pblicos eletrnicos ...................................................................... 44
2.3.1
Setor pblico x setor privado ........................................................................................................ 44
2.3.2
Cidado-cliente ............................................................................................................................. 45
2.3.3
Qualidade de servios.................................................................................................................... 46
2.3.3.1
Qualidade de servios eletrnicos ............................................................................................. 48
2.3.3.2
Padres de qualidade no servio pblico................................................................................... 51
2.3.4
Satisfao ...................................................................................................................................... 53
2.3.4.1
Fatores externos que afetam a satisfao................................................................................... 57
2.3.4.2
Indicadores ................................................................................................................................ 58
2.3.5
Avaliao de servios.................................................................................................................... 61
2.3.5.1
Mtodos..................................................................................................................................... 62
2.3.5.2
Pesquisa de satisfao ............................................................................................................... 65
2.4
Avaliao de programas de governo.................................................................................................. 69
2.4.1
Dimenses para avaliao ............................................................................................................. 71
2.4.2
Tcnicas e ferramentas de coleta de dados.................................................................................... 72
2.4.2.1
Pesquisa documental ................................................................................................................. 72
2.4.2.2
Entrevista................................................................................................................................... 73
2.4.2.3
Levantamento ............................................................................................................................ 73
2.4.2.4
Observao direta...................................................................................................................... 73
2.4.2.5
Consulta a especialista............................................................................................................... 73
2.4.3
Tcnicas e ferramentas de anlise de dados .................................................................................. 74
2.4.3.1
Anlise de grupo de interesse .................................................................................................... 74
2.4.3.2
Anlise SWOT .......................................................................................................................... 74
2.4.3.3
Diagrama de verificao de risco .............................................................................................. 75
2.4.3.4
Anlise RECI............................................................................................................................. 75
2.4.3.5
Mapa de produtos ...................................................................................................................... 76
2.4.3.6
Indicador de desempenho.......................................................................................................... 77
2.4.3.7
Mapa de processos .................................................................................................................... 77
2.4.3.8
Marco lgico ............................................................................................................................. 78
2.4.4
Tcnicas e ferramentas de controle de qualidade .......................................................................... 78
2.4.4.1
Matriz de planejamento ............................................................................................................. 79
2.4.4.2
Matriz de achados...................................................................................................................... 81
2.4.4.3
Painel de referncia ................................................................................................................... 82

MARCO TERICO DA PESQUISA ................................................................... 83

3.1

Modelo conceitual da pesquisa........................................................................................................... 84

3.2

Modelo de avaliao de governo eletrnico....................................................................................... 87

3.3

Seleo dos tipos de servios, estgios de e-gov e mtodos de avaliao......................................... 88

3.4

Modelo de avaliao da satisfao ..................................................................................................... 90

3.5

Modelo de avaliao de programas de governo eletrnico .............................................................. 96

3.6

Consideraes finais............................................................................................................................ 97

MATERIAIS E MTODOS DE PESQUISA ...................................................... 101

4.1
Abordagem......................................................................................................................................... 101
4.1.1
Justificativa ................................................................................................................................. 101
4.1.2
Limitaes metodolgicas associadas ao estudo de caso ............................................................ 103
4.2
Etapas metodolgicas de pesquisa ................................................................................................... 103
4.2.1
Seleo do Programa E-Gov brasileiro e dos servios pblicos eletrnicos a serem avaliados .. 105
4.2.2
Proposta de mtodo de avaliao de programas de governo eletrnico ...................................... 109
4.2.3
Aplicao e validao do mtodo elaborado ............................................................................... 110
4.3
Tcnicas quantitativas e qualitativas............................................................................................... 110
4.3.1
Tcnica quantitativa .................................................................................................................... 111

ix
4.3.1.1
4.3.1.2
4.3.2
4.3.2.1

Amostragem e tcnica de anlise de dados ............................................................................. 112


Instrumentos de coleta de dados.............................................................................................. 114
Tcnicas qualitativas ................................................................................................................... 118
Instrumentos de coleta de dados.............................................................................................. 125

ANLISE DOS DADOS ................................................................................... 127

5.1
Contexto do Programa Governo Eletrnico ................................................................................... 128
5.1.1
Objetivo do Programa ................................................................................................................. 130
5.1.2
Responsveis e forma de implementao do Programa .............................................................. 131
5.1.3
Legislao pertinente................................................................................................................... 131
5.1.4
Monitoramento e avaliao da prestao de servios pblicos eletrnicos................................. 132
5.2
Avaliao do Programa Governo Eletrnico .................................................................................. 133
5.2.1
Eficcia e qualidade .................................................................................................................... 134
5.2.2
Articulao institucional ............................................................................................................. 137
5.3
Contextos dos servios pblicos eletrnicos selecionados .............................................................. 148
5.3.1
Os servios da Previdncia.......................................................................................................... 148
5.3.2
O Programa Nacional de Estmulo ao Primeiro Emprego........................................................... 151
5.3.3
A Declarao Anual de Isento..................................................................................................... 152
5.4

Avaliao dos servios pblicos eletrnicos selecionados .............................................................. 154

5.5

Perfil dos respondentes das pesquisas on-line................................................................................. 182

5.6
Anlise das tcnicas utilizadas.......................................................................................................... 185
5.6.1
Pesquisa documental ................................................................................................................... 185
5.6.2
Tcnicas e ferramentas de anlise e controle de qualidade ......................................................... 185
5.6.3
Entrevista..................................................................................................................................... 186
5.6.4
Avaliao heurstica e testes de interface .................................................................................... 187
5.6.5
Grupo focal.................................................................................................................................. 188
5.6.6
Questionrio ................................................................................................................................ 189
5.6.7
Triangulao das tcnicas utilizadas ........................................................................................... 191
5.7
5.8

Anlise das relaes entre construtos .............................................................................................. 194


Consideraes finais.......................................................................................................................... 206

DISCUSSO E CONCLUSES....................................................................... 207

6.1
Discusso e concluses com base nas questes de pesquisa ........................................................... 207
6.1.1
Como avaliar os resultados de programas de governo eletrnico sob a tica do cidado-cliente?
208
6.1.2
H relao direta entre o atendimento aos padres de qualidade adotados e a satisfao do
cidado-cliente com os servios de governo eletrnico? ................................................................................ 213
6.1.3
Outras concluses no associadas diretamente a questes de pesquisa....................................... 215
6.2
Contribuies da pesquisa ................................................................................................................ 219
6.2.1
Contribuies tericas da pesquisa.............................................................................................. 220
6.2.2
Contribuies prticas da pesquisa.............................................................................................. 220
6.2.3
Consideraes finais.................................................................................................................... 222
6.3
6.4

7
8
9

9.1

Limitaes da pesquisa ..................................................................................................................... 222


Sugestes para pesquisas futuras..................................................................................................... 223

REFERNCIAS BIBLIOGRFICAS ................................................................ 225


GLOSSRIO .................................................................................................... 234
APNDICES..................................................................................................... 241
Lista de documentos internos solicitados gerncia do Programa............................................... 241

x
9.2

Roteiro de entrevista com gestores do Programa ........................................................................... 242

9.3

Roteiro de entrevista para seleo dos servios eletrnicos........................................................... 244

9.4
Modelos de diagramas e matrizes de avaliao de programas...................................................... 245
9.4.1
Anlise grupo de interesse (stakeholder) .................................................................................... 245
9.4.2
Anlise SWOT ............................................................................................................................. 245
9.4.3
Diagrama de verificao de risco ................................................................................................ 246
9.4.4
Matriz de planejamento ............................................................................................................... 246
9.4.5
Matriz de achados ....................................................................................................................... 247
9.5

Lista de verificao para portais e servios e-gov .......................................................................... 248

9.6

Questionrio sobre segurana dos portais governamentais........................................................... 260

9.7

Roteiro para realizao de grupo focal com coordenadores de comits tcnicos ........................ 262

9.8

Roteiro para realizao de grupo focal com gestores de portais................................................... 264

9.9

Questionrio 1 da pesquisa de satisfao com usurios ................................................................. 267

9.10

Questionrio 2 da pesquisa de satisfao com usurios ................................................................. 270

9.11

Questionrio para gestores de portais ............................................................................................. 274

xi

Lista de siglas e abreviaturas


ACBR - Acessibilidade Brasil
ACSI American Customer Satisfaction Index
ANAO Australian National Audit Office
APF Administrao Pblica Federal
APS - Agncia da Previdncia Social
ASQ American Society for Quality
BID Banco Interamericano de Desenvolvimento
CATI - Congresso Anual de Tecnologia da Informao
Ccivil Casa Civil
CEF Caixa Econmica Federal
CEGE Comit Executivo do Governo Eletrnico
CEP Cdigo de Endereamento Postal
CFI - Claes Fornell International
CGI Comit Gestor da Internet
CGMI - Coordenador Geral de Modernizao e Informtica
CMT Common Measurements Tool
CNIS - Cadastro Nacional de Informaes Sociais
Conegov - Conferncia Sul-Americana em Cincia e Tecnologia Aplicada ao Governo Eletrnico
CPF Cadastro de Pessoas Fsicas
CRM - Customer Relationship Management
CSI - Customer Satisfaction Index
CT Comit Tcnico
DAI Declarao Anual de Isentos
Dataprev - Empresa de Tecnologia e Informaes da Previdncia Social
DDD Discagem Direta a Distncia
Detran Departamento de Trnsito
DGE Departamento de Governo Eletrnico
DP Desvio padro
DVR Diagrama de Verificao de Riscos

xii
ECSI - European Customer Satisfacion Index
ECT - Empresa Brasileira de Correios e Telgrafos
EFQM - European Foundation for Quality Management
EFS Entidade Fiscalizadora Superior
E-gov Governo eletrnico
E-mail Electronic Mail
ENAP - Escola Nacional de Administrao Pblica
EOQ - European Organization for Quality
E-Ping Padres de Interoperabilidade de Governo Eletrnico
EUA Estados Unidos da Amrica
Expec - Expectativa
FCD - Final Commitee Draft
FIRJAN - Federao das Indstrias do Estado do Rio de Janeiro
G2B Government to Business
G2C Government to Citizen
G2E Government to Employee
G2G Government to Government
GAO - General Audit Office
GOL Government On-Line
GSA - General Services Administration
GT Grupo de Trabalho
HM - Her Majestys
HTML Hypertext Markup Language
IAB - Intergovernmental Advisory Board
ICCS - Institute for Citizen-Centred Service
IEC - International Engineering Consortium
Infoseg - Sistema Nacional de Integrao de Informaes em Justia e Segurana Pblica
INSS Instituto Nacional do Seguro Social
INTOSAI - International Organization of Supreme Audit Institutions
IPEA - Instituto de Pesquisa Econmica Aplicada

xiii
IPPS - Instrumento Padro de Pesquisa de Satisfao
IPVA Imposto sobre a Propriedade de Veculos Automotores
ISO International Organization for Standardization
IT Information Technology
KB - kilobytes
LAN Local Area Network
MCT Ministrio da Cincia e Tecnologia
MP - Ministrio do Planejamento, Oramento e Gesto
MTE Ministrio do Trabalho e Emprego
NAO - National Audit Office
OAG - Office of the Auditor General of Canada
OECD - Organization for Economic Co-operation and Development
OMB - Office of Management and Budget
PNPE Programa Nacional de Estmulo ao Primeiro Emprego
PPA Plano Plurianual
PQSP - Programa da Qualidade no Servio Pblico
Prevcidado Previdncia do Cidado
PTM - Percent to Maximum
QP Qualidade percebida
RECI Responsvel, Executor, Consultado e Informado
Secom Secretaria de Comunicaes da Presidncia da Repblica (nova nomenclatura Subsecretaria de Comunicao Institucional da Secretaria-Geral da Presidncia da Repblica)
Serpro - Servio Federal de Processamento de Dados
SG Satisfao geral
SIBIS - Statistical Indicators Benchmarking the Information Society
Sigplan Sistema de Informaes Gerenciais e de Planejamento
Sine Sistema Nacional de Emprego
Sisg - Sistema de Servios Gerais
Sisp - Sistema de Administrao dos Recursos de Informao e Informtica
SLTI Secretaria de Logstica e Tecnologia da Informao

xiv
SMS Short Message Service
Socinfo Sociedade da Informao
SPSS - Statistical Package for the Social Sciences
SWOT Strengths, Weaknesses, Opportunities and Threats.
TBS - Treasure Board Secretariat
TCU Tribunal de Contas da Unio
TI - Tecnologia da Informao
TIC - Tecnologia da Informao e Comunicao
TNS - Taylor Nelson Sofres
Unb Universidade de Braslia
UNDESA - United Nations Department for Economic and Social Affairs
URL - Uniform Resource Locator
USA United States of America
VAT - Value Added Tax
W3C - World Wide Web Consortium
WAN Wide Area Network
Webaim - Web Accessibility in Mind

xv

Lista de figuras, quadros e grficos


Figura 1 modelo de referncia de governo eletrnico (barbosa et al., 2004).
Figura 2 modelo do ndice americano de satisfao do cliente (acsi).
Figura 3 matriz satisfao x importncia (canada tbs, 2001).
Figura 4 fatores que influenciam as avaliaes dos servios pblicos (brasil - enap, 2000).
Figura 5 comunicao eletrnica entre governo e cidado-cliente de servios pblicos.
Figura 6 modelo de avaliao de governo eletrnico.
Figura 7 modelo para medir a satisfao do cliente de servios de governo eletrnico.
Figura 8 modelo de avaliao de programas desta pesquisa.
Figura 9 aspectos e dimenses selecionados para esta pesquisa.
Figura 10 portal da previdncia social.
Figura 11 portal do pnpe.
Figura 12 portal da dai.
Figura 13 elementos visuais exibidos com a opo "mostrar imagens" habilitada e desabilitada.
Figura 14 mensagem de erro recebida ao carregar a pgina do portal brasil, em 16/11/2005.
Figura 15 perfis de usurios.

20
54
56
58
84
87
90
97
100
148
152
153
166
169
169

Quadro 1 conjunto de variveis latentes e observveis.


Quadro 2 caractersticas bsicas do estudo de caso (benbasat, goldstein & mead, 1987).
Quadro 3 servios e-gov selecionados.
Quadro 4 quantidade de usurios pesquisados e servios prestados.
Quadro 5 pesos das dimenses grau de importncia indicado pelos usurios pesquisados.
Quadro 6 itens da lista de verificao no atendidos por todos os portais e/ou servios avaliados.
Quadro 7 resultado do teste com a ferramenta cyberspyder.
Quadro 8 relao entre os achados de auditoria e as tcnicas utilizadas.
Quadro 9 medidas de tendncia central e disperso das dimenses da qualidade percebida.
Quadro 10 medidas de tendncia central e disperso das dimenses da avaliao heurstica.
Quadro 11 medidas de tendncia central e disperso das dimenses do valor percebido.
Quadro 12 medidas de tendncia central e disperso dos construtos.
Quadro 13 teste de confiabilidade.
Quadro 14 correlaes entre dimenses.
Quadro 15 dimenses mais significativas da equao de regresso mltipla para ambos construtos.
Quadro 16 resultados da regresso mltipla para previso da satisfao.
Quadro 17 resultado da regresso do novo modelo.

95
102
108
117
123
165
166
193
195
197
199
201
201
202
203
204
205

Grfico 1 participantes da entrevista telefnica por servio utilizado.


Grfico 2 atuao do dge (questo 44).
Grfico 3 participao em reunies dos ct (questo 37).
Grfico 4 participao em grupos de trabalho (questo 38).
Grfico 5 sistema de inventrio de stios (questes 39 e 40).
Grfico 6 motivos que levam ao uso do sistema de inventrio de stios (questo 41).
Grfico 7 outras perguntas sobre o sistema de inventrio de stios (questo 42).
Grfico 8 conhecimento de normas e recomendaes (questes 3 a 8).
Grfico 9 divulgao das normas e recomendaes (questes 3 a 8).
Grfico 10 facilidade de cumprimento das normas e recomendaes (questes 3 a 8).
Grfico 11 poltica de avaliao (questo 17).
Grfico 12 relatrios gerenciais (questo 23).
Grfico 13 tcnicas usadas para monitoramento e avaliao do portal (questo 22).
Grfico 14 responsvel pelo monitoramento (questo 18).
Grfico 15 responsvel pela avaliao (questo 19).
Grfico 16 freqncia de monitoramento (questo 20).
Grfico 17 freqncia de avaliao (questo 21).
Grfico 18 tcnicas usadas antes do lanamento do portal (questo 15).
Grfico 19 itens importantes no uso de servios eletrnicos (q1_6).
Grfico 20 principais dificuldades no uso de servios eletrnicos (q2_6).
Grfico 21 quantidade de servios eletrnicos disponveis (questo 33).
Grfico 22 estgio de e-gov predominante (questo 34).

120
135
140
140
141
142
142
144
145
145
155
155
156
156
156
157
157
158
159
160
161
161

xvi
Grfico 23 outros servios eletrnicos usados (q2_7).
Grfico 24 atendimento s normas ou recomendaes (questes 3 a 8).
Grfico 25 facilidade para encontrar o servio e sua disponibilidade (q2_4a e b; q1_4b e 4e).
Grfico 26 acessibilidade e usabilidade (q1_4f; q2_4c a 4g).
Grfico 27 confiabilidade e segurana (q1_4c e 4g; q2_4h e 4i).
Grfico 28 atendimento a dvidas (q2_2).
Grfico 29 atendimento a dvidas e tempo para completar o servio (q1_4d e 4l; q2_4k).
Grfico 30 satisfao ou insatisfao com o atendimento a dvidas (q2_3).
Grfico 31 grau de satisfao (q1_2; q2_1).
Grfico 32 atendimento s necessidades (q1_1).
Grfico 33 padro de qualidade esperado (q1_3).
Grfico 34 atendimento s necessidades e convenincia do meio eletrnico (q1_4a e 4h; q2_4j).
Grfico 35 opinio sobre os servios eletrnicos (q1_5; q2_5).
Grfico 36 subordinao da equipe (questo 35).
Grfico 37 forma de gesto (questo 36).
Grfico 38 funes formalmente estabelecidas (questo 1).
Grfico 39 responsvel pela gerncia do portal (questo 2).
Grfico 40 sexo (q1_9; q2_9).
Grfico 41 idade (q1_10; q2_10).
Grfico 42 grau de escolaridade (q1_11; q2_11).
Grfico 43 habilidade no uso de computadores (q1_12; q2_12).
Grfico 44 freqncia de uso da internet (q1_13; q2_13).
Grfico 45 local de acesso internet (q1_14; q2_14).
Grfico 46 uso do servio eletrnico (q1_7; q2_8).
Grfico 47 participantes da entrevista telefnica por regio.
Grfico 48 relao entre mdia da qualidade percebida e importncia das dimenses.
Grfico 49 relao entre mdia dos padres atendidos e importncia das dimenses.
Grfico 50 relao entre mdia do valor percebido e importncia das dimenses.

162
163
168
171
172
175
175
176
178
178
179
180
181
182
182
182
182
183
183
183
183
183
184
184
184
196
197
200

1 Introduo
1

Apesar de existirem milhares de iniciativas de governo eletrnico disponveis on-line ,


desenvolvidas de formas diferentes e em estgios de evoluo diferentes, a avaliao de seu
sucesso ainda incipiente, carente de aprofundamento terico e de mtricas capazes de realmente
aferir sua efetividade. Assim como acontece com as bibliotecas digitais (Saracevic, 2005), tudo sobre
governo eletrnico explosivo, exceto uma coisa: avaliao.
A avaliao no acompanhou de perto a evoluo do governo eletrnico (e-gov) e sua
implementao, no se tornou parte de seu desenvolvimento, e at mesmo no definiu claramente o
que deve ser medido e como isso deve ser feito. A avaliao de iniciativas de governo eletrnico
parece mais ser uma exceo do que uma regra. Talvez seja por sua complexidade. Talvez seja
ainda muito cedo para avaliar uma tecnologia to recente. Talvez seja pela insuficincia de mtodos e
mtricas cientificamente validados. Talvez no haja interesse em avaliar aqueles envolvidos nesse
assunto esto mais preocupados em desenvolver novidades e implement-las do que perder tempo
com avaliaes. Talvez o oramento seja restrito, e no sobre dinheiro suficiente para realizar
avaliaes. Talvez seja uma questo puramente cultural de que a avaliao uma atividade menor.
Ainda mais em pases latinos que no tm tradio avaliadora (Aguilar & Ander-Egg, 1995). Afinal,
quem quer realmente ser avaliado ?
A importncia da definio de critrios de avaliao origina-se no fato de que no pode haver
avaliao sem explcita ou implicitamente serem definidos, previamente, critrios para isso. Apesar
dos esforos de alguns avaliadores no desenvolvimento de mtricas para governo eletrnico, no se
pode dizer que haja um conjunto de mtricas passvel de ser generalizado e aceito em qualquer
avaliao. O que se constata a definio de critrios prprios, prticos, teis e vlidos apenas para
cada situao avaliativa individual, sem preocupao metodolgica, sem base cientfica. No se
observa, na literatura sobre governo eletrnico, procedimentos, critrios, mtricas, padres realmente
consolidados. Nem mesmo quanto prpria conceituao de governo eletrnico.

Os termos tcnicos em ingls relacionados ao tema da pesquisa e que j constam de dicionrio da lngua portuguesa sero
utilizados em seu idioma original, sem grifo, e faro parte do glossrio desta tese (p. 234). Os termos estranhos lngua
portuguesa sero grafados em itlico.

2
A carncia de aprofundamento terico e a abrangncia dos estudos sobre governo eletrnico
foram constatadas por Marcondes & Jardim (2003, p. 6), aps dois anos de pesquisa sobre a
implantao do governo eletrnico na Administrao Pblica Federal brasileira (2001-2002):
Do ponto de vista terico, constata-se uma frgil densidade conceitual em torno
do governo eletrnico, revelada no s na literatura sobre o tema na Cincia da
Informao como nos programas governamentais a respeito no Brasil e em outros
pases. Por outro lado, constata-se que o tema, dada a sua abrangncia, tende a
ser abordado por vrias disciplinas: Administrao, Informtica, Cincia Poltica,
Direito, Cincia da Informao, Engenharia de Produo, etc.
O problema que esta pesquisa se prope a responder - Como avaliar os resultados de
programas de governo eletrnico sob a tica do cidado-cliente? pretende contribuir para o
avano da atividade prtica de avaliao de governo eletrnico, porm com bases cientficas, ao
identificar e validar procedimentos, critrios de avaliao, padres de qualidade e indicadores em um
determinado contexto. claro que este estudo no responde a todas as perguntas, que certamente
so relevantes, sobre avaliao de governo eletrnico. Esta pesquisa escolheu um ngulo da
avaliao para ser aprofundado, esperando que outros pesquisadores, incentivados pelos seus
resultados, se dediquem a explorar outros ngulos complementares.
A comunidade de pesquisa, de um lado, elabora questes de pesquisa direcionadas aos
avanos tecnolgicos, seus aspectos e componentes sem qualquer restrio prtica. A comunidade
tcnica profissional elabora questes operacionais e de implementao da tecnologia em contextos
econmicos e institucionais do mundo real, com todas as suas restries e possibilidades,
concentrando-se em aplicaes disponveis no mercado.
A avaliao de governo eletrnico, tanto na prtica quanto na teoria, deve selecionar o que
ser avaliado, deixando claro o que realmente est includo e o que est excludo da avaliao. Toda
avaliao deixa algo de fora. Por ser uma tecnologia recente, tal como as bibliotecas digitais, e pelo
pouco conhecimento sobre avaliao nesse ambiente, nenhuma avaliao de governo eletrnico
capaz de cobrir todos os seus componentes, nem pode ter a pretenso de fazer isso. Assim como
no h avaliao de bibliotecas digitais (Saracevic, 2000), no h avaliao de governo eletrnico.
possvel realizar, entretanto, avaliaes de alguns elementos envolvidos por essa nova tecnologia,
sob determinado ngulo de viso.

3
Mesmo que no haja qualquer movimento visvel na evoluo da avaliao de governo
eletrnico no mbito formal, a avaliao informal de iniciativas de governo eletrnico continuar
sendo feita pelos gestores, usurios, leigos, tcnicos, especialistas, ou qualquer pessoa ou instituio
envolvida com seus resultados ou efeitos prticos. Tais avaliaes informais podem at ser vlidas e
confiveis, mas tambm podem levar a caminhos equivocados e criar percepes e expectativas
irreais sobre o governo eletrnico. Portanto, preciso que a avaliao formal de iniciativas de
governo eletrnico seja ampliada e incorporada tanto s atividades de pesquisa na rea quanto s
atividades prticas de desenvolvimento e implantao.
Esta pesquisa sobre a avaliao dos resultados de programas de e-gov, ao se preocupar com
a transferncia de informao entre governo e cidados, usando a tecnologia como meio de
comunicao da informao, e abrangendo conceitos tericos advindos da Administrao, da Cincia
da Computao (mais especificamente das reas de Auditoria da Tecnologia da Informao e de
Interao Homem-Computador), e da Cincia da Informao, prope-se a formular um modelo de
avaliao de governo eletrnico sob a tica dos cidados-clientes e vai ao encontro das idias de
Saracevic (1999, p. 1052) sobre a Cincia da Informao:
Primeiro, a Cincia da Informao interdisciplinar em sua natureza;
Segundo, a Cincia da Informao inexoravelmente conectada Tecnologia da
Informao;
Terceiro, a Cincia da Informao , assim como outras reas, um participante
ativo na evoluo da sociedade da informao. A Cincia da Informao tem uma
forte dimenso social e humana, acima e alm da tecnologia.
Com esta pesquisa, pretende-se desenvolver e validar um conjunto de procedimentos e
requisitos para avaliar os resultados de programas de governo eletrnico, considerando aspectos de
avaliao de programas de governo e de portais web. Esse conjunto, denominado mtodo de
avaliao de programas de governo eletrnico, poder ser aplicado por auditores internos e externos
de qualquer pas com programa de governo eletrnico institudo. Os requisitos reunidos nesse
mtodo podero tambm ser utilizados por projetistas de portais de governo eletrnico preocupados
com a acessibilidade e a usabilidade de sua interface, assim como com outros aspectos de qualidade
e segurana de sistemas de tecnologia da informao.

4
A aplicao desse mtodo atestar se foram atingidos, por exemplo, os objetivos de melhoria
dos servios de informao prestados ao cidado, utilizando a Internet como meio de comunicao
de informaes. Este estudo, a partir da tica do cidado-cliente, pretende tambm identificar se
usurios e gestores de servios de governo eletrnico compartilham da mesma opinio ou percepo
sobre a qualidade desses servios. Embora no chegue a testar hipteses sobre esse assunto, usa,
como pano de fundo, a hiptese de oposio formulada por Saracevic (2005, p. 9) no contexto de
bibliotecas digitais: no uso, usurios e bibliotecas digitais, se encontram, com mais freqncia, em
posies antagnicas.

1.1 Problema
A carncia de aprofundamento terico sobre governo eletrnico e de estudos em Cincia da
Informao sobre comunicao para o cidado; a variedade de mtodos de avaliao de governo
eletrnico com enfoques diversos; e a necessidade de medir efetivamente o sucesso, sob o ponto de
vista do cidado-cliente, das iniciativas de governo eletrnico, como uma alternativa de canal de
comunicao do Governo com a sociedade na prestao de servios pblicos, deram origem ao
problema de pesquisa, o qual pode ser expresso em duas questes :

1. Como avaliar os resultados de programas de governo eletrnico sob a


tica do cidado-cliente?
2. H relao direta entre o atendimento aos padres de qualidade adotados
e a satisfao do cidado-cliente com os servios de governo eletrnico?

1.2 Objetivos
Para responder s questes desta pesquisa, foram definidos os objetivos geral e especficos
descritos a seguir.

1.2.1 Objetivo geral

Definir e validar mtodo de avaliao dos resultados de programas de governo eletrnico sob a
tica dos cidados-clientes.

1.2.2 Objetivos especficos




Identificar procedimentos, padres de qualidade (normas, recomendaes) e indicadores


nacionais e internacionais para avaliar resultados de programas de governo eletrnico, sob a
tica do cidado-cliente;

Identificar procedimentos, padres de qualidade (normas, recomendaes) e indicadores


utilizados por rgos governamentais brasileiros para monitorar e avaliar servios e-gov, sob a
tica do cidado-cliente;

Comparar caractersticas de servios e-gov brasileiros com padres de qualidade nacionais e


internacionais;

Captar a percepo de cidados-clientes sobre os servios pblicos eletrnicos selecionados, em


relao a dimenses de avaliao especficas, baseadas nesses padres.

1.3 Delimitaes da pesquisa


Esta pesquisa constitui-se em um estudo de caso realizado no Programa Governo Eletrnico
brasileiro e em cinco servios pblicos eletrnicos voltados a benefcios para os cidados, no perodo
de setembro de 2005 a junho de 2006, cujo enfoque , em linhas gerais, a avaliao da qualidade da
prestao de servios pblicos eletrnicos. Este trabalho no tem como escopo ou objetivo :

Avaliar hardware, software ou ambientes de trabalho onde a prestao do servio ocorre;

Comparar diferentes produtos de software de portais de governo eletrnico;

Comparar diferentes projetos ou verses do mesmo portal de governo eletrnico;

Avaliar aspectos intrnsecos ao desempenho de sistemas de Tecnologia da Informao (tempo de


resposta, taxa de erros de sistemas, tempo de processamento, interoperabilidade, facilidade de
manuteno);

Avaliar padres e estatsticas de uso de programas de governo eletrnico;

Avaliar aspectos intrnsecos aos usurios e aos ambientes fsicos em que ocorre a interao
homem-computador;

Avaliar aspectos psicolgicos ou culturais do processo de comunicao entre prestador e cliente


de servios pblicos eletrnicos;

Avaliar custos, eficincia do programa ou servio de governo eletrnico, nem to pouco sua
prestao de contas;

Avaliar o impacto do programa ou servio em um determinado ambiente ou sobre determinado


grupo de pessoas;

Avaliar questes polticas ou financeiras sobre a implementao do Programa E-Gov brasileiro;

Avaliar de que forma o problema da excluso digital est sendo tratado pelo governo;

Avaliar processos de prestao de servios pblicos externos ao ambiente eletrnico.

1.4 Justificativa
Por ser uma rea de estudo ainda muito recente, e pelo governo eletrnico ter adquirido
2

importncia significativa, em to pouco tempo , propondo-se a promover a cidadania, a transparncia


administrativa e a gesto de informaes governamentais, verificou-se a necessidade de identificar e
validar mtricas para avaliar os resultados de programas de governo eletrnico. J existem inmeras
iniciativas de e-gov disponveis on-line, e nota-se o esforo de alguns governos em planejar, avaliar e
medir seu sucesso.
Entretanto, mesmo com a proliferao de levantamentos realizados por rgos pblicos,
instituies de pesquisa e empresas de consultoria a respeito do progresso do governo eletrnico em
diversos pases, constata-se que seus resultados, classificaes e procedimentos metodolgicos
diferem entre si. As organizaes governamentais precisam mais do que uma mera comparao
entre pases, como fazem vrios desses levantamentos. Tal comparao til, porm pode dar uma
idia distorcida do progresso das estratgias de governo eletrnico adotadas, dadas as diferenas de
contextos polticos, econmicos, legais e sociais nos diversos pases. As estratgias de avaliao de
e-gov devem se basear na quantificao do real valor dessa iniciativa para os cidados, empresas e
para o prprio governo.
Em 2003, foi realizado um levantamento pela International Organization of Supreme Audit
Institutions (INTOSAI, 2003) sobre auditorias de governo eletrnico conduzidas pelas entidades
fiscalizadoras superiores de 180 pases (57 responderam). Foi constatado que algumas entidades j
haviam realizado auditorias de e-gov sob a tica da auditoria de Tecnologia da Informao (TI) ou da
usabilidade de portais web, porm nenhuma delas analisou o real valor da implementao do e-gov

7
seja para o cidado seja para o prprio governo, pela falta de mtodos de auditoria e mtricas
adequadas. Verifica-se, portanto, a necessidade de pesquisa e desenvolvimento de mtricas e
procedimentos metodolgicos que possam ser adotados por auditores internos e externos, projetistas
de portais e-gov, equipes responsveis pela implantao de programas de governo eletrnico em
qualquer pas, entre outros profissionais envolvidos nessa rea.
Do lado terico, na Cincia da Informao, ao se pesquisar a literatura sobre comunicao da
informao, percebe-se a supremacia de estudos sobre comunicao cientfica, realizados desde os
anos 50, quando o intuito da rea era promover a troca de informao de valor cientfico entre
pesquisadores. Observa-se, tambm, uma quantidade de estudos mais recentes sobre comunicao
de informao tecnolgica e organizacional. Poucas so as pesquisas em Cincia da Informao que
versam sobre comunicao de outros tipos de informao, alm do mbito cientfico, tecnolgico,
organizacional e de negcios.
Uma pesquisa sobre a fidelidade do processo de comunicao do governo com seus
cidados via Internet, ao tratar no da informao cientfica, tecnolgica ou organizacional, mas da
informao para o cidado, trocada na prestao de servios pblicos, com vistas ao exerccio da
cidadania, identificando as barreiras que interferem nessa fidelidade e que devem ser minimizadas,
certamente despertar a ateno de outros pesquisadores para essa categoria de estudo do
processo de comunicao. Para Roberts (1976, p. X), sem dvida, relevante estudar os problemas
de informao de comunidades cientficas, mas no h razo para negligenciar outros grupos
sociais.
Esta pesquisa, portanto, ao propor um mtodo de avaliao de programas de governo
eletrnico, com procedimentos e mtricas validados para medir seus resultados, contribui com
estudos mais aprofundados nas reas de comunicao da informao, auditoria de portais web,
avaliao de programas de governo e de servios pblicos.

2
No Brasil, por exemplo, em 2000, foi publicada a proposta de poltica de governo eletrnico e criado o Comit Executivo de
Governo Eletrnico. Em 2002, o Programa Governo Eletrnico passou a figurar no Plano Plurianual do Governo brasileiro,
como ao prioritria.

1.5 Organizao da tese


Para melhor compreenso da forma como este documento foi organizado, os itens a seguir
descrevem cada um de seus captulos.

Captulo 1 Introduo descreve, em linhas gerais, o tema desta tese, apresenta as


delimitaes da pesquisa, define o problema de pesquisa e seus objetivos, as justificativas e este
item com a descrio dos captulos;

Captulo 2 Reviso da literatura apresenta o estado da arte nas quatro reas do


conhecimento envolvidas neste estudo: comunicao da informao em ambiente web, governo
eletrnico, satisfao do cliente de servios pblicos eletrnicos, e avaliao de programas,
incluindo os principais mtodos de avaliao citados na literatura.

Captulo 3 Marco terico da pesquisa apresenta o referencial terico construdo a partir da


reviso de literatura e que norteou a realizao da pesquisa, ou seja, o ngulo pelo qual o
problema de pesquisa foi estudado.

Captulo 4 Materiais e mtodos de pesquisa apresenta os procedimentos metodolgicos


adotados: abordagem, etapas metodolgicas e tcnicas utilizadas para consecuo dos objetivos
de pesquisa.

Captulo 5 Anlise dos dados apresenta anlise dos resultados da avaliao do Programa de
Governo Eletrnico brasileiro e dos servios pblicos eletrnicos selecionados.

Captulo 6 Discusso e concluses apresenta a interpretao dos dados analisados luz da


literatura e da experincia do pesquisador, as contribuies e limitaes desta pesquisa, alm de
sugestes para trabalhos futuros.
Ao final, constam, ainda, um glossrio de termos tcnicos, as referncias bibliogrficas

consultadas para a realizao deste estudo e apndices.

2 Reviso da literatura
Por se tratar de um sistema informatizado de comunicao de massa entre governo e
cidado, por meio da Internet, foi preciso conhecer os conceitos relacionados com o processo de
comunicao da informao, para responder ao problema objeto desta pesquisa. Alm disso, foi
necessrio combinar os conceitos tericos de avaliao de governo eletrnico e da satisfao de
clientes de servios pblicos com a prtica de avaliao de programas de governo de carter
genrico, praticada sistematicamente por entidades fiscalizadoras governamentais.

2.1 Comunicao
De acordo com vrios estudos, ao longo da vida, gasta-se, aproximadamente, 75% de cada
dia em processos de comunicao (ouvindo, falando, lendo e escrevendo). Para Tubbs & Moss
(2003), o ritmo acelerado da vida moderna e a presso de ter de fazer muito em cada vez menos
tempo tm influenciado quantitativa e qualitativamente a comunicao.
O conceito de comunicao tambm tem evoludo ao longo dos anos tornando-se
multidisciplinar e complexo de tal forma que cada rea do conhecimento o estuda de acordo com sua
prpria tica. Diante da variedade de modelos para definir comunicao e seu processo, deduz-se
que no h um conceito nico de comunicao que atenda a todos os propsitos de pesquisa. Nesta
parte da reviso de literatura, pretende-se discorrer sobre o processo de comunicao e seus
elementos, com destaque para a comunicao de massa e a fidelidade do processo de comunicao,
assuntos relacionados ao tema desta pesquisa.

2.1.1 Processo de comunicao e seus modelos


Comunicao um processo em constante mudana que implica em um emissor, um canal,
uma mensagem, um receptor, uma relao entre receptor e emissor, um efeito, um contexto em que a
comunicao ocorre. s vezes, mas nem sempre, h uma inteno ou propsito para se comunicar.
Para McQuail & Windahl, comunicao pode ser uma ao, uma interao ou uma reao (1993, p.
5).
Para descrever o processo de comunicao humana, alguns pesquisadores construram
modelos tangveis que no so um fim em si mesmo, mas apenas meios para explicar as interaes

10
entre seus vrios componentes. Como exemplos de modelos, pode-se mencionar os de Lasswell,
Shannon e Weaver, e Tubbs e Moss.
O modelo de Lasswell, cuja frmula do processo de comunicao responde s perguntas:
Quem? Diz o qu? Por meio de que canal? Para quem? Para qu?, adicionou os elementos canal e
efeito, aos elementos bsicos da comunicao: emissor, mensagem e receptor. O emissor, tambm
denominado fonte ou comunicador, quem est comunicando, a pessoa com idias, intenes,
informao e propsitos de comunicao.
A mensagem o que o emissor espera comunicar ao receptor. Para Berlo (1982), pelo
menos trs fatores precisam ser considerados na mensagem: o cdigo, o contedo e o tratamento.
Cdigo um conjunto estruturado de smbolos que tem significado para algum, como por exemplo,
os idiomas. Contedo o material da mensagem, escolhido pelo emissor para exprimir seu objetivo,
e o tratamento o conjunto de decises que o emissor toma para selecionar e dispor tanto o cdigo
quanto o contedo. Essas decises so os meios pelos quais o emissor prefere codificar a
mensagem, selecionando certos elementos de cdigo e contedo, variando tipos grficos, ordem de
apresentao dos contedos, estilo, vocabulrio.
Qualquer situao de comunicao humana compreende a produo da mensagem por
algum, e a recepo dessa mensagem por outra pessoa com quem se est comunicando: o
receptor. Quando algum escreve, algum deve ler o que foi escrito. O receptor da mensagem o
alvo da comunicao (Berlo, 1982, p. 40).
Para esse autor, til falar sobre emissores e receptores separadamente, apenas para fins
analticos, pois no faz sentido supor que se tratem de funes independentes. Chamar um indivduo
de fonte implica em paralisar a dinmica do processo em determinado ponto; cham-lo de receptor
implica que simplesmente cortamos o processo noutro ponto (Berlo, 1982, p. 58).
No processo de comunicao de Lasswell, o emissor tem que escolher um canal, isto ,
algum veculo, suporte, ou condutor no qual transportar sua mensagem. O efeito, por sua vez, diz
respeito ao que se deseja conseguir com a comunicao.

11
Mcquail & Windahl (1993) afirmam que a frmula Lasswell demonstra um trao caracterstico
dos primeiros modelos de comunicao, ao assumir que o emissor tem sempre inteno de
influenciar o receptor, que a comunicao deve ser tratada principalmente como um processo
persuasivo, e ainda que as mensagens sempre tm efeitos, o que nem sempre se verifica. J o
modelo de Shannon e Weaver, essencialmente matemtico, envolve questes tcnicas do canal de
transmisso, preocupando-se com sua eficincia e capacidade de minimizar interferncias ou rudos
no sinal transmitido.
O modelo de Tubbs e Moss (2003), por sua vez, mostra um evento bsico de comunicao
humana e envolve duas pessoas - Comunicador 1 (emissor/receptor) e Comunicador 2
(receptor/emissor). Na verdade, ambos so fontes e receptores de comunicao, pois originam e
recebem mensagens simultaneamente. Nesse modelo, a comunicao um processo contnuo,
iterativo, sem comeo nem fim.
Alguns modelos apontam ainda outros dois elementos: codificador (do lado do emissor) e
decodificador (do lado do receptor). O processo de codificao traduz as idias do emissor para um
conjunto sistemtico de smbolos, para uma linguagem que expresse os propsitos da comunicao e
que seja adequada tanto para os meios de transmisso quanto para os receptores. O resultado do
processo de codificao a mensagem.
Para que o processo de comunicao se complete, a mensagem deve ser decodificada de
modo que seja compreendida pelo receptor. Decodificar se refere re-traduo da mensagem para
captar seu significado. Quanto mais prxima a mensagem decodificada estiver daquilo que pretende
o emissor, tanto melhor ser a comunicao. Por isso importante que a comunicao esteja
orientada para o receptor (Gibson et al., 1981, p. 323).
Por fim, em vrios modelos, o conceito de retroalimentao (feedback) empregado,
referindo-se a qualquer processo ou canal pelo qual o emissor obtm informao para determinar se
a mensagem foi recebida e se produziu a resposta desejada. Esses modelos tradicionais podem ser
aplicados, com as devidas adaptaes, a qualquer tipo de comunicao: cientfica, organizacional,
interpessoal. O contexto desta pesquisa, entretanto, se aproxima mais da comunicao de massa,
tema do prximo item desta reviso.

12

2.1.2 Comunicao de massa


Alguns termos bsicos usados em comunicao, mencionados no item 2.1.1 (p. 9), podem ter
diferentes significados quando aplicados na comunicao de massa. Comunicao de massa
compreende as instituies e tcnicas pelas quais grupos especializados empregam artefatos
tecnolgicos (mdia televisiva, impressa ou eletrnica, rdio, filmes) para disseminar contedo
simblico a audincias grandes, heterogneas e amplamente dispersas. Alm do consumo rpido de
contedo por um grande nmero de pessoas, a comunicao de massa caracterizada como pblica
ao invs de privada, j que as mensagens no so endereadas a indivduos em particular.
Na comunicao de massa, o receptor a grande audincia, heterognea e annima fonte.
A fonte, por sua vez, no trabalha isolada, mas faz parte de uma organizao complexa. Codificar, na
comunicao de massa, se refere s transformaes tcnicas necessrias para a transmisso de
sinais e tambm escolha sistemtica de palavras, imagens e formatos, de acordo com
procedimentos estabelecidos e com as expectativas da audincia (McQuail & Windahl, 1993).
A mensagem, na comunicao de massa, no um fenmeno nico e transitrio, mas uma
estrutura simblica, produzida para atingir as massas, que pode ser repetida infinitas vezes e que
representa o esforo de vrias pessoas. O canal no uma relao social, como na comunicao
interpessoal, mas sim um conjunto de sistemas e artefatos de distribuio baseados em tecnologia de
larga escala, tais como, jornais, filmes, rdio, televiso. Na comunicao de massa, a
retroalimentao limitada e geralmente realizada por meio de pesquisas de audincia, enquetes,
telefonemas e cartas. Mcquail & Windahl (1993) resumem os aspectos mais significativos da
comunicao de massa como sendo a natureza aberta e pblica da comunicao; o acesso limitado e
controlado aos artefatos e dispositivos de emisso; a interveno de acordos institucionais, a
impessoalidade e o desbalanceamento do relacionamento entre emissor e receptor.
Dentre os modelos de comunicao de massa identificados nesta reviso de literatura,
destaca-se o de Maletzke, de 1963, o qual enfatiza os aspectos sociais e psicolgicos da
comunicao de massa. Entre os elementos tradicionais canal e o receptor, Maletzke adicionou dois
componentes: presso ou restrio do canal, e imagem que o receptor tem do canal (McQuail &
Windahl, 1993).

13
A presso ou restrio do canal baseia-se no fato de que mdias diferentes requerem tipos
diferentes de adaptao por parte do receptor. Cada canal tem suas possibilidades e limitaes que
influenciam a maneira com que o receptor se relaciona com ele e afetado pelo contedo nele
transmitido.
A imagem que o receptor tem do canal, por sua vez, provoca certas expectativas em relao
ao contedo transmitido e influencia as escolhas que o receptor faz quanto ao contedo e forma
como pretende interagir e responder a esse contedo. A construo dessa imagem depende
principalmente do prestgio e da credibilidade do canal.
Outros fatores, tais como, a auto-imagem do receptor, criando ou no uma predisposio a
receber comunicao; a personalidade do receptor, mais ou menos suscetvel a influncias de outras
pessoas; o contexto social do receptor, influenciando suas atitudes frente a mensagens contrrias
aos valores do seu grupo social; e o fato do receptor, na comunicao de massa, ser um membro
annimo do pblico, sem o compromisso de responder ou reagir, como acontece na comunicao
interpessoal, podem influenciar essa parte do processo de comunicao. Na parte do processo de
comunicao prxima ao emissor, Maletzke aponta duas variveis importantes: a escolha do
contedo a ser transmitido e da maneira com que o emissor dar forma mensagem.
Na comunicao de massa, o emissor tem, como regra, mais material ou mensagens
potenciais a transmitir do que realmente transmite. preciso, portanto, selecionar uma amostra do
total disponvel, de acordo com alguns critrios. Na formatao da mensagem, o emissor tambm se
depara com situaes de escolha. No modelo de Maletzke, a escolha do contedo a ser transmitido e
da forma como ser transmitido depende de fatores tais como: limitaes relacionadas com o tipo de
contedo e com o tipo de canal; caractersticas do emissor (auto-imagem, personalidade, influncia
do contexto social); dependncia do emissor de outros membros de sua organizao (trabalho em
equipe); polticas e valores da organizao em que o emissor trabalha; presso exercida pelo carter
pblico da comunicao, sujeita inspeo e controle no s do pblico, mas tambm de
associaes profissionais e agncias reguladoras do governo. Esses aspectos sociais e psicolgicos,
abordados por Maletzke, servem tambm para lembrar que o mais importante em qualquer processo
de comunicao efetiva a sua fidelidade.

14

2.1.3 Comunicao efetiva e fidelidade


Segundo Tubbs & Moss (2003), a comunicao efetiva quando a forma como o estmulo foi
iniciado e pretendido pelo emissor, ou fonte, corresponde, o mais prximo possvel, forma com que
percebido e respondido pelo receptor. Entretanto, nem sempre isso ocorre.
Os problemas de comunicao, desde um mal-entendido especfico at impreciso ou
lentido na assimilao do contedo transmitido, ocorrem quando a mensagem idealizada pelo
emissor no produz os resultados esperados nas pessoas que receberam a mensagem. O emissor
se surpreende ou se perturba quando no compreendido ou quando no recebe qualquer retorno.
Na verdade, quando isso acontece, preciso saber o que houve de errado entre a transmisso e a
recepo da mensagem.
Para a comunicao ser efetiva, necessrio identificar os fatores que influenciam a
fidelidade da comunicao. O conceito de fidelidade definido por Berlo (1982), como sendo a
capacidade de um codificador em expressar perfeitamente o que a fonte quer dizer e de um
decodificador em traduzir a mensagem para o receptor com total exatido. O importante, na
comunicao efetiva, determinar o que aumenta ou reduz a fidelidade do processo de
comunicao.
Shannon e Weaver, em seu modelo matemtico da comunicao, introduziram o conceito de
rudo como o conjunto de fatores que distorcem a qualidade de um sinal. Em termos mais genricos,
rudo, ou interferncia, termo preferido por alguns autores, tudo aquilo que distorce a mensagem
que se quer transmitir ou distrai a ateno do receptor.
Para Berlo, rudo e fidelidade so as duas faces da mesma moeda. A eliminao do rudo
aumenta a fidelidade; a produo de rudo reduz a fidelidade (1982, p. 49). Segundo Tubbs & Moss
(2003), h dois tipos de interferncia: tcnica e semntica. A interferncia tcnica se refere a fatores
que fazem com que o receptor perceba distores na informao ou estmulo pretendido; a
interferncia semntica ocorre quando o receptor no atribui o mesmo significado ao smbolo
imaginado pelo emissor.
Os problemas de comunicao podem ocorrer em qualquer um de seus elementos. Berlo
(1982), Gibson et al. (1981) e Parry (1972) destacam as seguintes barreiras comunicao humana:

15
limitao da capacidade do emissor/receptor; intruso de mecanismos inconscientes ou parcialmente
conscientes; ausncia de recursos de comunicao; incompatibilidade de esquemas entre emissor e
receptor; presuno no enunciada; distrao; apresentao confusa do contedo.
Para Berlo (1982), as habilidades comunicativas, as atitudes, o nvel de conhecimento e a
posio no sistema sociocultural, como limitaes tanto do emissor quanto do receptor, podem
influenciar a fidelidade da comunicao. As habilidades comunicativas do emissor influenciam a
capacidade de analisar seus objetivos e intenes de comunicao, assim como a capacidade de
codificar mensagens que exprimam o que se tem em mente. O mesmo acontece com o receptor, ao
decodificar mensagens. Alm da atitude quanto a si mesmo e para com o assunto tratado, as atitudes
do emissor para com o receptor, e vice-versa, tambm influenciam a comunicao. Quando a
audincia percebe que o comunicador tem uma atitude positiva em relao a ela, se mostra menos
crtica quanto mensagem, mais propensa a aceitar o que o comunicador diz. O nvel de
conhecimento do emissor sobre determinado tema influencia a mensagem, j que ningum capaz
de comunicar aquilo que no sabe. O conhecimento do receptor sobre o assunto tambm influencia
sua compreenso.
Mecanismos inconscientes ou parcialmente conscientes, tais como, audio seletiva, juzo de
valor e credibilidade da fonte, tambm influem na fidelidade da comunicao. Audio seletiva
definida por Gibson et al. (1981) como a forma de percepo seletiva pela qual tendemos a bloquear
as novas informaes, especialmente se essas novas informaes conflitam com o que acreditamos
(p. 327). Em cada situao comunicativa, o receptor tambm faz julgamentos, atribuindo valor
mensagem antes de receb-la por completo. Os juzos de valor podem estar baseados naquilo que
quem recebe a mensagem pensa de quem comunica, nas experincias prvias que se teve com o
comunicador ou no significado antecipado da mensagem (Gibson et al., 1981). A credibilidade da
fonte, por fim, expressa a confiana que o receptor tem no emissor. O grau de credibilidade atribudo
ao emissor afeta diretamente os pontos de vista e reaes do receptor em relao s palavras, idias
e aes do emissor.
Outro fator que influencia a fidelidade da comunicao, dessa vez impedindo que ela se
realize, a ausncia de meios de contato entre emissores e receptores potenciais. Uma vez que o
meio de comunicao, ou canal, esteja disponvel e acessvel, existem ainda problemas de

16
incompatibilidade de esquemas entre emissor e receptor. Indivduos diferentes podem interpretar a
mesma mensagem de maneiras diferentes, dependendo de suas experincias anteriores. Quando os
processos de codificao e decodificao so semelhantes, a comunicao mais eficaz. Quando
so diferentes, a comunicao falha (Gibson et al., 1981, p. 326). Podem ocorrer ainda problemas
de semntica, quando as mesmas palavras tm significados inteiramente diferentes para pessoas
diferentes. Como a compreenso est no receptor e no nas palavras, o emissor deve escolher um
cdigo para a mensagem conhecido pelo receptor. Ao tratar a mensagem, o emissor deve considerar,
de antemo, a anlise das habilidades de comunicao (decodificao) do receptor, de suas atitudes,
conhecimentos e posio no contexto sociocultural.
Para Parry (1972), a causa mais comum dos mal-entendidos na comunicao diria a
presuno no enunciada, quando o emissor supe que o contedo transmitido no precisa ser
explicitado. Essa suposio pode se referir ao significado de uma palavra ou frase, informao
implcita numa proposio, ou ao conhecimento de uma rea de discusso.
Como uma das barreiras comunicao humana, a distrao inclui fatores que interferem na
fidelidade da recepo da mensagem, independentemente de seu contedo, tais como, tenso
ambiental (temperatura, umidade, ventilao, vibrao, rudo e ofuscao no ambiente em que ocorre
a recepo), tenso subjetiva (insnia, m sade, efeitos de drogas, privao sensorial e variaes
de estado de esprito do receptor), ignorncia do meio (quando receptor e emissor no esto
familiarizados com o canal de comunicao), e estmulo competidor, relacionado, principalmente, com
a forma de apresentao do contedo (excesso de informaes, poluio visual, apresentao de
contedo suprfluo, e outros aspectos que perturbam a percepo da essncia da mensagem).
Por fim, a apresentao confusa de contedo pode levar o receptor a extrair uma noo
diferente do que se espera que ele compreenda, ou a demorar a compreender o verdadeiro sentido
da mensagem. Tal dificuldade de compreenso, provocada pela apresentao confusa, est
relacionada no s a aspectos que distraem a ateno do receptor, j mencionados, mas tambm ao
abuso de construes gramaticais excessivamente elaboradas, tais como dupla negao e sentenas
condicionais ligadas entre si, que exigem do leitor malabarismos mentais desnecessrios. Segundo
Gibson et al. (1981), a linguagem complexa a principal barreira para a comunicao efetiva. O
emissor deve resistir tentao de dizer muita coisa ao mesmo tempo, para no confundir o receptor:

17
o princpio fundamental de toda apresentao diagramtica bem sucedida reside na simplicidade do
plano e na ausncia de pormenores capazes de gerar confuso (Parry, 1972, p. 126).
Outro fator, relacionado apresentao confusa, que dificulta a comunicao efetiva o uso
de frases ou vocabulrio especfico, por grupos profissionais e sociais, cujo significado s inteligvel
aos seus membros (jarges tcnicos, por exemplo). Tal linguagem especial pode facilitar a
comunicao interna, mas seu uso pode provocar falhas de comunicao com pessoas externas ao
grupo.

2.1.4 Consideraes finais


Na comunicao efetiva, o receptor o elo mais importante do processo de comunicao. Se
a mensagem no atingir o receptor, de nada adiantou envi-la. Se o receptor no reage ao estmulo
produzido pelo emissor, porque no houve comunicao. Segundo Berlo (1982), um dos pontos de
maior importncia na teoria da comunicao a preocupao com a pessoa que est na outra ponta
da cadeia de comunicao: o receptor. Comunicar procurar resposta do receptor. Qualquer fonte
de comunicao se comunica a fim de fazer com que o seu receptor faa alguma coisa, fique
sabendo alguma coisa, aceite alguma coisa (Berlo, 1982, p. 67).
A preocupao com o receptor um princpio orientador para qualquer fonte de comunicao.
O receptor tem sempre que ser lembrado nas decises tomadas pelo emissor em relao a cada um
dos elementos da comunicao. Para aumentar a fidelidade da comunicao, o emissor deve
escolher cdigos que o receptor entenda; selecionar elementos de cdigo que chamem a ateno do
receptor, que sejam fceis de decodificar; estruturar esses elementos de tal forma a minimizar o
esforo requerido para decodificar e interpretar a mensagem; eliminar elementos que possam distrair
a ateno do receptor; escolher contedo que seja til ao receptor, pertinente aos seus interesses, s
suas necessidades.
Como os estudos do processo de comunicao so realizados em diversos contextos
cientfico, tecnolgico, organizacional cada qual com suas especificidades, vale a pena ressaltar as
caractersticas da comunicao da informao para o cidado, durante a prestao de servios
pblicos via governo eletrnico prximo tpico desta reviso de literatura.

18

2.2 Governo eletrnico


Alguns especialistas definem o governo eletrnico, tambm denominado e-gov, em termos de
aes especficas, tais como receber informaes sobre ofertas de emprego, se inscrever na
Previdncia Social, ou pagar impostos via Internet. Outros so um pouco mais abrangentes,
encarando o governo eletrnico como a automatizao da prestao de servios de governo ao
cidado.
O Gartner Group (2002), instituio da rea de Cincia da Computao, define o governo
eletrnico como a transformao das relaes internas e externas do setor pblico por meio de
operaes possibilitadas pela Internet e pela tecnologia de informao e comunicao para otimizar a
prestao de servios governamentais, a participao dos cidados e os processos governamentais
internos. O ato do governo eletrnico americano (USA - Congress, 2002, p. 4), por sua vez, apresenta
a seguinte definio:
Governo eletrnico significa o uso, pelo governo, de aplicaes Internet baseadas
na Web e outras tecnologias de informao, combinadas com processos que
implementam tais tecnologias, para:


melhorar o acesso e a prestao de informaes e servios ao pblico, a


outras agncias e entidades do governo; ou

melhorar as operaes do governo em termos de efetividade, eficincia,


qualidade de servio ou transformao.

Outras definies de e-gov podem ainda ser citadas:


Governo eletrnico envolve o uso da tecnologia da informao, em especial a
Internet, para melhorar a prestao de servios governamentais aos cidados,
empresas e outras agncias governamentais. Tem o potencial de conectar, mais
diretamente, o governo federal com seus cidados, criando novas oportunidades
e desafios. O governo eletrnico possibilitaria aos cidados interagirem e
receberem servios do governo federal (estadual ou local) durante 24 horas por
dia, sete dias por semana. Alguns observadores das iniciativas de e-gov sugerem
que a prestao de servios deveria se tornar mais conveniente, dependente e
menos onerosa. (Seifert, 2003, p. 1).
Governo eletrnico o uso das tecnologias da informao e da comunicao nas
administraes pblicas combinado mudana organizacional e s novas

19
habilidades com intuito de melhorar os servios pblicos e os processos
democrticos, e fortalecer o suporte s polticas pblicas. (Commission of the
European Communities, 2003, p. 7).
Governo eletrnico a troca on-line de informaes e a prestao de servios
por parte do governo aos cidados, empresas e outras agncias governamentais.
(Intosai - Standing Committee on IT Audit, 2003, p. 5).
Para Ronaghan (2002), a interpretao popular de governo eletrnico aquela que o define
como uma atividade exercida exclusivamente na Internet que melhora o acesso do cidado s
informaes, servios e conhecimentos especializados do governo para garantir a participao e a
satisfao do cidado com o processo governamental. De acordo com a pesquisa do UNDESA
(2003), o governo, ao aplicar a tecnologia da informao e comunicao (TIC) na administrao
pblica para otimizar suas funes internas e externas, prov ao cidado, s empresas e ao prprio
governo, um conjunto de ferramentas que potencialmente transformaro o modo em que as
interaes acontecem, os servios so prestados, o conhecimento usado, a poltica desenvolvida
e implementada, os cidados participam na governana, os objetivos de boa governana e
administrao pblica so atingidos. O governo eletrnico pode tambm ser encarado sob quatro
perspectivas diferentes (Lenk & Traunmller, 2001):


Perspectiva do cidado oferta de servios de utilidade pblica ao cidado;

Perspectiva de processos remodelagem dos processos produtivos do governo, visando


maior eficincia;

Perspectiva da cooperao integrao dos rgos governamentais entre si e com


outras organizaes privadas e no-governamentais, com intuito de agilizar o processo
decisrio, sem perda de qualidade;

Perspectiva da gesto do conhecimento criao, gerenciamento e divulgao, em


repositrios

adequados,

governamentais.

do

conhecimento

gerado

acumulado

nos

rgos

20
Nessa mesma linha, o modelo de Barbosa et al. (2004) considera as relaes do e-gov
contidas em diferentes contextos, como mostra a Figura 1. No contexto externo - foco no cidado
destacam-se a eficcia e a qualidade dos servios pblicos, o desenvolvimento da sociedade da
3

informao, a incluso digital e o controle social . No contexto interno - foco na gesto da


administrao pblica so mencionadas a desburocratizao, a transparncia, a desintermediao
(sic) e a eficincia operacional. O modelo proposto por esses autores trata a tecnologia de informao
como o indutor e catalisador do processo de transformao do Estado e se baseia nos princpios do

Eficincia operacional

Desintermediao

Transparncia

Desburocratizao

Controle social

Incluso digital

Sociedade da informao

Eficcia e qualidade dos servios pblicos

governo centrado no cidado, na qualidade e produtividade dos servios pblicos.

Figura 1 Modelo de Referncia de governo eletrnico (Barbosa et al., 2004).


Ao analisar as definies identificadas na literatura, pode-se dizer que a maioria relaciona
certas caractersticas do governo eletrnico com os possveis benefcios decorrentes de sua
implementao. Ao invs de formular mais uma dentre tantas definies j existentes, optou-se em
enumerar quais seriam as caractersticas e benefcios desse canal de comunicao propiciado pelas
novas tecnologias que o distinguem de outros sistemas informatizados.

2.2.1 Caractersticas
Esta seo apresenta elementos que do, ao governo eletrnico, carter especial, quando
comparado a outros sistemas de informao baseados em tecnologia digital ou outras formas de
relacionamento do governo com a sociedade.

Controle social pressupe a participao da populao na gesto pblica, no processo de definio, implementao e avaliao da ao
pblica, e a possibilidade do cidado em controlar instituies e organizaes governamentais para verificar o bom andamento das decises

21

2.2.1.1 Canais eletrnicos de comunicao


A Internet tem sido o canal de comunicao predominante para o uso do governo eletrnico
de uma maneira geral e, mais especificamente, para a prestao de servios eletrnicos
governamentais em contraposio aos canais de comunicao tradicionais telefone, fax, carta e
atendimento presencial na agncia governamental.
J que nem todas as pessoas que compem o pblico-alvo do e-gov tm acesso ou esto
familiarizadas com computadores, outros canais de comunicao eletrnicos podem, no futuro
prximo, se tornar mais comuns, como a rede de telefonia mvel por meio do servio de pequenas
4

mensagens (SMS ). Um exemplo do uso de outros canais eletrnicos para prestao de servios egov foi implementado pelo governo australiano que permite aos motoristas localizarem os postos de
combustveis com preos mais baratos na rea em que costumam trafegar, a partir de uma variedade
de canais de comunicao, dentre eles o SMS (Eurosai IT Working Group, 2004).

2.2.1.2 Foco no cliente


Um dos aspectos comuns das iniciativas de governo eletrnico o foco no cliente. As
organizaes governamentais chegaram concluso de que, para atingirem seus objetivos, deveriam
desenvolver seu projeto de e-gov com base nas reais necessidades de seus clientes (cidados,
usurios de servios pblicos, empresas e outras agncias governamentais) e no na estratgia, at
ento mais convencional, de implementar aquilo que o governo considera mais fcil e rpido, ou
aquilo que imagina serem as necessidades de seus clientes.
Segundo Barbosa et al. (2004), o portal governamental deve categorizar seus servios e
informaes de acordo com as necessidades de seus usurios, facilitando o acesso, permitindo
fluidez na navegao, com o intuito de reduzir o tempo necessrio para completar o servio ou
acessar a informao desejada. Para tanto, os critrios de categorizao de informaes e servios
devem ser definidos a partir de uma viso externa ao governo, com foco no cidado, empresas,
governos e servidores pblicos.

tomadas em seu nome.


4

Abreviatura da sigla em ingls - Short Message Service.

22
Essa mudana de viso tem conseqncias significativas para o governo j que, na maioria
das vezes, as necessidades dos clientes no se encaixam tradicional subdiviso da administrao
pblica. H um certo consenso de que os servios e-gov devem ser organizados segundo eventos do
ciclo de vida das pessoas e dos negcios, ao invs de se basear em estruturas internas
governamentais. Com relao habitao, por exemplo, provvel que o cidado tenha que lidar
com mais de um rgo governamental, de diferentes esferas de governo, para ser atendido. O
mesmo acontece com outros temas de interesse da sociedade.

2.2.1.3 Processamento em tempo real


A oferta de servios pblicos em tempo real determina que a instituio provedora transforme
seus processos de retaguarda (back-office), tradicionalmente feitos em lotes seqenciais (batch),
para processamento em tempo real. No concebvel, por exemplo, um governo apresentar
informaes desatualizadas na Internet, ou prestar um servio ao cliente via web que leve o mesmo
tempo daquele solicitado por carta ou no balco de atendimento da agncia governamental. A
expectativa do recebimento de um servio pblico via Web de que ele seja imediato, ou, pelo
menos, mais rpido do que os meios convencionais.

2.2.1.4 Ambiente sem papel


A solicitao de um benefcio ou uma licena via e-gov, s para citar dois exemplos de
servios corriqueiros, no gera papel, o que traz inmeras vantagens para a administrao pblica.
Entretanto, como conseqncia, deve-se ter registros eletrnicos seguros para salvaguardar essas
informaes no meio digital, como prova de tais operaes.

2.2.1.5 Processos automticos


O governo eletrnico reduz a interveno humana nos processos governamentais,
acarretando menor dependncia das habilidades humanas, menor incidncia de erros humanos e
melhor distribuio da carga de trabalho por sistemas informatizados diversos.

2.2.1.6 Integrao linha de frente retaguarda


Um portal web ou outro canal eletrnico de comunicao do governo, por mais atraente,
completo e bem projetado que seja, apenas um invlucro daquilo que ser apresentado ao cliente,
um balco de prestao de servios, a linha de frente (front-office) da agncia governamental. As

23
informaes e servios propriamente ditos so produtos dos sistemas de retaguarda (back-office),
onde todo o processamento de dados e informaes ocorre. Por isso, deve haver uma perfeita
integrao entre esses dois ambientes para que o e-gov seja mais do que uma mera interface
agradvel e moderna, e proporcione informaes e servios teis, corretos e atualizados sociedade.

2.2.1.7 Dependncia da tecnologia da informao


Governo eletrnico, por definio, altamente dependente da tecnologia da informao. Tal
caracterstica traz consigo a desvantagem de ser vulnervel s ameaas conhecidas desse ambiente.
A infra-estrutura de gesto da segurana de informaes deve ser compatvel com a relevncia e o
grau de confidencialidade das informaes e sistemas envolvidos, assim como com as ameaas,
vulnerabilidades, riscos e impactos relacionados.

2.2.2 Potenciais benefcios


Na literatura, foram citados vrios tipos de possveis benefcios advindos da implementao
do governo eletrnico, os quais podem ser classificados, para efeitos didticos, em quatro grandes
grupos:


Melhores servios;

Governo mais eficiente;

Novas relaes do governo com a sociedade;

Outros benefcios para a sociedade.

2.2.2.1 Melhores servios


Na maioria dos programas nacionais de governo eletrnico, a prestao de servios pblicos
o seu objetivo maior. Os portais nacionais, estaduais e municipais podem tornar disponveis e
acessveis informaes e servios teis sociedade. Os principais benefcios, citados na literatura,
relacionados com a melhoria dos servios so:

convenincia (acesso eficiente e eqitativo aos

servios e informaes a qualquer hora e lugar, a partir de um nico ponto de acesso portal de
servios do governo), economia de tempo, qualidade e consistncia do atendimento ao cliente,
confiabilidade e completeza da informao, usabilidade da interface de acesso, e possibilidade de
escolha do canal de atendimento.

24
Os clientes dos servios e-gov esperam servios eficientes prestados quando e onde
necessitarem. Um estudo feito pelo Momentum Research Group (2000) concluiu que os cidados
percebem, como principais benefcios do e-gov, a convenincia, a rapidez e a economia de tempo.
Spears et al. (2003) observaram que os clientes e cidados canadenses usurios de servios
pblicos esperam receber, do governo, servios melhores do que aqueles prestados pelo setor
privado. Embora as expectativas tenham sido altas nesse estudo, muitos participantes consideraram
que os servios recebidos no satisfazem suas necessidades, no so de boa qualidade e no
trazem benefcios significativos. Melhorar tais resultados um desafio para o governo eletrnico.

2.2.2.2 Governo mais eficiente


Os servios pblicos mais propensos, em termos econmicos, a serem transformados em
servios eletrnicos so aqueles cujas rotinas e processos so passveis de automao, que
manipulam grande quantidade de papel, com altos custos de impresso e postagem, que lidam com
armazenagem e recuperao de documentos, e que podem substituir o atendimento pessoal ou por
telefone. A prestao desses servios eletronicamente eliminaria a necessidade de interveno
humana na entrega e recebimento de formulrios, na renovao de licenas e registros, na prestao
de informaes usuais, no requerimento de benefcios, j que todos eles poderiam ser efetivados
diretamente pelo cidado na Internet.
Iniciativas de e-gov que integram sistemas e bases de dados, provendo um ponto nico de
acesso s informaes governamentais, teoricamente possibilitam que o governo opere de forma
mais gil e eficiente. Os programas de e-gov que j passaram pela fase da simples automao de
processos reconhecem os benefcios da integrao e transformao dos servios pblicos a nvel
nacional, estadual e municipal: diminuio da quantidade de sistemas redundantes, economia de
escala, aplicaes modulares replicveis em outras esferas de governo, e infra-estrutura centralizada,
reduzindo, assim, os investimentos governamentais com tecnologia da informao (Meskell, 2003).
Alm das vantagens financeiras, a integrao e consolidao dos sistemas de e-gov podem
proporcionar servios mais seguros, focados no cliente, e de mais alta qualidade.
Apesar de no haver muitos exemplos de avaliaes focadas na reduo de custos que as
iniciativas de e-gov podem proporcionar ao governo, esse o aspecto do governo eletrnico que

25
mais salta aos olhos da administrao pblica. De acordo com Mechling & Vincent (2001), servios
operados pelos prprios clientes (self-service), maior confiabilidade, menor necessidade de
interveno humana e bases de dados compartilhadas supostamente deveriam diminuir os custos
das transaes, aumentar a produtividade e produzir melhores servios em um ambiente mais
seguro.

2.2.2.3 Novas relaes entre o governo e a sociedade


Para Mechling & Vincent (2001), o valor real do governo eletrnico reinventar como o
governo se relaciona com a sociedade. A mudana dos processos de trabalho, rompendo os limites
organizacionais, ao integrar servios horizontalmente e consolidar sistemas de informao; a
formao de alianas com outros governos para oferecer servios pblicos de tal forma que a
estrutura organizacional do governo seja irrelevante ao cidado; a abordagem da prestao de
servios pblicos sob uma perspectiva mais empresarial; a cooperao entre governo e organizaes
no-governamentais para explorar novas e melhores formas de prestao de servios pblicos; e a
promoo dos princpios democrticos e de uma cidadania mais informada e engajada, ao possibilitar
a participao da populao no processo decisrio do governo, fazem parte desse conjunto de novas
relaes entre o governo e a sociedade que o e-gov tem o potencial de proporcionar (Intosai
Standing Committee on IT Audit, 2003; Mechling & Vincent, 2001; Meskell, 2003). A implementao
do governo eletrnico tambm vista como uma oportunidade para tornar o governo mais
transparente, sob o ponto de vista do controle social, ao tornar disponvel, aos cidados, informaes
sobre as aes e gastos do governo.

2.2.2.4 Outros benefcios para a sociedade


Em vrios pases, a implementao do governo eletrnico tem sido alada categoria de
poltica pblica prioritria, envolvendo investimento macio no desenvolvimento de servios baseados
na tecnologia web. Muito mais que colocar os governos na Internet, o que se pretende habilitar a
populao a ingressar na chamada sociedade da informao.
Alm dos benefcios diretos da prestao de servios por meio eletrnico e da capacitao da
populao para melhor utilizar as tecnologias de informao e comunicao, Mechling & Vincent
(2001) e Meskell (2003) citam o desenvolvimento econmico como outro possvel benefcio do
governo eletrnico. A reduo da burocracia e dos custos para pequenas e mdias empresas

26
fazerem negcios com o governo, assim como a promoo turstica de uma regio via Internet,
propiciadas pelo e-gov, podem impulsionar o desenvolvimento econmico no s das empresas mas
tambm dos residentes da localidade.

2.2.3 Setores envolvidos


Embora o governo eletrnico englobe diferentes atividades e atores, j comum, na
5

literatura, a identificao de trs setores distintos: governo , cidados-clientes e empresas. So


conhecidas as siglas G2C - relao do governo com os cidados-clientes; G2G - relao do governo
7

com outros agentes governamentais; e G2B - relao do governo com as empresas. Esses setores,
certamente, tm motivaes e objetivos prprios, porm guardam algumas metas comuns, tais como
a busca por mais eficincia, confiabilidade e qualidade dos servios por eles prestados ou recebidos.
8

Barbosa et al. (2004) identificam ainda um quarto tipo de relacionamento no e-gov: G2E relao do governo com os servidores pblicos. Como as operaes G2E so efetuadas no mbito
interno das instituies governamentais, pode-se considerar essa interao como um subconjunto do
G2G.

2.2.3.1 Relao do governo com os cidados-clientes (G2C)


As iniciativas G2C tm como objetivo facilitar a comunicao do cidado-cliente com o
governo, de forma ampla e completa, provendo informaes e servios que atendam s
necessidades do cidado-cliente, como contribuinte, controlador das aes de governo, beneficirio e
usurio dos servios pblicos ao longo de seu ciclo de vida - infncia, adolescncia, maioridade e
terceira idade (Barbosa et al., 2004). Deveriam, ainda, possibilitar a participao dos cidados em
consultas pblicas e no processo decisrio do governo.
Tais iniciativas, percebidas por alguns como o objetivo principal do governo eletrnico, tentam
fazer com que transaes, como pagamentos de taxas, solicitao de declaraes, licenas,

5
No Brasil, entende-se governo como qualquer instituio dos Poderes Executivo, Legislativo e Judicirio das esferas federal,
estadual e municipal.
6

Cidado-cliente cidado de um pas e/ou usurio de servios pblicos prestados pelo governo desse pas.

Abreviaturas das expresses inglesas Government to Citizen, Government to Government e Government to Business.

Abreviatura da expresso inglesa Government to Employee.

27
certificados e benefcios via Internet, sejam mais fceis e rpidas, para o cidado-cliente, do que o
seriam se fossem utilizados os canais tradicionais de prestao de servios pblicos (atendimento
pessoal na agncia do governo, solicitao por telefone, fax ou carta). Outros objetivos das iniciativas
G2C so melhorar o acesso informao pblica por meio de portais web e quiosques, e integrar a
prestao de servios pblicos, em geral dispersa por vrias agncias governamentais, em um nico
portal web, levando em considerao as necessidades do cidado-cliente e no a estrutura
hierrquica da administrao pblica.

2.2.3.2 Relao do governo com outros agentes governamentais (G2G)


As relaes G2G envolvem a transferncia, o compartilhamento e a gesto de informaes
entre agncias governamentais das esferas federal, estadual e municipal, para o desenvolvimento de
suas atividades internas e de atendimento ao pblico. Para Atkinson & Ulevich (2000), os governos,
de qualquer esfera, devem melhorar e atualizar seus prprios sistemas e procedimentos internos para
que as transaes eletrnicas com cidados e empresas alcancem bons resultados. Uma das foras
que impulsionam as iniciativas G2G a busca por mais eficincia e, em especial, a reduo de
custos, como conseqncia da potencial reduo de pessoal, quantidade de erros e tempo
necessrio para execuo de tarefas.

2.2.3.3 Relao do governo com as empresas (G2B)


As iniciativas G2B incluem tanto a venda de bens do governo, na modalidade de leilo
eletrnico, quanto a aquisio de bens e servios comuns, pelo governo, por meio de licitao
realizada em sesso pblica na Internet, denominada prego eletrnico. Podem ainda ser realizadas
troca de informaes e processamento de transaes eletrnicas com empresas do setor privado,
buscando reduzir ao mximo as barreiras para se fazer negcios com o governo.

2.2.4 Estgios
Embora as iniciativas de governo eletrnico sejam diferentes de um pas a outro, ou de uma
esfera de governo a outra, pode-se dizer que todas tm o objetivo de utilizar a tecnologia da
informao e comunicao para mudar o governo de uma perspectiva centrada em sua estrutura
hierrquica, com capacidade limitada de prestao de servios, para outra centrada no cidado,
automatizada, capaz de prestar informaes e servios aos cidados-clientes, s empresas e s
outras agncias governamentais durante 24 horas por dia, sete dias por semana. Por essa razo,

28
possvel usar um esquema padronizado para classific-las no s de acordo com os setores
envolvidos, mas tambm com o nvel ou estgio de desenvolvimento em que se encontram, j que,
por uma variedade de razes tcnicas, econmicas e polticas, tais iniciativas levam tempo para
implementarem toda a sua capacidade.
Diferentemente das definies dos setores envolvidos no governo eletrnico G2B, G2G e
G2C, ainda no se chegou a uma classificao comum, na literatura, quanto aos seus estgios de
evoluo. Entretanto, observa-se que os mais citados so os modelos de governo eletrnico
propostos pelo Gartner Group (Baum & Di Maio, 2000), dividido em quatro fases (presena, interao,
transao e transformao); pela Unio Europia (Commission of the European Communities, 2003),
composto de quatro estgios (informao, interao unidirecional, interao bidirecional e transao);
e pelas Naes Unidas (UNDESA, 2003), constitudo de cinco estgios (presena emergente,
avanada, interativa, transacional e em rede). Por serem semelhantes em alguns aspectos, e
complementares em outros, prope-se, como resultante da anlise desses modelos, a classificao
das iniciativas de e-gov em cinco estgios evolutivos:


Apresentao de informaes;

Busca de informaes;

Interatividade limitada;

Transao eletrnica;

Integrao e-gov.

2.2.4.1 Apresentao de informaes


A apresentao de informaes o primeiro estgio de desenvolvimento do governo
eletrnico, sendo a forma mais simples e menos dispendiosa de sua implementao, porm
oferecendo poucas opes aos clientes/cidados. Um exemplo tpico desse estgio um portal web
com informaes bsicas sobre a instituio, horrio de funcionamento, endereo postal, nmeros de
telefone e fax, mas sem qualquer interatividade. Restringe-se apresentao passiva de informaes
limitadas e estticas, como uma reproduo de folheto informativo institucional em papel.

29

2.2.4.2 Busca de informaes


Neste estgio, o governo prov busca bsica de informaes, links para outros portais
correlatos, e alguns documentos oficiais relevantes para o pblico, tais como polticas, oramentos,
legislao, relatrios, notcias e comunicados. Alm da possibilidade de busca de informaes, o
usurio dispe de ajuda on-line e mapa do portal web. A interao com o portal relativamente
simples e se restringe proviso de informaes do governo para o cidado, em um fluxo
essencialmente unidirecional.

2.2.4.3 Interatividade limitada


Neste terceiro estgio, o e-gov, de forma mais interativa, prov servios mais convenientes a
seus clientes. As iniciativas de e-gov que se encontram neste estgio so projetadas de tal forma a
substituir uma ligao telefnica ou uma visita agncia governamental, por parte do cliente, ao
tornar disponveis e acessveis recursos informacionais, a qualquer hora do dia ou da noite, em
qualquer dia da semana. Esses recursos, em geral, so instrues para a obteno de servios
pblicos, formulrios que podem ser impressos pelo cliente, preenchidos e posteriormente enviados,
via correio ou fax, repartio pblica, e podem tambm incluir endereos de correio eletrnico de
pessoas capacitadas a responder questes de pouca complexidade. Para oferecer sempre as
informaes mais recentes ao pblico, o portal e-gov de interatividade limitada costuma ser
atualizado com mais regularidade.

2.2.4.4 Transao eletrnica


A principal caracterstica desta fase permitir, aos cidados, conduzirem e completarem
tarefas, a qualquer hora, em interaes bidirecionais com seu governo. O foco deste estgio
projetar aplicaes self-service para acesso on-line pelo pblico, tornando a Web um canal
complementar de comunicao entre o governo e seus clientes.
As iniciativas desta fase vo alm da simples proviso de informaes e materializam os tipos
de atividades popularmente associadas ao governo eletrnico: pagamento de taxas e impostos;
solicitao de carteiras de identidade, passaportes, registros de nascimento; renovao de carteira de
motorista; participao em leiles e preges eletrnicos do governo; e outras interaes similares,
disponveis 24 horas por dia, sete dias por semana.

30
No estudo feito pelas Naes Unidas em 2001 (Ronaghan, 2002), a capacidade de conduzir
transaes on-line, em que o cidado efetivamente utiliza a Internet para solicitar benefcios ou pagar
taxas e impostos, foi identificada em apenas 17 de seus 190 pases membros (9%). J o estudo da
Accenture (2003), feito com apenas 22 pases, dentre eles o Brasil, observou que metade deles
(Singapura, Estados Unidos, Dinamarca, Austrlia, Finlndia, Hong Kong, Reino Unido, Blgica,
Alemanha, Irlanda e Frana) se encontra neste estgio de maturidade.

2.2.4.5 Integrao e-gov


Este estgio o objetivo de longo prazo de quase todas as iniciativas locais e nacionais de egov. Caracteriza-se pela redefinio da prestao de servios pblicos por parte do governo, ao
proporcionar um ponto nico de contato com seus clientes, tornando transparente, aos cidados, a
estrutura organizacional do governo. Para tanto, tais iniciativas baseiam-se em ferramentas de gesto
9

do relacionamento com o cliente (CRM ) e novos mtodos de prestao de servios, alterando por
completo o fluxo de informaes e as relaes entre cidados, empresas pblicas e privadas,
governos locais, estaduais e federais. Em outras palavras, o e-gov integrado procura remover as
barreiras organizacionais que promovem solues centradas na hierarquia governamental,
substituindo-as por solues centradas no cliente.
Tambm neste estgio que o governo envolve a sociedade em um dilogo mais
democrtico e participativo, ao dar a oportunidade, via Web, de manifestao dos cidados em
pesquisas de opinio; referendos; consultas sobre polticas pblicas, elaborao de leis, tomadas de
deciso, gastos pblicos; e outros mecanismos on-line de participao da sociedade como
consumidores dos servios pblicos, contribuintes do Estado e cidados. At 2003, existiam poucos
exemplos desse tipo de iniciativa, em parte por limitaes administrativas, tcnicas e fiscais
(Accenture, 2003; Seifert, 2003). Para Baum & Di Maio (2000), nesse nvel mais avanado, espera-se
que o e-gov reorganize, combine e/ou elimine instituies governamentais existentes, substituindo-as
por organizaes virtuais.
possvel dizer, assim, que cada estgio representa um aumento de capacidade do governo
em prover informaes e servios on-line cada vez mais interativos. importante destacar,

Sigla do termo em ingls Customer Relationship Management.

31
entretanto, que as iniciativas de e-gov no precisam, necessariamente, passar por todos os estgios.
Algumas podem comear em estgios mais avanados e outras podem deixar de implementar
estgios intermedirios, por exemplo. Da mesma forma, possvel que uma instituio
governamental administre mltiplos portais em diferentes fases de desenvolvimento. Por exemplo, um
departamento da Receita Federal pode estar no estgio Transao eletrnica, recebendo
declaraes de imposto de renda dos contribuintes via Internet, enquanto outro departamento pode
apenas apresentar, em seu portal, seu endereo e horrio de funcionamento caractersticas do
primeiro estgio.

2.2.5 Desafios
Tanto adeptos quanto crticos do governo eletrnico reconhecem que h uma srie de
oportunidades e desafios envolvidos com a implementao das iniciativas de e-gov. Algumas das
possveis oportunidades so a criao de novos servios, substituio de processos baseados em
papel por processos eletrnicos, consolidao de processos e sistemas redundantes, maior
participao da sociedade no governo, melhoria da infra-estrutura informacional do pas, dentre
outros.
Seus principais desafios, por outro lado, so a privacidade e a segurana de informaes, a
conquista da confiana da populao nos servios eletrnicos, as disparidades no acesso da
populao informtica, a completa compreenso da questo da acessibilidade na Web, e a correta
gesto dos recursos financeiros necessrios para sua implementao. Apesar de seus benefcios, na
teoria, serem numerosos, a experincia global indica que a taxa de insucesso das iniciativas de e-gov
tem se mantido na faixa de 60 a 80% (UNDESA, 2003). Para reverter essa situao, preciso que as
organizaes governamentais se espelhem nas iniciativas bem sucedidas, adaptando-as sua
realidade e prioridades, alm de resolver uma srie de questes relacionadas a estratgias e
polticas, tecnologia, processos e recursos humanos:


provvel que as polticas, leis e regras existentes sejam inadequadas para as novas
formas de relacionamento internos e externos providas pelo governo eletrnico, como por
exemplo a legislao sobre direitos autorais e de cpia, e os mecanismos de distribuio
do oramento pelas diferentes instituies e esferas de governo;

32


A definio da poltica de informao e de prestao de servios pblicos pelo e-gov deve


contar com a participao dos cidados, como um passo essencial para a satisfao de
suas necessidades;

Devem ser reforadas as polticas de ampliao do acesso da populao a servios online, j que vrios dos benefcios proporcionados pelo e-gov no podem ser reproduzidos
nos canais tradicionais de prestao de servios pblicos, excluindo, assim, aqueles que
no tm acesso Internet;

O governo deve estabelecer uma poltica clara sobre privacidade de informaes


pessoais trafegadas via e-gov para que seja preservado esse direito do cidado, alm de
aumentar

confiana

da

populao

nesse

novo

canal

de

comunicao

e,

conseqentemente, seu uso, justificando o investimento feito;




A variedade de tecnologias de informao e comunicao permite que o governo escolha


as mais adequadas para sua realidade, e que as utilize de forma evolutiva, de acordo
com o estgio do e-gov que pretende alcanar, baseado nas suas necessidades e de
seus clientes;

A adoo de novas tecnologias no deve reduzir, e sim aumentar as opes de escolha


do mtodo de comunicao entre governo, cidados-clientes e empresas;

O foco no cliente e as prprias interaes eletrnicas certamente faro com que os


processos burocrticos, baseados na infra-estrutura hierrquica e na circulao de papel
sejam reprojetados;

Nesse processo de transformao, os servidores pblicos tero que se adequar nova


forma de trabalho e de interao com o pblico e com os servidores de outras
instituies.

2.2.6 Avaliao
Para atingir seus objetivos, uma instituio deve ter conscincia de sua situao atual e que
fatores internos e externos influenciam positiva e negativamente suas aes na busca de tais
objetivos. A avaliao ajuda a visualizar com mais clareza se a direo escolhida pela instituio
compatvel com suas aes e se h necessidade de mudana de curso para atingir sua meta final.
Por meio de avaliaes tambm possvel controlar o progresso de um projeto, e seus responsveis.
Para demonstrar seu real valor sociedade e ao prprio governo, o governo eletrnico deve
ser avaliado por ticas diferentes. Qualquer definio de sucesso deve ser mais ampla do que
simplesmente atingir objetivos e metas, ou contabilizar a quantidade de servios pblicos disponveis

33
on-line. Para Mechling & Vincent (2001), o sucesso do e-gov conseguido quando os servios certos
esto disponveis por meio dos canais certos de tal forma a maximizar o bem-estar social.
Os responsveis pelas iniciativas de e-gov devem medir seus resultados, impactos e
benefcios, com intuito de justificar o apoio poltico e os recursos financeiros recebidos. A avaliao
deve ser realista, feita a intervalos de tempo razoveis para que sejam teis aos tomadores de
deciso governamentais.
Partindo do princpio de que a avaliao importante, o e-gov tem o desafio de definir um
conjunto de indicadores e padres de medida comuns de desempenho, sob as perspectivas do
cidado, das empresas e do prprio governo, que possa ser utilizado por todos os agentes
governamentais. Esse conjunto serviria como parmetro de comparao das inmeras iniciativas e
permitiria que cada agente gerenciasse, da melhor maneira possvel, os servios, processos e
recursos empregados na execuo de sua atividade. Na anlise das avaliaes de e-gov
pesquisadas na literatura especializada, foi possvel distinguir cinco tipos, os quais so descritos a
seguir.

2.2.6.1 Classificao em estgios evolutivos e benchmarking10


A classificao em estgios evolutivos e o benchmarking foram as duas formas de avaliao
de e-gov mais recorrentes na literatura. Comparar a posio ou status alcanado por uma iniciativa
de e-gov com um modelo terico de maturidade ao longo do tempo, ou com outras iniciativas, parece
ser o ponto de partida natural da avaliao de e-gov.
Os modelos evolutivos mais comuns identificados na literatura - Baum & Di Maio (2000);
Commission of the European Communities (2003); UNDESA (2003)

- assinalam a natureza de

transformao dos servios pblicos eletrnicos e sugerem que no basta ao e-gov oferecer uma
massa de servios on-line desconexos; preciso faz-lo de tal forma a alterar os fundamentos das
relaes entre governo, sociedade e empresas, tendo como meta o atendimento das expectativas da
sociedade e a integrao de servios traspassando estruturas hierrquicas governamentais. Tais
modelos, como representaes simplificadas do caminho a ser percorrido desde a presena passiva

10

Tcnica voltada para identificao e implementao de boas prticas de gesto.

34
na Internet at a total transformao dos servios pblicos eletrnicos, no devem ser considerados
como medidas precisas de sucesso, mas sim como indicadores da fase em que o e-gov se encontra
em relao a seus objetivos.
Um exemplo de estudo comparativo que classificou as iniciativas de e-gov de acordo com seu
estgio de evoluo foi o realizado pelas Naes Unidas (Ronaghan, 2002). Nesse estudo, dentre os
190 pases membros, 169 usavam a Internet para prestar informaes e servios pblicos, mas
apenas 17 ofereciam algum tipo de transao on-line. Nenhum pas, quela poca, conseguiu atingir
o ltimo estgio de total integrao dos servios on-line independentemente da estrutura fsica
hierrquica. Duas metodologias foram utilizadas nesse estudo. Primeiramente foi feita anlise de
contedo dos portais nacionais dos governos participantes, a fim de verificar a disponibilidade de
servios que provavelmente seriam teis ao cidado comum e identificar certas caractersticas que os
11

classificariam em um dos estgios do modelo terico adotado . Em segundo lugar, foi feita anlise
estatstica comparando a infra-estrutura tecnolgica e de recursos humanos de 144 pases membros
e, por fim, foi gerado um ndice de e-gov para fins comparativos. Os Estados Unidos atingiram o
maior ndice enquanto o Brasil obteve a 18 colocao nesse estudo.
Outro exemplo desse tipo de avaliao foi o quarto estudo comparativo da Cap Gemini Ernst
& Young (2004), realizado em outubro de 2003, o qual mediu a quantidade de servios pblicos
bsicos

12

inteiramente disponveis on-line em 15 pases da Comunidade Europia, alm da Islndia,

Noruega e Sua, classificando-os de acordo com seu grau de sofisticao. Considerando esse
indicador, os quatro pases que se destacaram foram Dinamarca, ustria, Sucia e Irlanda. Quase
todos os pases participantes apresentaram avanos em relao ao estudo anterior, de 2002,
13

passando do estgio de interao unidirecional para interao bidirecional . A metodologia adotada

11

O modelo terico das Naes Unidas conta com cinco estgios: presena emergente, avanada, interativa, transacional e
em rede.

12

A Comunidade Europia definiu 20 servios pblicos bsicos: 12 desses servios tm, como pblico-alvo, os cidados
(pagamento de impostos, busca de emprego, benefcios sociais, documentos pessoais, registro de automveis, solicitao de
alvar de construo, declarao para a polcia, bibliotecas pblicas, certides de nascimento e casamento, matrcula em
curso superior, aviso de mudana de endereo e servios relacionados com a sade), enquanto que para oito deles, as
empresas so o foco (contribuio social dos funcionrios, impostos corporativos, imposto sobre valor agregado Value Added
Tax - VAT, registro de uma nova empresa, submisso de dados agncia estatstica governamental, declarao alfandegria,
certides relacionadas com o meio ambiente, e licitao pblica).

13
Respectivamente, segundo e terceiro estgios da classificao de e-gov usada pela Unio Europia (Commission of the
European Communities, 2003).

35
nesse estudo foi subdividida em quatro mdulos: pesquisa survey junto a especialistas de governo
dos 18 pases para conhecimento da estrutura governamental responsvel pelos 20 servios pblicos
bsicos; amostragem sistemtica e estratificada das instituies prestadoras desses servios;
identificao dos endereos eletrnicos dos portais das prestadoras de servios on-line da amostra;
anlise de contedo e classificao dos portais web da amostra visitados pela equipe de pesquisa.
Outra firma de consultoria, Accenture, tambm tem realizado estudos classificatrios e
comparativos peridicos. Os resultados da sua edio de 2003 mostram o Canad como o nico pas
examinado a atingir o quinto e ltimo estgio de transformao de servios. O Brasil, nessa
14

classificao, ficou no segundo estgio de capacidade bsica , junto com Mxico, Portugal e frica
do Sul (Accenture, 2003). A metodologia quantitativa de avaliao da qualidade e maturidade dos
servios on-line prestados englobou a anlise dos portais nacionais de 22 pases, feita por
pesquisadores da prpria consultora, em relao a 201 servios de 11 setores de atividade
governamental: agricultura; defesa; e-democracia; educao; servios sociais; imigrao; justia e
segurana; servios postais; licitaes pblicas; controle e participao social; receita e alfndega; e
transportes. A anlise quantitativa foi complementada com entrevistas telefnicas conduzidas com
executivos de agncias governamentais de 15 pases e com informaes documentais sobre o
processo de implantao dos 22 programas de governo eletrnico pesquisados.
A simples quantificao dos servios pblicos on-line disponveis tambm realizada,
regularmente, pelos governos do Reino Unido, da Austrlia e dos Estados Unidos, para citar apenas
alguns. Seu intuito controlar o progresso feito pelas agncias governamentais em direo meta do
governo de ter todos os seus servios pblicos on-line em uma determinada data.
O Reino Unido, mais especificamente o National Audit Office NAO, desde 1999, tem
conduzido avaliaes comparativas peridicas de suas iniciativas de governo eletrnico que vo alm
da verificao da disponibilidade de servios pblicos. Em seu relatrio de 2002 (United Kingdom
NAO, 2002), foram mencionados, alm de dois estudos de caso de aplicaes de e-gov especficas
e da anlise da poltica central de e-gov do Reino Unido, um censo de todos os portais do governo
central, cobrindo 381 agncias e examinando 121 variveis objetivas; um censo de todos os portais

36
dos governos locais, cobrindo 388 conselhos e examinando 171 variveis relacionadas com as
principais reas de servios, complementado por entrevistas com representantes de sete conselhos
locais; anlise de trfego nos portais web de 26 departamentos governamentais; e, por fim, anlise
comparativa do contedo web do governo britnico com o de outros quatro pases: Estados Unidos,
Austrlia, Nova Zelndia e Holanda.
Diferentemente dos exemplos de avaliao j citados, cujo enfoque a oferta de servios,
sua disponibilidade e grau de sofisticao, o relatrio do projeto Sibis (Statistical Indicators
Benchmarking the Information Society), custeado pela Comunidade Europia (Graafland-Essers &
Ettedgui, 2003), se concentra na avaliao da demanda do e-gov, enfocando no s o uso mas
tambm as percepes e barreiras sua utilizao. Para tanto, foram realizadas duas pesquisas
survey: uma com cidados dos Estados membros da Unio Europia, Estados Unidos e Sua; e
outra com empresas da Finlndia, Frana, Alemanha, Grcia, Itlia, Espanha e Reino Unido. Foram
observadas, alm de suas preferncias e preocupaes, as vises que cidados e empresas tm do
e-gov quando comparado aos modos tradicionais de interao com o governo, apontando os
principais fatores que os levam a usar ou no um servio eletrnico via Internet. Por esse estudo, os
cidados dinamarqueses so os que tm atitude mais positiva em relao ao e-gov; os do Reino
Unido, a mais negativa.
De forma anloga, o estudo comparativo Top of the Web (Europe - Directorate General
Information Society, 2003), a partir das respostas de pouco mais de 28 mil usurios europeus de
servios pblicos, participantes de pesquisa survey on-line sobre a qualidade e o uso dos servios
pblicos on-line, concluiu que a economia de tempo e a flexibilidade de escolha de canal de interao
com o governo so os benefcios do e-gov mais citados, enquanto a dificuldade de encontrar o portal
web certo e, nele, o servio certo, so os principais problemas. Nessa pesquisa, a qualidade dos
servios pblicos on-line teve, como indicadores, satisfao geral, usabilidade (facilidade de
localizao do portal, facilidade de localizao do servio, facilidade de uso do servio, linguagem,
velocidade de acesso) e benefcios (economia de tempo, flexibilidade, mais e melhores informaes,
melhor atendimento, rapidez na concluso do servio, controle sobre o processo, economia de

14

Caractersticas desse estgio: ampla presena on-line, infra-estrutura de segurana e certificao em desenvolvimento,
plano centralizado e estrutura legislativa estabelecida.

37
dinheiro). O uso dos servios on-line, por sua vez, foi medido a partir da quantidade de usurios e de
transaes on-line.
Outro estudo comparativo europeu, realizado pela empresa de pesquisa Taylor Nelson Sofres
(TNS) em 2001, 2002 e 2003 (Dalziel, 2004), por meio de entrevistas telefnicas com
aproximadamente 30 mil pessoas de 30 pases em cada ano, classificou os diferentes tipos de
interao dos cidados com o governo em seis categorias:


Buscadores de informao - pessoas que usam a Internet para conseguir informao em


um portal de governo;

Captadores de formulrios - pessoas que usam a Internet para imprimir formulrios do


governo para posteriormente envi-los de volta pelo correio ou fax;

Consultores - pessoas que usam a Internet para expressar seu ponto-de-vista ou


participar de consultas pblicas do governo;

Provedores - pessoas que usam a Internet para prover informaes pessoais ao governo;

Usurios de transaes - pessoas que usam a Internet para pagar por servios ou
produtos do governo por meio de dbito em conta corrente ou de carto de crdito;

No-usurios - pessoas que no usam a Internet para buscar, prover informaes ou


transacionar com o governo.

Nesses trs anos em que essa pesquisa se realizou, os pases escandinavos (Dinamarca,
Noruega e Finlndia) foram os que mais utilizaram o e-gov de uma maneira geral e, dentre as
categorias de usurios, os buscadores de informaes foram o grupo que mais se destacou com 24%
das interaes. No estudo de 2003, apenas 25% dos entrevistados (8.000 pessoas) consideraram
segura a troca de informaes com o governo on-line.
Como exemplo de benchmarking interno, pode-se citar o estudo de Stowers (2002) que
examinou todos os 148 portais web do governo executivo federal americano quanto presena ou
no de facilidades tais como servios on-line, ajuda on-line, servios de navegao, apresentao
visvel das polticas adotadas, e grau de acessibilidade. Outro estudo interno americano (West, 2004),
similar ao de Stowers, realizado por cinco anos consecutivos, de 2000 a 2004, analisou 1.629 portais
dos governos estaduais e federal em relao presena de facilidades tais como publicaes, bases
de dados e servios on-line, traduo para idiomas estrangeiros, indicadores de polticas de
privacidade e segurana, assinatura digital, nvel de legibilidade, acessibilidade, pagamento via carto

38
de crdito, diferentes formas para contato com o governo, personalizao de interface. No estudo de
2004, o estado do Tennessee e o portal Firstgov foram os que atingiram melhor classificao a nvel
estadual e federal, respectivamente.
No relatrio Government on the Web II (United Kingdom - NAO, 2002), o governo britnico
apresentou os resultados de dois estudos de caso realizados nos portais web do Departamento de
Transportes, Governo local e Regies, e do HM

15

Customs and Excise. Como mtodos de coleta de

dados foram utilizados anlise de documentos oficiais, estatsticas de uso dos portais web, custos e
contedo dos portais, alm de entrevistas com pessoas do alto escalo dessas instituies e de
outras do setor privado, da mesma rea de atuao.
No Brasil, a Federao das Indstrias do Estado do Rio de Janeiro (Firjan, 2002) usou, como
critrios na avaliao comparativa de 26 portais web de estados brasileiros, incluindo o Distrito
16

Federal , seu estgio de desenvolvimento (informao, interao, transao ou integrao), a


quantidade de servios e transaes disponveis, a abrangncia dos assuntos abordados, e dois
aspectos tcnicos - usabilidade e design. Outro estudo que analisou o contedo de portais web de
governos municipais foi o conduzido pelo E-governance Institute da Rutgers-Newark. Foram
avaliados 84 portais web de 84 cidades de diversos pases em relao a privacidade/segurana,
usabilidade, contedo, servios providos e participao do cidado (Justice, 2004).
Padres de qualidade de software, como usabilidade e acessibilidade da interface do sistema,
tambm so aferidos em avaliaes de portais web. Alguns estudos, j mencionados anteriormente,
elegeram a usabilidade da interface como um de seus indicadores de qualidade. Outros, restringiram
sua avaliao a esse nico aspecto. Na Austrlia, os portais e-gov de nove instituies da provncia
de New South Wales foram avaliados quanto usabilidade e acessibilidade por meio de ferramentas
automatizadas, como Bobby, Websitegarage, Validator do World Wide Web Consortium (W3C) e
Netscape Composer (New South Wales - Audit Office, 2002). Alguns exemplos brasileiros de
avaliaes de usabilidade e acessibilidade em portais de governo eletrnico so os estudos de caso
de Dias (2001) no portal do Senado Federal e de Pimenta et al. (2002) nos portais da Secretaria de

15

Her Majestys.

16

O estado de Roraima declarou no ter pgina web prpria poca da pesquisa.

39
Educao Especial do Ministrio da Educao, do Instituto Nacional de Pesquisas da Amaznia, do
Programa Estadual de Defesa do Consumidor seo Rio Grande do Sul e da Prefeitura Municipal
de Porto Alegre. Tais estudos aplicaram mtodos de avaliao heurstica, e de avaliao baseada em
normas internacionais de usabilidade, recomendaes para acessibilidade de contedo web do W3C
e critrios ergonmicos.

2.2.6.2 Comparao da realidade alcanada com seus objetivos estratgicos


Outra forma de avaliar o progresso e medir o sucesso dos servios pblicos eletrnicos
comparar seu estado atual com um conjunto de objetivos estratgicos, com base em indicadores
preestabelecidos. O governo australiano, por exemplo, rene e analisa dados a partir de pesquisas
on-line peridicas submetidas por suas agncias, avaliando seu progresso em relao a oito
prioridades estratgicas, operacionalizadas por padres nas reas de privacidade, autenticao,
metadados, segurana e acessibilidade (itens de prioridade 1 estabelecidos pelo W3C).
Nos Estados Unidos, foram definidos, originalmente, em maio de 2002, 91 objetivos
estratgicos a serem implementados por 25 iniciativas de e-gov selecionadas com base no seu valor
para os cidados, possibilidade de melhoria da eficincia da agncia e probabilidade de concluso do
projeto dentro de no mximo 24 meses. Para avaliar o progresso dessas iniciativas, o General Audit
Office (USA - GAO, 2004), a partir da reviso dos planos de desenvolvimento dos projetos,
documentao associada prestao de contas anual de cada agncia, e entrevistas com seus
responsveis, comparou o estado alcanado de cada iniciativa em maro de 2004 com os objetivos
previamente definidos em 2002. Dos 91 objetivos, apenas 33 foram total ou substancialmente
atingidos; 38, parcialmente; e 17 no obtiveram progresso significativo. Trs dos objetivos originais
foram posteriormente descartados por serem impraticveis ou inapropriados. Das 25 iniciativas
escolhidas, mereceu destaque o portal Grants.gov que, em fevereiro de 2004, permitia aos usurios
encontrar e solicitar, via on-line, 835 benefcios mantidos por 29 agncias governamentais. Nesse
estudo, visto que uma quantidade significativa de objetivos ainda no foi atingida completa ou
parcialmente, mesmo considerando que um dos critrios de escolha das iniciativas foi a probabilidade
de estarem finalizadas em 24 meses, o GAO concluiu que o progresso dessas iniciativas de e-gov
mais desafiador do que a Office of Management and Budget (OMB) originalmente havia previsto
(USA - GAO, 2004).

40

2.2.6.3 Prestao de contas ao governo central


Uma maneira tradicional de medir e acompanhar o sucesso governamental a prestao de
contas peridicas (ou anuais), como parte do processo legislativo de controle sobre os gastos do
governo e de distribuio de verbas oramentrias. Nesse tipo de avaliao, h uma clara ligao
entre a alocao de recursos e seus resultados. Dessa forma, possvel saber se a prestao de
servios pblicos via Internet contribui para a consecuo dos objetivos estratgicos da instituio.
Nos Estados Unidos, por exemplo, as agncias governamentais so obrigadas a submeter
um relatrio anual de desempenho como parte de seu processo oramentrio. Esses planos contm
metas e indicadores que so revisados pelo Congresso e pela agncia de planejamento e oramento
(OMB). No plano de 2001, a OMB explicitamente estabeleceu metas para aumento da quantidade de
licitaes e outros servios e-gov on-line. Essa prestao de contas anual foi uma das fontes de
informao para a avaliao do GAO das 25 iniciativas de e-gov, j mencionadas no item 2.2.6.2 (p.
39).

2.2.6.4 Avaliao de programas de governo17


A avaliao de programas uma avaliao sistemtica da operao e/ou dos resultados de
um programa ou poltica, comparando-os com um conjunto explcito de padres, como um meio de
contribuir para a melhoria do programa ou poltica (Weiss, 1992). Uma avaliao clssica de
programas inicia com sua representao visual em um modelo lgico o qual conecta suas atividades
e entradas (insumos) com suas sadas

18

19

e resultados . O modelo lgico explicitamente detalha como

as aes podem levar realizao de seus objetivos. Com esse modelo, a organizao pode isolar
aes, sadas e resultados, escolhendo que pontos do modelo seriam mais significativos na medio
do progresso e/ou sucesso do programa. Embora tal metodologia seja til para determinao do
sucesso de um programa, h o desafio de identificar que pontos so os mais importantes a serem
medidos, especialmente quando os resultados do programa dependem de esforos de colaborao
externos.

17

18

Programas sociais idealizados com a meta de melhorar as condies de vida de uma populao (Weiss, 1992).

Bens ou servios produzidos pelo programa, sob escopo gerencivel pelo responsvel pelo programa, descritos em termos
de metas fsicas e temporais (quantidade, qualidade e prazo). (Pfeiffer & Cunha, 2000).

41
O governo do Canad, por exemplo, em sua avaliao do GOL (Government On-Line), em
2001, decidiu no medir atividades e processos internos, j que tais itens seriam avaliados, quanto a
seu escopo, oramento e cumprimento de prazos, individualmente a nvel de atividade (Mechling &
Vincent, 2001). Tambm decidiu excluir a medio de seus resultados sociais, pois seria difcil isolar a
contribuio do programa GOL para tais resultados. A avaliao do e-gov, portanto, enfocou os
resultados, e as sadas necessrias para atingir esses resultados, a nvel de departamento, sob a
tica do cliente, em relao a seis objetivos: capacidade de resposta rpida a dvidas e reclamaes,
convenincia, usabilidade, interatividade, segurana e privacidade.
Como outro exemplo de avaliao de programas, pode-se citar a efetuada junto ao Treasure
Board Secretariat (TBS) pelo Office of the Auditor General of Canada (Canada - OAG, 2003). Nessa
avaliao verificou-se, entre outros itens, se os planos e estratgias para atingir os objetivos do GOL
para 2005, e mecanismos de controle e de acompanhamento do progresso do programa tinham sido
estabelecidos pelo governo. Em seu relatrio de auditoria, o OAG concluiu que o plano estratgico
para o GOL no estabeleceu, especificamente, que resultados so esperados das iniciativas de e-gov
em 2005, para que o objetivo final de total integrao e transformao de servios seja atingido.
Concluiu ainda que no foram elaborados planos detalhados de como determinar as taxas de adoo
do canal eletrnico de prestao de servios pblicos, como integrar os inmeros sistemas de
informao e desenvolver novos processos de negcios.
Outro exemplo de anlise da poltica central de governo eletrnico foi realizada pelo NAO
(United Kingdom - NAO, 2002), por meio de entrevistas, enfocando no s as iniciativas, mas
tambm os procedimentos do Office of the e-Envoy para influenciar a tomada de deciso de outros
departamentos centrais do governo britnico em relao prestao de servios on-line. Outra
entidade fiscalizadora superior que realizou avaliaes de programa e-gov foi o Australian National
Audit Office ANAO (Australia ANAO, 2003/2004; 2004/2005), que se preocupou em identificar
aes de monitoramento e avaliao de servios e-gov por parte das agncias governamentais
australianas.

19
Benefcios esperados em funo de um novo comportamento ou prtica; efeitos desejados, que explicitam o propsito do
programa, mas que fogem do controle e da responsabilidade direta da gerncia (Pfeiffer & Cunha, 2000).

42

2.2.6.5 Avaliao de aplicaes especficas


Cada um dos tipos de avaliao citados nos itens anteriores mede o progresso e o sucesso
das iniciativas de governo eletrnico a partir de uma perspectiva institucional. Outra abordagem
medir o sucesso a partir dos resultados alcanados por aplicaes individuais, cujos principais
indicadores so satisfao de clientes e uso (taxa de adoo desse canal de interao com o
governo). Produtividade, custos e retorno do investimento so outros itens passveis de medio,
porm ainda com poucos exemplos na literatura.
No Canad (ICCS, 2003), com intuito de padronizar as pesquisas de satisfao de clientes
efetuadas pelas diversas agncias, em relao prestao de servios pblicos, foi desenvolvida
uma ferramenta comum de medidas (Common Measurements Tool - CMT), questionrio (eletrnico e
em papel) que abrange no s os canais tradicionais (telefone, balco de atendimento, fax e carta),
mas tambm o e-gov e o correio eletrnico. Seus indicadores para a Web so: satisfao (rapidez no
atendimento, acessibilidade e satisfao geral), desempenho (atendimento justo, informao para
acesso, navegao, apelo visual, contedo adequado s necessidades de informao e privacidade)
e resultado final do servio. Alm dessa ferramenta, algumas agncias canadenses usam outros
mtodos: a provncia de New Brunswick entrevista por telefone um a cada dez cidados que utilizam
seus servios on-line; as provncias de Nova Esccia, Colmbia Britnica e Ontrio solicitam a todos
os usurios completarem pesquisa on-line aps a prestao do servio eletrnico.
Nos Estados Unidos, o relatrio trimestral especial ACSI E-government Satisfaction Index,
produzido pela Universidade de Michigan em parceria com a American Society for Quality (ASQ),
Foresee Results e o Claes Fornell International Group, apresenta o grau de satisfao dos clientes de
e-gov baseado em pesquisas on-line voluntrias preenchidas pelos visitantes dos inmeros portais
web avaliados. Dentre os indicadores analisados esto a inteno para retornar ao portal e a inteno
de recomend-lo (Foresee Results, 2004).
A taxa de adoo de um servio e-gov, por sua vez, calculada a partir da quantidade de
transaes efetuadas por canais eletrnicos em relao ao total de transaes, considerando todos
os canais possveis. Esses nmeros podem ser acompanhados ao longo do tempo para averiguar a
rapidez com que esses canais esto sendo adotados, substituindo os tradicionais.

43
Como exemplo de avaliao de produtividade de iniciativas de governo eletrnico, pode-se
citar a realizada pela provncia canadense de Ontrio no servio on-line de registro de uma nova
empresa. Tal avaliao conseguiu observar a reduo do tempo de processamento de seis semanas
para 20 minutos, grande parte em razo da reduo da taxa de erros (Mechling & Vincent, 2001).
Quanto avaliao de custos, o governo estadual do Texas, nos Estados Unidos, aplicou, em
estudo piloto em cinco agncias, no ano de 2001, um mtodo de rastreamento dos recursos diretos e
indiretos associados prestao de servios on-line. Esse estudo sugeriu, por exemplo, que a
substituio do servio de atendimento ao cliente do Departamento de Transportes por um sistema
on-line acarretaria uma reduo de custos de mais de US $240.000,00 por ano (Mechling & Vincent,
2001). Como anlise de retorno de investimento, o estado americano de Iowa estima custos e
benefcios da prestao de servios on-line associados a fatores mais difceis de serem medidos, tais
como riscos sade dos cidados, impactos na segurana, tempo e esforo necessrios dos
cidados durante o processo (Mechling & Vincent, 2001).

2.2.7 Consideraes finais


Na opinio de Mechling & Vincent (2001, p. 40), a maioria das avaliaes de e-gov teve como
enfoque principal a disponibilidade dos servios eletrnicos - acompanhar a porcentagem de
servios disponveis eletronicamente uma boa coisa a se fazer, porm no de forma alguma
suficiente para proporcionar a retroalimentao (feedback) e a avaliao de que necessitamos.
Mechling & Vincent (2001) sugerem, como propostas de avaliao de governo eletrnico, a
realizao de mais avaliaes de programas, intensificando a comparao dos resultados com os
objetivos do programa e ao longo do tempo; a aplicao mais freqente de pesquisas de satisfao
padronizadas, bem projetadas, direcionadas ao pblico-alvo, para compreenso das percepes dos
clientes/cidados sobre qualidade e valor do e-gov; a continuidade da aferio da disponibilidade de
servios eletrnicos, porm acrescida da anlise dos impactos sobre os resultados relacionados a
acesso, qualidade de servio e eficincia, privacidade e segurana de informaes, e legitimidade
governamental; a verificao do grau de integrao, colaborao e inovao entre as agncias
governamentais e o setor privado na implementao de iniciativas integradas de e-gov; e, por fim,
como complemento aos anteriores e no como o principal mtodo de avaliao, a realizao de

44
estudos comparativos (benchmarking) para identificao das melhores prticas nacionais e
internacionais.

2.3

Satisfao do cliente de servios pblicos eletrnicos


De tempos em tempos, os cidados utilizam servios pblicos oferecidos pelo governo, tais

como a solicitao de seguro-desemprego, bolsa-escola, passaportes, dentre outros servios, na


maioria das vezes, por no terem oportunidade de escolha de outras prestadoras de servio no setor
privado. Tais transaes, na maioria dos casos, no so comerciais, no envolvem concorrentes para
a prestao do mesmo servio, so custeadas por receitas provenientes da cobrana de impostos ou
taxas pagas diretamente pelo usurio ao solicitar o servio. Para exemplificar, o governo federal
oferece servios relativos a segurana nacional, agricultura, recursos naturais e meio ambiente,
sade, educao e treinamento, emprego e trabalho, imigrao, comrcio internacional, relaes
exteriores, desenvolvimento industrial; servios de informao (pesquisa cientfica, consultas);
contribuies, subsdios e impostos; regulamentao de servios de infra-estrutura, inspeo e
fiscalizao; servios legais e judiciais.
Segundo Meirelles (1994), servio pblico todo aquele prestado pela Administrao ou por
seus delegados, sob normas e controle estatais, para satisfazer necessidades essenciais ou
secundrias da coletividade ou simples convenincias do Estado. Dessa forma, o governo limita seu
envolvimento na produo de bens e prestao de servios que no podem ser eficientemente
produzidos ou prestados pelo setor privado, ou para os quais existe um motivo legal, de segurana
nacional ou de interesse pblico para prestao por parte do governo. Tais servios podem ser
prestados pessoalmente, no balco de atendimento da agncia governamental, via fax, telefone,
carta, e ainda, mais recentemente, por meios eletrnicos.

2.3.1 Setor pblico x setor privado


Algumas pesquisas relatam que usurios e cidados esto insatisfeitos com os servios
prestados pelo setor pblico e que os servios do setor privado so de qualidade superior (Dinsdale &
Marson, 1999). Entretanto, ao analisar a natureza e o propsito de vrios servios pblicos, pode-se
dizer que inadequado compar-los com servios do setor privado, j que os servios do setor
pblico geralmente tm outras finalidades, como proteger o interesse pblico, e utilizam mecanismos

45
de eqidade diferentes daqueles dos servios do setor privado, que visam ao lucro e colocam, por
vezes, certos usurios acima de outros.
O setor pblico oferece o mesmo nvel de servio a todos os cidados, assegurando, assim, a
obedincia aos valores democrticos, aos princpios de justia e igualdade, independentemente de
raa, cor, credo, estado civil, nvel de escolaridade, provenincia. Por conseqncia, tanto os meios
como os fins do setor pblico so diferentes daqueles do setor privado. Uma m experincia
vivenciada pelo usurio de um servio pblico pode diminuir sua confiana na capacidade de gesto
do governo e at afetar seus sentimentos de cidadania. Segundo Pollitt (1990) no basta tratar os
usurios de servios pblicos como meros consumidores, ignorando a dimenso da cidadania
envolvida.
No setor privado, as necessidades, prioridades e expectativas dos clientes so identificadas
por meio de diferentes mtodos: desde tendncias de compras at pesquisas de mercado e de
satisfao de clientes. Certamente, o governo pode aplicar alguns desses mtodos, com as devidas
adaptaes, para compreender as necessidades, prioridades e percepes dos usurios de seus
servios.

2.3.2 Cidado-cliente20
O governo atua como representante de seus cidados, detentores de direitos e obrigaes
em uma comunidade democrtica. De certo modo, os cidados so os clientes do governo e se
relacionam com ele de diversas maneiras: como beneficirios diretos dos servios pblicos, como
partes afetadas pelas aes do governo, e ainda como pagadores de impostos preocupados com a
forma com que os recursos pblicos so gastos. Alm disso, o governo por vezes presta servios a
no cidados: turistas, imigrantes, instituies estrangeiras.
Cliente algum que necessita diretamente de um provedor de servios ou produtos. Pollitt
(1990) procura traar uma distino entre cidado e cliente, ponderando que cidadania envolve
conceitos de justia, representao, participao e igualdade de oportunidades, conceitos que no
constam das inmeras definies de cliente.

20

Alguns autores utilizam a denominao cidado-usurio.

46
Qualquer organizao governamental que pretende incorporar a participao dos usurios na
avaliao dos servios pblicos que oferece deve encar-los no s como clientes, mas tambm
como cidados, portadores de direitos, dentre eles o direito aos servios pblicos e participao em
sua gesto. A prestao de servios pblicos deve ter seu foco no cidado por trs razes (Canada
TBS, 2001). Primeiro, o servio deve ser concebido e executado tendo em mente as necessidades,
perspectivas e satisfao dos cidados. Em segundo lugar, muitos dos clientes do governo so
clientes involuntrios, cujo relacionamento com o governo, durante a prestao do servio, deriva de
suas obrigaes como cidados. Por fim, os prestadores de servios pblicos devem sempre
considerar que a qualidade da prestao de servios do governo pode e deve contribuir para
fortalecer o exerccio da cidadania, e as relaes de confiana entre os cidados e seus governos.

2.3.3 Qualidade de servios


Os conceitos de qualidade no setor privado, desde 1945, sofreram algumas modificaes.
Primeiramente, qualidade estava relacionada com a conformidade tcnica e o respeito s normas e
padres, e o parmetro para sua avaliao era o produto final. A partir de 1951, seu conceito se
aproxima da adequao ao uso e h maior preocupao com o processo de produo do que com o
produto final em si. No final da dcada de 60, a qualidade se associa conformidade com as
necessidades dos clientes, sendo esse seu principal parmetro de avaliao. A partir da dcada de
80, por fim, atingir qualidade passa a significar atingir o mximo da satisfao de clientes, atendendo
s suas expectativas (Lffler, 2001).
No incio da dcada de 80, o conceito de qualidade total no setor privado foi aplicado tambm
no setor pblico na Amrica do Norte e Europa Ocidental, fazendo da satisfao de clientes o ponto
de referncia para o grau de qualidade alcanado. Mesmo que a maioria das instituies pblicas
esteja familiarizada com o conceito de qualidade do setor privado (pelo menos, com sua retrica), as
administraes pblicas de vrios pases, entretanto, ainda reduzem o conceito de qualidade
conformidade legal (Lffler, 2001). Em relao qualidade de servios, mais especificamente,
Zeithaml et al. (1990), apresentam trs grandes concluses:
1. Os consumidores tm mais dificuldade em avaliar qualidade de servios do que qualidade de
bens tangveis. Os critrios adotados para avaliar servios tendem a ser mais difceis de
compreender e identificar.

47
2. Os consumidores de servios no avaliam sua qualidade apenas em funo do produto final.
Sua avaliao incorpora, tambm, sua opinio sobre o processo de fornecimento do servio.
3. Os nicos critrios realmente importantes na avaliao da qualidade de servios so aqueles
definidos pelos consumidores. Apenas os consumidores podem julgar a qualidade; todos os
demais julgamentos so irrelevantes.
A partir dessas constataes, esses autores desenvolveram um modelo de cinco dimenses
da qualidade de servios percebida por consumidores:

Aparncia - adequao das instalaes fsicas e do ambiente de execuo dos servios,


equipamentos, pessoal e materiais de comunicao. a dimenso tangvel dos servios.

Confiabilidade - garantia de que os servios sero processados com a preciso requerida.


Uma vez acessados os servios prometidos, confiabilidade a habilidade de execut-los de
forma correta e precisa.

Agilidade no atendimento - interesse em auxiliar os clientes, fornecendo-lhes servios com


presteza.

Garantia - adequado conhecimento dos executores dos servios para bem realiz-los, aliado
cortesia e habilidade em seu desempenho, inspirando responsabilidade e conquistando a
confiana dos usurios. Inclui as dimenses competncia, cortesia, credibilidade e
segurana.

Empatia - ateno individualizada dispensada aos clientes. Inclui as dimenses: acesso,


comunicao e entendimento do consumidor.
Alm dessas dimenses genricas, aplicadas indiscriminadamente a qualquer tipo de servio,

existem outras consideraes igualmente importantes sobre qualidade de servios pblicos. Em


pesquisas realizadas pelo Treasury Board Secretariat (Canada TBS, 2001), os cidados
canadenses consideraram o acesso uma das maiores barreiras aos servios governamentais. Em
mdia, quando precisam entrar em contato com o governo para receber um servio no sabem
sequer onde encontr-lo em 25% das vezes. Em seus comentrios, esses cidados demonstram
freqentemente frustrao com as linhas telefnicas ocupadas, sistemas automatizados de
atendimento ao cliente, tempo de espera na fila, e com o fato de serem passados de uma pessoa a
outra sem que seja solucionado seu problema. Os responsveis por essa pesquisa concluram que, a
partir do momento em que conseguem acessar o servio, os cidados canadenses geralmente so
tratados com cortesia por equipes bem treinadas e solcitas. Acessar o servio sim que o
verdadeiro problema.

48
Outro fator preocupante na prestao de servios pblicos a privacidade de informaes,
principalmente quando feita por meios eletrnicos de comunicao. As instituies que atuam no
comrcio ou governo eletrnicos, ou ainda aquelas que utilizam a Internet para conduzir alguma
transao com seus clientes, tm investido na contratao de servios de segurana para proteo
tanto de seu acervo eletrnico quanto da privacidade de informaes sobre seus clientes e/ou
cidados, esperando lhes propiciar um ambiente confivel de negociao ou prestao de servios.
Para Shneiderman (2000), aumentar a percepo dos usurios quanto segurana e privacidade de
informaes, e inspirar sua confiana so fatos decisivos para a sustentao do comrcio e governo
eletrnicos.

2.3.3.1 Qualidade de servios eletrnicos


Para aferio da qualidade de portais de comrcio eletrnico, mais especificamente, existem
algumas escalas que se destacam, tais como WebQual e e-ServQual. A WebQual, desenvolvida por
Loiacono et al. (2000), tem, como dimenses, a utilidade (adequao da informao, comunicao
personalizada, confiabilidade e tempo de resposta), a facilidade de uso (facilidade de compreenso,
operaes intuitivas), o entretenimento (apelo visual, inovao, apelo emocional), e o complemento
do relacionamento (substancialidade, vantagem relativa, imagem consistente). A escala de Zeithaml
et al. (2000) e-ServQual por sua vez, tem como dimenses da qualidade, para o comrcio
eletrnico:

Eficincia habilidade do cliente em acessar o portal web, encontrar o produto ou a


informao desejada e efetuar a transao com o mnimo de esforo;

Preciso exatido do servio prometido, disponibilidade do produto em estoque, e


cumprimento do prazo de entrega;

Confiabilidade disponibilidade do portal web e outras funcionalidades tcnicas processadas


corretamente de forma consistente;

Privacidade garantia de que as informaes financeiras e de compra no sero


compartilhadas e que esto seguras;

Capacidade de resposta capacidade do comerciante em prover informaes e mecanismos


de resposta adequados aos clientes na ocorrncia de problemas;

Compensao polticas de devoluo de mercadorias e dinheiro;

Contato diversidade de canais de atendimento ao cliente.

49
Na avaliao de servios web, sob a tica do cliente, por vezes considerada apenas a
qualidade tcnica da interface web, em termos de usabilidade e acessibilidade, sem levar em conta
os aspectos da prestao de servios em si. Nesses casos, a avaliao da qualidade se presta mais
apresentao de recomendaes aos projetistas dos portais do que propriamente melhoria do
servio.
A primeira norma que definiu o termo usabilidade foi a ISO/IEC 9126 (1991) sobre qualidade
de software. Sua abordagem claramente orientada ao produto e ao usurio, pois considera a
usabilidade como um conjunto de atributos de software relacionado ao esforo necessrio para seu
uso e para o julgamento individual de tal uso por determinado conjunto de usurios.
O conceito de usabilidade evoluiu e foi redefinido na parte 1 da norma ISO/IEC Final
Commitee Draft (FCD) 9126-1, em 1998, incluindo, nessa oportunidade, as necessidades do usurio.
Essa norma define ainda outras caractersticas de qualidade de software, como funcionalidade,
confiabilidade, eficincia, possibilidade de manuteno e portabilidade. Considerando mais o ponto
de vista do usurio e seu contexto de uso do que as caractersticas ergonmicas do produto, a norma
ISO 9241-11 Guidance on Usability (1998) definiu usabilidade como a capacidade de um produto ser
usado por usurios especficos para atingir objetivos especficos com eficcia, eficincia e satisfao
em um contexto especfico de uso.
Um sistema interativo considerado eficaz quando possibilita que os usurios atinjam seus
objetivos. A eficcia a principal motivao que leva um usurio a utilizar um produto ou sistema. Se
um sistema fcil de usar, fcil de aprender e mesmo agradvel ao usurio, mas no consegue
atender a objetivos especficos de usurios especficos, ele no ser usado, mesmo que seja
oferecido gratuitamente.
O segundo elemento da usabilidade a eficincia, normalmente definida quantitativamente
por tempo de resposta, tempo total para realizar uma tarefa especfica ou ainda quantidade de erros.
O terceiro elemento, a satisfao do usurio, refere-se a percepes, sentimentos e opinies dos
usurios a respeito de um sistema, normalmente mapeados a partir de questionamentos escritos ou
orais feitos aos prprios usurios.

50
A usabilidade pode ser considerada uma qualidade de uso, isto , qualidade de interao
entre usurio e sistema, que depende das caractersticas tanto do sistema quanto do usurio. Em
outras palavras, o mesmo sistema pode ser excelente para algumas pessoas e inadequado ou
inaceitvel para outras.
A acessibilidade, por sua vez, no contexto de informtica, freqentemente associada
capacidade de um software padro ser acessado e usado por pessoas com necessidades especiais,
mesmo que a forma de uso no seja idntica para todos. Um software considerado acessvel a
algum se essa pessoa, mesmo deficiente, conseguir us-lo, realizar as mesmas funes e atingir os
mesmos resultados que outras pessoas, no deficientes, com conhecimentos e treinamento
semelhantes. Em outras palavras, acessibilidade a habilidade de um indivduo acessar e usar um
produto de modo eficaz e eficiente, atingindo resultados equivalentes por meios diversos.
Por definio, acessibilidade uma categoria de usabilidade. Um software ou pgina web que
no acessvel a uma determinada pessoa to pouco pode ser considerado eficaz, eficiente ou
mesmo agradvel a essa pessoa. Assim como os fatores de usabilidade, a acessibilidade est
relacionada ao contexto de uso, isto , ao ambiente operacional de uso e s tarefas, necessidades e
preferncias dos usurios tpicos.
Acessibilidade na Web significa que qualquer pessoa, usando qualquer tipo de tecnologia de
navegao (navegadores grficos, textuais, especiais para cegos ou para sistemas de computao
mvel) deve ser capaz de visitar e interagir com qualquer portal web, compreendendo inteiramente as
informaes nele apresentadas. Apesar de ser uma mdia de informao, muitos projetistas ainda
tratam a Web como uma mdia puramente visual. O problema da acessibilidade na Web no afeta
apenas os usurios deficientes. Ao utilizarem as mais novas tecnologias, sem considerar sua
acessibilidade, os projetistas web constroem barreiras que excluem no s os deficientes, mas
tambm as pessoas que utilizam computadores e sistemas mais antigos ou dispositivos mveis para
acesso Web, como telefones celulares e computadores portteis. perfeitamente possvel produzir
um design dinmico e atrativo que seja inteiramente acessvel. Portais web projetados de maneira
inteligente beneficiam a todos no apenas aos deficientes.

51
Na verdade, existem inmeras listas com recomendaes tcnicas para projetos de portais
web mais acessveis e amigveis. Entretanto, tais listas provm de fontes diversas com graus de
confiabilidade e validade tambm diversos, muitas vezes conflitantes, de tal forma que no h
garantia de que, ao serem aplicadas, realmente proporcionaro maior usabilidade e acessibilidade.
Com isso em mente, Vanderdonckt (1998), produziu um conjunto de diretrizes para projeto de portais
web, a partir de listas de recomendaes existentes poca, as quais foram categorizadas,
selecionadas e empiricamente validadas. Esse conjunto de recomendaes dividido em trs partes:
21

diretrizes para portais web textuais, grficos e com frames . Essas diretrizes tratam do projeto do
portal web como um todo; componentes, tamanho, verso para impresso/gravao e contedo de
22

pginas web; links e elementos de auxlio navegao; grficos e animao.

2.3.3.2 Padres de qualidade no servio pblico


Os padres de qualidade de servios devem ser expressos de tal forma que os cidados
saibam exatamente o que esperar do governo, como os servios sero ofertados, a que custo, o que
fazer e a quem se dirigir caso os servios oferecidos no sejam adequados. O conjunto de padres
estabelecido por uma organizao governamental pode ser compreendido ao mesmo tempo como
uma carta de obrigaes da organizao e uma carta de direitos do cidado.
Esses compromissos assumidos pela organizao precisam ser factveis e realistas,
adequados situao de cada organizao, no devendo gerar expectativas que no possam de fato
ser atendidas. Os padres de servio so indicadores do melhor nvel de prestao de servio que
uma organizao pode oferecer de maneira realista, com os recursos disponveis. possvel que
uma instituio atenda aos seus padres de servio em um alto nvel, e ainda assim seus clientes
no estejam satisfeitos. Como os padres exprimem aos clientes o que a organizao capaz de
oferecer e o que eles devem esperar receber, tais padres devem ser publicados para que sejam
conhecidos de todos aqueles por eles afetados executores do servio, parceiros e clientes.
Deve-se ressaltar, entretanto, que o conhecimento da percepo do usurio a respeito da
qualidade do atendimento mediante aferio do seu nvel de satisfao e anlise de reclamaes

21

Subdivises da estrutura de uma pgina web em quadros e documentos independentes.

22

Ligaes entre hipertextos.

52
apresentadas no exclui a necessidade da medio direta do desempenho da organizao em
relao aos padres de qualidade previamente definidos. Os padres de qualidade de servio
geralmente so expressos em cartas de servio que incluem, em linguagem clara e objetiva,
descrio do servio e dos benefcios dele provenientes, as principais metas da prestao do servio,
seus custos, os nveis de qualidade de servios que os clientes podem esperar receber, e os
mecanismos disponveis aos clientes para fazer reclamaes, sugestes.
Vrios pases, tais como Austrlia, Espanha, Estados Unidos, Itlia e Reino Unido, tm
adotado cartas de servio como recurso para definir um padro de qualidade de atendimento para os
servios pblicos. No Brasil, os padres de qualidade de atendimento do governo federal, de acordo
com as diretrizes do Decreto n 3.507 (Brasil, 2000), so compromissos assumidos publicamente por
cada instituio do governo com seus cidados-clientes e devem especificar:


a qualidade dos servios, em termos de agilidade no atendimento:




Tempo de espera para o atendimento;

Prazos para o cumprimento dos servios.

o modo como os cidados-clientes sero atendidos e em que condies:




Ateno, respeito e cortesia no tratamento a ser dispensado aos usurios;

Prioridades a serem consideradas no atendimento;

Formas de identificao dos servidores;

Sistema de sinalizao visual;

Condies de limpeza e conforto de suas dependncias.

os meios que a organizao se compromete a oferecer para que os cidados-clientes se


mantenham informados a respeito das atividades da organizao e para que possam ser por
ela ouvidos:


Mecanismos de comunicao com os usurios;

Procedimentos para atender a reclamaes.

Alm da determinao do estabelecimento e divulgao ao pblico de padres de qualidade


mensurveis e de fcil compreenso, e da realizao de avaliao de satisfao do usurio, pelo
menos anualmente, por todos os rgos e entidades da Administrao Pblica Federal direta, indireta
e fundacional que atendem diretamente ao cidado, esse decreto brasileiro prev, ainda, no artigo
4., a instituio do Sistema Nacional de Avaliao da Satisfao do Usurio dos Servios Pblicos.

53
Esse sistema gerenciado pela Secretaria de Gesto do Ministrio do Planejamento, Oramento e
Gesto, a qual cabe a formulao de critrios, metodologias e procedimentos adotados pelo Sistema.
Faz parte do Programa Qualidade no Servio Pblico que aborda trs linhas principais de atuao:
alterar as caractersticas vigentes do atendimento prestado pelo setor pblico populao, criar
mecanismos para conhecer a percepo do usurio sobre a qualidade do atendimento e mobilizar as
organizaes pblicas para a adeso ao processo de melhoria contnua da qualidade dos servios
prestados ao cidado.

2.3.4 Satisfao
No modelo do ndice americano de satisfao de clientes (American Customer Satisfaction
Index ACSI), proposto por Fornell et al. (1996), a satisfao de clientes ligada, em relaes de
causa e efeito, a expectativas, qualidade e valor percebidos, reclamaes e lealdade dos clientes
(Figura 2, p. 54). As expectativas incluem as experincias prvias do cliente com o produto ou
servio, e informaes recebidas por meio de campanhas publicitrias, contato com pessoas
responsveis pelo produto ou servio e com outros clientes do mesmo produto ou servio. As
expectativas influenciam a avaliao da qualidade e antecipam como o produto ou servio se sair
aos olhos do cliente. Supe-se que as expectativas tenham efeito positivo sobre a qualidade
percebida e, em decorrncia, sobre o valor percebido e a satisfao geral.
Os clientes esperam que os produtos e servios estejam disponveis da forma como foram
anunciados, e s ficaro satisfeitos se os receberem exatamente assim. Se um cliente recebe um
subsdio com valor abaixo do que ele sabe que teria direito, no ficar satisfeito, mesmo que o
atendimento seja corts e rpido.

54

Qualidade
percebida
Reclamaes do
cliente

Valor
percebido

Expectativas
do cliente

Satisfao
do cliente

Lealdade do
cliente

Figura 2 Modelo do ndice americano de satisfao do cliente (ACSI).


A qualidade percebida, influenciada pelas expectativas do cliente, medida, nesse modelo,
por trs elementos: opinio sobre a qualidade geral, confiabilidade e atendimento s necessidades do
cliente. No caso de servios pblicos, alm desses trs elementos, pode-se incluir ainda a percepo
de como os servios de governo beneficiam seus cidados. Ao longo dos anos de aplicao do ACSI,
a qualidade percebida tem sido o fator de maior impacto na satisfao do cliente.
O valor percebido, por sua vez, medido por meio da relao entre custo e qualidade do
produto ou servio. No modelo ACSI, o valor percebido influencia diretamente a satisfao e
afetado pelas expectativas e pela qualidade percebida.
A taxa de reclamaes do cliente, como conseqncia da insatisfao do cliente, medida
como a porcentagem de clientes que registraram problemas em relao ao total de clientes que
utilizaram um servio ou produto, dentro de um determinado espao de tempo. A satisfao do cliente
tem relao inversa com a taxa de reclamaes.
No servio pblico, uma figura tradicional em diversos pases (Alemanha, Brasil, Israel, Itlia,
Nova Zelndia, Portugal, Sucia e demais pases escandinavos) como fonte de informaes de

55
avaliao dos servios pelos cidados a ouvidoria, instituda para receber reclamaes sobre
servios, solicitaes no atendidas e problemas j notificados e no resolvidos.
Outra conseqncia da satisfao a lealdade do cliente, medida por questes relacionadas
com as intenes do cliente em comprar os produtos e servios de uma instituio, e em indic-los a
outros clientes. A satisfao do cliente influi positivamente na lealdade, porm a magnitude dessa
influncia varia de uma instituio a outra.
O modelo ACSI serve para medir a satisfao tanto com produtos quanto com a prestao de
servios, apesar das diferenas entre eles. A partir de um questionrio com 17 questes estruturadas,
com escala de 10 pontos, e oito questes demogrficas (Fornell et al., 1996), so medidas 15
variveis relacionadas com as variveis latentes de expectativas do cliente (trs variveis), qualidade
percebida (trs variveis), valor percebido (duas variveis), reclamaes do cliente (uma varivel),
lealdade do cliente (trs variveis) e o prprio ndice de satisfao do cliente (trs variveis). Dois
estudos brasileiros se propuseram a validar o modelo ACSI em contextos diferentes: Urdan &
Rodrigues (1999) testaram o modelo com clientes da indstria automobilstica, enquanto que Moura &
Gonalves (2005) o validaram no mbito do setor de telefonia mvel.
J o modelo conceitual denominado Service Gap Model, de Blythe & Marson, citado no
documento Brasil Enap (2001), considera como ponto de partida em uma pesquisa de satisfao,
cujo objeto especificamente a prestao de servios pblicos, o reconhecimento da diferena entre
a expectativa dos cidados e clientes a respeito dos servios pblicos e o servio efetivamente
recebido. Tal modelo composto por quatro atividades:
1. Conhecer as expectativas dos cidados e clientes quanto prestao de servios;
2. Aumentar a capacidade das organizaes pblicas no fornecimento daqueles servios
desejados pelos cidados;
3. Utilizar um conjunto adequado de ferramentas de melhoria de gesto para reduzir a lacuna de
servios; e
4. Medir o progresso na reduo da diferena entre expectativas de servio e o servio
recebido, assegurando a devida responsabilizao pelos resultados.
Compreender quo importantes so as caractersticas da prestao do servio para seus
clientes ajuda a organizao a escolher reas de melhoria que sejam significativas para eles. As

56
caractersticas da prestao de servios com menores ndices de satisfao (as maiores lacunas) no
sero necessariamente aquelas eleitas pelos clientes como prioritrias para melhoria. Dados sobre a
importncia, combinados com avaliaes de satisfao, fornecem, organizao, informaes para a
tomada de deciso.

Alta

Satisfao

Redirecionamento
de recursos??

Pontos fortes

Oportunidades

Prioridades para
melhoria

1
2
Baixa

3
Importncia

5
Alta

Figura 3 Matriz satisfao X importncia (Canada TBS, 2001).


A matriz satisfao x importncia (Figura 3) auxilia a identificao de quais melhorias devem
ser implementadas em primeiro lugar. Os quatro quadrantes da matriz so assim descritos:
Prioridades para melhoria elementos do servio com baixos nveis de satisfao, porm
considerados os de mais alta importncia. Esses so os elementos que requerem ateno imediata.
Pontos fortes elementos que os clientes consideram importantes e com alto nvel de
satisfao. No necessitam, portanto, de melhoria, quando comparados a outros elementos.
Redirecionamento de recursos elementos de pouca importncia para os clientes, porm
com altos nveis de satisfao. Nesse caso, no h necessidade de melhoria, ou seria melhor alocar
recursos em reas mais importantes.
Oportunidades elementos com baixos nveis tanto de satisfao quanto de importncia.
Efetuar melhorias nesses elementos no prioritrio.
A menos que essas duas dimenses (satisfao e importncia) sejam medidas, os esforos
para implementao de melhorias podem ser direcionados a reas no to prioritrias aos olhos dos
clientes. Implementar melhorias baseadas apenas nos baixos ndices de satisfao pode no causar
o impacto positivo desejado, caso os elementos modificados tenham pouca importncia para os

57
clientes. Relacionando essa matriz com o modelo ACSI, possvel inferir que enquanto a satisfao e
a importncia apontam que caractersticas precisam de melhoria, as expectativas exprimem o que o
termo melhoria significa para o cliente.

2.3.4.1 Fatores externos que afetam a satisfao


Expectativas sobre os servios pblicos representam um dos fatores que influenciam a
satisfao com o servio prestado, juntamente com a experincia de atendimento, em termos de
rapidez e cortesia, por exemplo; caractersticas do prprio servio; caractersticas demogrficas do
usurio atendido; percepo e confiana do pblico a respeito dos polticos e servidores pblicos
(Dinsdale & Marson, 1999). Pode-se dizer que cada usurio traz expectativas diferentes para a
experincia com o servio. Zeithaml et al. (1990) apresentam quatro fatores que influenciam as
expectativas dos consumidores: suas necessidades pessoais, sua experincia passada, os
comentrios que ouvem de outros consumidores e as comunicaes externas feitas pelas empresas
que oferecem o produto ou servio.
Outro fator que influi na satisfao o motivo pelo qual o usurio busca o servio. No setor
privado, os prestadores de servios quase sempre so solicitados como resultado de um desejo ou
escolha. No setor pblico, por outro lado, h poucas opes na hora da escolha de um prestador para
determinado servio. Em alguns casos, os servios pblicos so legalmente exigidos, o que significa
que muitos usurios so, na verdade, involuntrios.
Outro elemento que pode influenciar as percepes dos servios do setor pblico a
confiana dos cidados no governo, nos polticos e nos servidores pblicos. As percepes do
pblico a respeito da honestidade e integridade de seus governos afetam sua avaliao em relao
aos servios que recebem dessas instituies (Zussman apud Dinsdale & Marson, 1999, p. 31). No
ambiente eletrnico, os fatores que mais afetam a satisfao com a qualidade do servio so a
predisposio do cliente para uso da tecnologia e sua habilidade em utiliz-la (Gomez et al., 2004;
Zeithaml et al., 2002). A Figura 4 (p. 58) resume os inmeros fatores que influenciam a percepo
que os cidados-clientes tm dos servios governamentais.

58

Expectativas de servio:
comunicaes
necessidades pessoais
experincias passadas
com servios
Caractersticas
servios prestados:

dos

Percepes a respeito
de servio pblico e
servidores pblicos:

tangvel X intangvel
voluntrio X involuntrio
direto X indireto

princpios e valores:
eqidade e
processamento
apropriado

Percepo dos
servios
governamentais
Percepes a respeito das
polticas e dos polticos:




nveis de confiana
desempenho percebido
contaminao poltica

Caractersticas dos
receptores de servios:

Prestao de servios:










idade,
sexo,
histrico.

nmero e durao
de contatos
custos
comunicao
atitude
conhecimento do
atendente

Figura 4 Fatores que influenciam as avaliaes dos servios pblicos (Brasil - Enap, 2000).

2.3.4.2 Indicadores
No caso da prestao de servios, diversos indicadores de qualidade podem ser usados para
medir a satisfao do cliente. A escolha desses indicadores varia de acordo com o servio em
questo e com as metas da instituio. Por exemplo, uma unidade organizacional da Previdncia
Social que presta o servio de concesso de benefcios est mais preocupada com o tempo que
demora a atender a um determinado usurio do que com a parcela da populao que no tem acesso
previdncia social. Esse aspecto uma preocupao mais ampla que diz respeito rea de
formulao de polticas pblicas do Ministrio da Previdncia Social. A seguir, alguns indicadores de
qualidade relativamente usuais, distribudos em cinco dimenses:
1. Acesso e instalaes - localizao conveniente; acesso fsico ao edifcio; conforto dos
escritrios e locais de espera; estacionamento adequado; horrio de expediente; aparncia,
nitidez e localizao das placas de sinalizao; possibilidade de escolha dentre vrios modos
de acesso.

59
2. Equipe de servio simptica, gentil, prestativa, respeitosa e flexvel; hbil, competente e
justa; com acesso a informaes atualizadas; capaz de proteger a confidencialidade das
informaes fornecidas pelos clientes.
3. Comunicao - disponibilidade e consistncia de informaes; linguagem simples e clara.
4. Capacidade de resposta - entrega pontual do servio; nmero de contatos at o cliente ser
atendido; tempo de espera.
5. Confiabilidade - atendimento s necessidades; cumprimento das polticas e padres; taxa de
erro.
Ainda que haja possibilidade de variao da importncia de cada uma dessas dimenses e
indicadores em funo da natureza do servio analisado, a dimenso da confiabilidade, segundo
Zeithaml et al. (1990), a mais importante para os consumidores dos servios, enquanto a dimenso
da aparncia das instalaes a menos valorizada e paradoxalmente, aquela em que os servios
tendem a ser melhor avaliados. Identificando os fatores-chave que explicam por que as pessoas
consideram ou no satisfatria sua experincia com o servio, os gestores podem concentrar seus
esforos em aprimorar aqueles elementos que iro fazer maior diferena aos olhos de seus usurios.
O Citizens First, pesquisa feita desde 1998 com cidados canadenses, revelou que cinco
fatores so determinantes nas avaliaes da qualidade do servio por seus usurios (Dinsdale &
Marson, 1999; Spears & Seydegart, 2001; Spears et al., 2003):
1. Rapidez
Esse fator se refere satisfao com o tempo que se leva para receber o servio.
Dependendo de sua natureza, deve-se reconhecer que nem sempre possvel acelerar a prestao
de um servio de governo. Por exemplo, para alguns servios, as questes de justia, igualdade de
oportunidades e a devida prestao de contas dos atos do governo podem limitar a rapidez com que
possvel oferecer o servio.
2. Conhecimento/competncia da equipe
O segundo mais importante fator identificado foi o conhecimento e a competncia da equipe
executora do servio, cujo desempenho pode ser ainda melhorado se houver uma boa poltica de
recursos humanos, plano de treinamento de pessoal, apoio gerencial, infra-estrutura tecnolgica.

60
3. Cortesia
O terceiro fator mais importante, identificado pela pesquisa Citizens First, foi a cortesia da
equipe e o conforto por ela proporcionado aos clientes.
4. Tratamento justo
Esse fator se refere ao sentimento dos clientes quanto forma justa ou injusta com que so
tratados no processo de prestao do servio. No fcil, entretanto, determinar o que justo ou
no. Para os funcionrios do governo, ser justo respeitar a legislao e as normas. Para os
cidados, principalmente em relao aos servios sociais, o tratamento recebido, mesmo que dentro
da legalidade, pode lhes parecer injusto, caso algum benefcio lhes seja negado.
5. Resultado
O ltimo fator identificado na pesquisa, em ordem de importncia, foi o resultado do servio,
isto , se o cliente recebeu ou no o que necessitava. Nem sempre o cidado atendido plenamente
pelo governo, especialmente quando se trata de servios que envolvam recursos escassos. Aqueles
a quem o subsdio ou auxlio foi negado certamente avaliaro o resultado do servio como
insatisfatrio.
Embora esses fatores tenham sido identificados como os mais importantes nessa pesquisa,
no h um conjunto padronizado de fatores para todos os servios. Cada tipo de servio deve tentar
identificar, junto a seus clientes, que fatores so os mais importantes, quais esto sendo oferecidos
satisfatoriamente, quais precisam melhorar, quais so prioritrios para diminuir a lacuna entre os
resultados reais atingidos e as expectativas dos clientes.
No caso de servios pblicos prestados por meio eletrnico, essa mesma pesquisa
canadense identificou, em 2000, que esses fatores so bem diferentes daqueles observados nos
canais tradicionais de prestao de servios, mencionados anteriormente. Para a prestao de
servios via governo eletrnico, os fatores mais importantes foram: navegao, resultado, apelo
visual, capacidade de informar e, por ltimo, rapidez. Levando esses fatores em considerao, para o
programa Government On Line (GOL) canadense, foram escolhidos 11 indicadores de sucesso:
convenincia, acessibilidade,

confiabilidade,

massa

crtica

de

servios,

taxa

de

adoo,

transformao do servio, satisfao do cidado-cliente, segurana, privacidade, eficincia e

61
inovao. Em geral, os aspectos navegao e apelo visual so medidos por meio de estudos de
usabilidade de portais web. J na pesquisa com usurios de informao da Internet, realizada por
Gomez et al. (2004), os atributos que mais proporcionaram satisfao foram: a rapidez com que a
informao encontrada e exibida ao usurio; a freqncia com que a informao atualizada na
Internet; a forma de apresentao da informao no portal web; e a confiabilidade das informaes
veiculadas.
Antes da popularizao da Internet, entretanto, j existiam instrumentos para medir a
satisfao dos usurios de sistemas informatizados, tais como os desenvolvidos por Bailey & Pearson
(1983), Chin & Lee (2000), Davis (1989) e Doll & Torkzadeh (1988), os quais envolvem indicadores
tais como qualidade e acurcia das informaes geradas pelo sistema; formato, facilidade de uso,
disponibilidade, utilidade e velocidade do sistema.

2.3.5 Avaliao de servios


Uma vez definida a natureza dos servios a serem oferecidos populao e alocados os
recursos necessrios para implement-los, a administrao pblica deve garantir que sejam
prestados de forma efetiva, eficiente, no momento mais adequado, com cortesia e respeito aos
direitos legais de seus clientes, cidados ou no. A partir dos resultados de avaliaes de seus
servios, as organizaes governamentais podem determinar como esto se saindo na busca da
satisfao de seus clientes e, assim, identificar o que necessrio ajustar, realizando mudanas que
os clientes sejam capazes de perceber e valorizar. Na metodologia canadense de planejamento e
implementao de melhoria de servios, so propostas quatro questes a serem respondidas e nove
passos para o sucesso na prestao de servios pblicos (Canada - TBS, 2001):
1. Onde estamos?
O processo de melhoria da prestao de servios se inicia com a compreenso de onde a
organizao est ao identificar quem so seus clientes e qual seu nvel atual de satisfao. Isso
envolve duas etapas: primeiro, identificar os principais servios pblicos oferecidos pela organizao
e quem so seus reais clientes (passo 1); em segundo lugar, determinar os nveis correntes de
satisfao, assim como as expectativas e prioridades de melhoria dos clientes relacionados a cada
um dos servios pblicos identificados (passo 2).

62
2. Onde nossos clientes gostariam que estivssemos?
Neste estgio, a organizao estabelece onde seus clientes gostariam que ela estivesse no
futuro. Antes de mais nada, preciso que a misso da organizao inclua viso voltada para a
prestao de servios (passo 3). Para atingir esse estado futuro, a organizao deve decidir,
previamente, como melhorar a satisfao de seus clientes, estabelecendo prioridades (passo 4),
padres de qualidade e metas a alcanar (passo 5).
3. Como chegaremos l?
A organizao determina, neste estgio, como chegar a esse estado futuro por meio de um
plano de melhoria de servios (passo 6).
4. Como faremos para que acontea?
No estgio final, a organizao deve garantir a execuo de seu plano (passo 7) por meio de
monitoramento contnuo (passo 8). O servio deve ser avaliado no s por clientes, mas tambm por
funcionrios da organizao. Os resultados dessas avaliaes so, ento, analisados e utilizados
para ajustar o plano de implementao de melhorias. Finalmente, aconselhvel que a organizao
estabelea um programa de valorizao de sua equipe, reconhecendo e recompensando o trabalho
por ela realizado (passo 9).
Para implementar os passos um e dois dessa metodologia canadense, isto , a avaliao do
estado atual da satisfao dos clientes, incluindo suas expectativas e prioridades, preciso escolher
mtodos e instrumentos capazes de aferir tais elementos e acompanhar, ao longo do tempo, o
progresso conquistado na busca da satisfao dos clientes.

2.3.5.1 Mtodos
Existe um conjunto de instrumentos que permite a expresso direta da opinio do cidado,
muitas vezes associada a uma reclamao ou pedido de auxlio para resolver situaes nas quais os
canais normais de atendimento no puderam ser eficazes. Nessa categoria pode-se incluir tanto os
instrumentos tradicionais de contato (livros e caixas de sugestes, centrais telefnicas de
atendimento ao cliente, ouvidorias, avaliaes de reao aplicadas imediatamente aps a prestao
do servio, cartas-resposta enviadas aos clientes) quanto a utilizao da Internet e quiosques
eletrnicos para recebimento de reclamaes, sugestes e elogios sobre os servios pblicos.

63
medida que mais pessoas tenham acesso Internet, as pesquisas via correio eletrnico ou
desenvolvidas em formulrios web podem se tornar meios significativos de coleta de opinio de
usurios, clientes e cidados.
Em uma outra vertente, enquadram-se os instrumentos de avaliao mais direcionados pelas
necessidades de informao da prpria organizao, desde pesquisas de satisfao com maior grau
de preciso (questionrios enviados pelo correio, entrevistas presenciais ou por telefone) at outras
formas mais abrangentes de consultas aos cidados, como grupos focais, fruns de debate,
encontros de usurios, relatrios de auditoria. Apesar de apresentarem informaes valiosas para a
organizao, alguns desses mtodos so circunstanciais e podem ser tendenciosos j que as
pessoas que se dispem a gastar seu tempo preenchendo cartas-resposta ou comparecendo a
encontros promovidos pelo governo podem no ser representativas da clientela dos servios sob
avaliao. Esses mtodos podem captar comentrios de pessoas dispostas a reclamar,
negligenciando outras igualmente insatisfeitas, porm menos propensas a exporem, verbalmente,
suas crticas. Portanto, a estratgia de avaliao deve contemplar tanto mtodos qualitativos, mais
ricos em detalhes, quanto mtodos que reflitam com mais exatido, sob o ponto de vista estatstico, a
satisfao dos clientes, tais como pesquisas de massa feitas por telefone, pelo correio ou por meios
eletrnicos.
O documento brasileiro Padres de qualidade do atendimento ao cidado: estabelecendo
padres de qualidade do atendimento (Brasil MP, 2000) sugere o desenvolvimento de metodologia
para monitorar sistematicamente o desempenho das instituies governamentais em relao a
padres, e exemplifica alguns procedimentos que nela poderiam ser adotados:


Contratao de usurios simulados (ou clientes ocultos) mtodo utilizado para monitorar o
desempenho da organizao em relao a padres sobre diversos aspectos dos servios, a
saber, tempo de espera para ser atendido, preciso das informaes recebidas, facilidade de
entender a sinalizao visual, tempo para conseguir resposta a consultas por telefone ou por
correspondncia, adequao das instalaes, ateno e cortesia no tratamento recebido
etc. (p. 10). O usurio simulado, pessoa contratada para exercer essa atividade, sem
qualquer vnculo com a organizao, nem mesmo como usuria de seus servios, registra os
resultados obtidos em sua avaliao ao utilizar o servio, e transmite-os organizao,
permitindo que ela identifique os problemas existentes e implemente as aes necessrias
para solucion-los.

64


Reunio de usurios voluntrios - a organizao convida uma amostra representativa de seus


usurios para acompanhar, por um determinado perodo, a atuao da organizao. As
observaes do grupo so analisadas e aproveitadas para aprimorar os servios.

Levantamento da opinio dos usurios por meio de pesquisas de satisfao, anlise de


sugestes e reclamaes apresentadas, entrevistas, reunies com grupos de usurios.
A fim de compreender as expectativas dos clientes, Zeithaml et al. (1990) identificam sete

tipos de mtodos, em ordem crescente de investimento em tempo e recursos:


1. Anlise de reclamaes dos clientes, a fim de identificar problemas nos processos de
prestao do servio;
2. Anlise das expectativas dos clientes de outros servios, para elaborao de quadro
referencial de expectativas, quando pouco se conhece a respeito das expectativas dos
usurios do servio;
3. Pesquisa com intermedirios, apropriando-se do conhecimento daqueles que tm contato
mais prximo com os usurios;
4. Pesquisa com grandes clientes, para obter informaes aprofundadas sobre as expectativas
dos usurios-chave;
5. Pesquisa de satisfao aps transaes individuais, permitindo que se tenha avaliaes
individuais sobre a qualidade de cada componente do servio;
6. Grupos de referncia de clientes, visando interao continuada com os usurios; e
7. Programas abrangentes de pesquisa (incluindo entrevistas com executores do servio,
grupos focais e pesquisa quantitativa com clientes), para estabelecer medidas baseadas na
opinio das pessoas envolvidas.
Em resumo, a avaliao da atuao da organizao no atendimento ao cidado deriva de
duas abordagens principais: de medidas diretas do seu desempenho e da considerao da opinio
dos usurios de seus servios. Nesse segundo caso, necessrio demonstrar aos usurios a
importncia de sua avaliao, assegurando que as informaes por eles fornecidas so
imprescindveis para a implementao de mudanas que visam ao aprimoramento dos servios.
No h como determinar, de antemo, qual a melhor estratgia para avaliar a satisfao dos
clientes. O que se aplica melhor a uma organizao depende do tipo de produto ou servio prestado,
da quantidade e tipos de clientes atendidos, da durao e freqncia com que os clientes necessitam
utilizar os servios ou produtos, e do que se espera fazer com os resultados da avaliao. Entretanto,
vrios autores citam a pesquisa de satisfao como um dos mtodos mais eficientes.

65

2.3.5.2 Pesquisa de satisfao


A pesquisa de satisfao de clientes, segundo Rossi & Slongo (1998), tem como marco
histrico a primeira conferncia especializada sobre o tema, em Chicago, em abril de 1976. Foi na
dcada de 80, no entanto, que se deram os avanos mais significativos, voltados aos interesses das
empresas no conhecimento da satisfao de seus clientes. Tal fato ocorreu provavelmente pela
tomada de conscincia de que a satisfao dos clientes uma varivel-chave dos comportamentos
posteriores dos clientes (recompra, lealdade, comunicao boca-a-boca favorvel) e pelo impulso dos
programas de qualidade total.
A pesquisa uma ferramenta no apenas para determinar a satisfao de cidados e
usurios com seus servios, mas tambm para desenvolver estratgias visando sua melhoria. Como
benefcios proporcionados pela pesquisa de satisfao, Rossi & Slongo (1998) citam: percepo mais
positiva dos clientes em relao instituio, informaes mais precisas e atualizadas das
necessidades dos clientes, e confiana do cliente em funo da maior aproximao da instituio.
Para Dinsdale & Marson (1999), apesar de subutilizadas no passado, as pesquisas podem
ajudar a assegurar que as estratgias de melhoria de servios concentrem-se naqueles aspectos que
faro mais diferena para os cidados. Ou seja, as pesquisas ajudam a garantir que as melhorias dos
servios concentrem-se naquilo que os cidados-clientes desejam, em oposio ao que os tomadores
de decises acham que eles querem.
Segundo Schmidt & Strickland (1999, p. 97), o objetivo ltimo das pesquisas de satisfao de
usurios identificar as lacunas de servio entre o que os usurios esperam ou necessitam da
organizao (expectativas) e o nvel de servio que eles realmente percebem (percepo do
servio). A satisfao do cliente alcanada quando a qualidade do servio recebido equipara-se ou
ultrapassa suas expectativas. Uma vez que a organizao descobriu as lacunas de servios, poder
reduzi-las, seja melhorando a prestao dos servios, seja administrando as expectativas dos clientes
quando essas ultrapassarem as limitaes da organizao.
Basicamente h duas maneiras de acompanhar a satisfao geral dos clientes: ao longo do
tempo e em comparao com outras instituies que prestam servios similares. Medir o prprio
desempenho ao longo do tempo um requisito fundamental para a melhoria contnua; medir seu

66
desempenho comparando-o a outros tambm aconselhvel. Sem a anlise comparativa, pode ser
difcil determinar quo positiva uma avaliao com o conceito bom, por exemplo. Uma nota 70
boa, mdia ou ruim? Na ausncia de um ponto fixo de referncia para fazer comparaes, difcil
atribuir significado real a tais resultados.
Deve-se atentar tambm para o fato de que uma dada avaliao pode ser considerada boa
para um tipo de servio, mas ruim para outro. Quaisquer que sejam os motivos que os cidados
tenham para avaliar certos servios acima de outros, o fato que eles o fazem, e, a fim de gerar
parmetros vlidos, apenas organizaes semelhantes devem ser comparadas entre si. Mesmo
assim, nem sempre essas organizaes usam o mesmo instrumento de coleta de dados, tm as
mesmas escalas de pontuao ou realizam avaliaes visando os mesmos objetivos, o que
representam fatores adicionais que dificultam a comparao de resultados.
importante lembrar, no entanto, que a utilidade da avaliao de satisfao deve ser
entendida como um processo necessrio para a melhoria da qualidade do servio. Seus resultados
no devem ser utilizados para a hierarquizao de organizaes segundo o nvel de avaliao de
satisfao que atingirem. Para Dinsdale & Marson (1999), trs abordagens parecem facilitar, em
diferentes graus, comparaes confiveis entre servios similares e o desenvolvimento de parmetros
normativos:


Converso de pesquisas de servios similares em uma mtrica comum;

Adoo de um ndice padro de satisfao de usurios;

Utilizao de um instrumento padro de pesquisa.

2.3.5.2.1

Converso de pesquisas de servios similares em uma mtrica comum

A primeira abordagem para comparao de desempenho envolve a utilizao de


metodologias de converso de escala. Dinsdale & Marson (1999) fornecem um exemplo especfico: a
escala do Percent to Maximum PTM (Percentual ao Mximo) de Miller e Miller. Com esse mtodo,
as respostas indicadas em escalas de diferentes tamanhos e conceitos, em pesquisas diversas, so
calculadas pela mdia e ento convertidas em uma escala padro de 0 a 100.
Na opinio de Dinsdale & Marson (1999), apesar de a converso no poder levar em conta
todas as diferenas, ela, ainda assim, se mostrou consistente nos testes realizados com 261

67
pesquisas de satisfao de cidados administradas em 40 estados americanos. Talvez a questo
no seja tanto a converso dos resultados de uma escala para outra, mas at que ponto o enunciado
da pergunta pode influenciar as respostas negativa ou positivamente (Dinsdale & Marson, 1999, p.
43).
2.3.5.2.2

ndice de satisfao de usurios

Os ndices podem ser utilizados para comparar a satisfao dos usurios entre organizaes
diferentes, ou de uma mesma organizao ao longo do tempo, possibilitando monitorar a sua
evoluo. Entretanto, devem servir a comparaes de ordem mais relativa que absoluta, pois no
oferecem informaes sobre como os usurios avaliam a importncia de determinados servios ou o
que consideram como sendo prioritrio para melhoria.
O American Customer Satisfaction Index (ACSI), por exemplo, elaborado pela parceria entre
a University of Michigan Business School, Arthur Andersen, Claes Fornell International (CFI) Group e
American Society for Quality, um indicador nacional da qualidade dos bens e servios disponveis
nos Estados Unidos da Amrica (EUA). Utilizado desde 1994 para medir a satisfao do usurio com
servios prestados pelo setor privado, a partir de 1999, esse instrumento foi adotado pelo setor
pblico para avaliar o padro de qualidade de seus servios. O ACSI calculado com base em
informaes coletadas junto aos usurios, por meio de entrevistas via telefone, a respeito de suas
expectativas e satisfao com bens e servios fornecidos por agncias governamentais e empresas.
Na pesquisa de 2002, pela primeira vez, o ACSI incluiu a avaliao de portais web do governo
eletrnico americano.
O European Customer Satisfacion Index (ECSI), por sua vez, desenvolvido em 1998 como
projeto conjunto da European Organization for Quality (EOQ), European Foundation for Quality
Management (EFQM) e Customer Satisfaction Index (CSI) University Network, com apoio da
Comisso Europia, adotado em 12 pases europeus (Instituto Portugus da Qualidade): Blgica,
Dinamarca, Espanha, Finlndia, Frana, Grcia, Islndia, Itlia, Portugal, Reino Unido, Sucia e
Sua. O ECSI difere do ACSI apenas por acrescentar a varivel Imagem como mais uma varivel
antecedente ou determinante da satisfao do cliente. Essa varivel pretende integrar todas as
associaes que os clientes fazem ao nome da marca ou da empresa.

68
Alm do ACSI e do ECSI, existem outros ndices, tais como o Barmetro Sueco de Satisfao
do Cliente, desenvolvido em 1989, e o Deutsche Kundenbarometer, ndice alemo introduzido em
1992. De acordo com Urdan & Rodrigues (1999), outros pases, como Nova Zelndia e Formosa,
esto desenvolvendo ndices semelhantes.
2.3.5.2.3

Instrumento padro de pesquisa

Um exemplo de instrumento padro de pesquisa a ferramenta de medida padronizada


(Common Measurements Tool - CMT), desenvolvida pelo governo canadense para aferir a satisfao
de seus clientes. Tal instrumento fornece, s agncias pblicas canadenses, um conjunto extenso de
questes e escalas de medida padronizadas que podero ser escolhidas de acordo com as
necessidades de informao especficas de cada organizao. O uso de questes padronizadas
permite a comparao do progresso do grau de satisfao dos clientes com os servios prestados
pela instituio ao longo do tempo e com outras instituies da mesma linha de atuao ou negcios.
Os elementos-chave da CMT so: expectativas dos clientes, percepes dos clientes sobre sua
experincia ao solicitar e receber o servio, nveis de satisfao dos clientes, graus de importncia e
prioridades para melhoria definidos pelos clientes.
A experincia de alguns poucos pases, como Canad e EUA, na avaliao da satisfao dos
usurios de servios pblicos, apesar de recente, encontra-se em patamar mais definido e
consolidado do que no Brasil. Nessas sociedades, os usurios dos servios pblicos conhecem seus
direitos e deveres, e sabem exigi-los (Brasil MP, 2000).
2.3.5.2.4

Experincia brasileira

No mbito do Programa de Qualidade no Servio Pblico brasileiro, foi realizada a 1


Pesquisa Nacional de Satisfao do Usurio dos Servios Pblicos, em 1999; editado o decreto n
3.507, de 13 de junho de 2000, definindo diretrizes normativas para o estabelecimento de padres de
qualidade ao atendimento prestado por rgos e entidades da Administrao Pblica Federal; e
criado o Sistema Nacional de Avaliao da Satisfao do Usurio dos Servios Pblicos, composto
de entidades da Administrao Pblica Federal direta, indireta e fundacional que atendem
diretamente aos cidados. A 1 pesquisa nacional de satisfao abordou os servios de educao,
previdncia e sade em uma amostra de 8.000 domiclios. Para Angelim (2002), o efeito mais
relevante ao final da pesquisa no foi, propriamente, a aferio dos ndices de satisfao, mas sim, a

69
insero, na pauta do gestor pblico, da avaliao da percepo do cidado a respeito da qualidade
do servio pblico prestado.
poca dessa pesquisa, foi desenvolvido o Instrumento Padro de Pesquisa de Satisfao
(IPPS), questionrio de pesquisa de opinio padronizado que investiga o nvel de satisfao dos
usurios de um servio pblico, e que pode se adequar a qualquer organizao pblica. Tal
instrumento combina, com as devidas adaptaes s necessidades e especificidades brasileiras,
elementos das principais metodologias internacionais de medio da satisfao do usurio: American
Customer Satisfaction Index, da Universidade de Michigan; Common Measurements Tool, do Centro
Canadense de Gesto; e SERVQUAL, desenvolvido por Zeithaml, Parasuraman e Berry. O mdulo
geral do IPPS mede cinco dimenses genricas para qualquer tipo de prestao de servio:
confiabilidade, responsividade (sic), garantia, empatia e aspectos tangveis (Brasil MP, 2001). Tal
mdulo contm ainda trs medies independentes: a expectativa em relao ao servio, a avaliao
propriamente dita do servio e o valor/importncia de cada dimenso do servio. Os elementos mais
prioritrios so identificados a partir do clculo de um ndice, denominado Gap/i.
Para possibilitar a implementao da avaliao de satisfao com baixo custo sem prescindir
de conhecimento tcnico apurado na rea de pesquisa social e estatstica, foi desenvolvido, tambm,
um software de auxlio ao processo de pesquisa e anlise dos resultados do IPPS. Esse software
tem, como propsitos, facilitar a adaptao do questionrio do IPPS s necessidades de cada
organizao brasileira, ajudar a calcular a amostra e a planejar o trabalho de campo, auxiliar a
entrada de dados, evitando os erros mais comuns dessa fase, e facilitar a anlise dos resultados.

2.4 Avaliao de programas de governo


A avaliao de programas analisa a relao programa/necessidade social, medindo o grau e,
se possvel, a profundidade em que seus fins so alcanados e, portanto, as necessidades satisfeitas
e os problemas solucionados. Para Aguilar & Ander-Egg (1995, p. 31),
A avaliao uma forma de pesquisa social aplicada, sistemtica, planejada e
dirigida; destinada a identificar, obter e proporcionar, de maneira vlida e
confivel, dados e informao suficiente e relevante para apoiar um juzo sobre o
mrito e o valor dos diferentes componentes de um programa (tanto na fase de
diagnstico, programao ou execuo), ou de um conjunto de atividades

70
especficas que se realizam, foram realizadas ou se realizaro, com o propsito
de produzir efeitos e resultados concretos; comprovando a extenso e o grau em
que se deram essas conquistas, de forma tal que sirva de base ou guia para uma
tomada de decises racional e inteligente entre cursos de ao, ou para
solucionar problemas e promover o conhecimento e a compreenso dos fatores
associados ao xito ou ao fracasso de seus resultados.
Para Weiss (1992), o propsito da avaliao de programas medir os efeitos de um
programa em relao a seus objetivos, como uma maneira de contribuir para a subseqente tomada
de deciso sobre o programa e melhorar o processo de planejamento de programas futuros. Os
efeitos relacionam-se com a satisfao dos beneficirios individuais e a comparao dos benefcios
com os objetivos do programa (W. K. Kellogg Foundation, 2001), podendo ser de curto (1 a 3 anos)
ou longo (4 a 6 anos) prazos. De acordo com a Intosai Auditing Standards Committee (2004, p. 23):
Avaliaes de programa so estudos sistemticos individuais conduzidos para
verificar se um programa est funcionando adequadamente. Avaliaes de
programa tipicamente examinam uma gama maior de informaes sobre o
desempenho do programa e o contexto do que vivel monitorar em bases
correntes. Assim, uma avaliao de programa permite fazer uma ampla
verificao do funcionamento do programa e do que pode ser feito para melhorar
os seus resultados.
A avaliao tambm um meio de comunicao entre os responsveis por um projeto, seus
patrocinadores e as pessoas por ele afetadas. possvel reportar linha gerencial superior os
resultados de seus investimentos. A avaliao de programas, como prtica profissional, tem como
origem a constatao de que no h verba suficiente para realizar tudo que necessrio
sociedade. Sendo assim, preciso decidir o que vale a pena ser feito. O propsito da avaliao de
programas , portanto, subsidiar os tomadores de deciso de informaes suficientes para essa
escolha.
H que se fazer a distino entre duas atividades da avaliao de programas: uma delas a
avaliao propriamente dita e a outra o monitoramento. Enquanto o monitoramento a coleta
sistemtica de informaes com o objetivo de fornecer indicativos sobre como um programa ou
servio executado, a avaliao diz respeito formulao de questes sobre o desempenho (por
exemplo, sobre efetividade e eficincia), de modo a obter respostas que auxiliem os gestores a
melhor gerenciar e aperfeioar a prestao de servios e promover a responsabilizao por resultado

71
(Australia - ANAO, 2003/2004). Monitoramento, portanto, est relacionado a ciclos mais curtos e a
problemas mais imediatos (erros no acesso, dificuldades de navegao, impossibilidade de tirar
dvidas, mensurao da quantidade de acessos), enquanto que a avaliao ocorre em ciclos mais
longos e mais abrangente, podendo utilizar os resultados do monitoramento sistemtico.

2.4.1 Dimenses para avaliao


As dimenses mais comuns na avaliao de programas de governo so (Brasil TCU,
2000b, p. 15): economicidade, eficincia, eficcia e efetividade. A economicidade diz respeito
minimizao dos custos dos recursos utilizados na consecuo de uma atividade, sem
comprometimento dos padres de qualidade. Refere-se capacidade de uma instituio de gerir
adequadamente os recursos financeiros colocados sua disposio. Exemplo: os suprimentos
hospitalares, na qualidade especificada, foram adquiridos ao menor preo?
A eficincia, por sua vez, a relao entre os produtos (bens e servios) gerados por uma
atividade e os custos dos insumos empregados para tal em um determinado perodo de tempo. Se a
quantidade de produto est predeterminada, procura-se minimizar o custo total. Se o gasto total est
previamente fixado, procura-se otimizar a combinao de insumos para maximizar o produto (Cohen
& Franco, 1993, p. 103). Em ambos os casos, a qualidade deve ser mantida. Essa dimenso,
portanto, mede o esforo do processo de transformao de insumos em produtos. Exemplo: o tempo
de atendimento nos hospitais foi reduzido, sem aumento de custos e sem reduo de qualidade no
atendimento?
A eficcia normalmente definida como o grau de alcance das metas programadas, em um
determinado perodo de tempo, independentemente dos custos implicados. Exemplo: a quantidade de
crianas vacinadas na ltima campanha nacional de vacinao atingiu a meta programada? Vale
ressaltar que a avaliao de eficcia deve considerar os critrios adotados para a fixao da meta e
os fatores externos que podem ter prejudicado o desempenho do programa. Metas subestimadas,
assim como restries oramentrias e outros fatores externos, podem levar a concluses
equivocadas sobre a eficcia do programa.
Por fim, a efetividade exprime a relao entre os resultados alcanados e os objetivos que
motivaram a atuao institucional, entre o impacto previsto e o impacto real de uma atividade. A

72
avaliao da efetividade pretende verificar a ocorrncia de mudanas na populao-alvo que se
poderia atribuir s aes do programa. Exemplo: o programa mdico de famlia redundou na
reduo da mortalidade infantil?
Outras dimenses, como eqidade e articulao institucional, tm sido objeto de avaliao de
desempenho de programas por Entidades Fiscalizadoras Superiores (EFS) europias, assim como
pelo Tribunal de Contas da Unio a EFS brasileira. O princpio da eqidade reconhece que os
indivduos so diferentes entre si e, portanto, merecem tratamento diferenciado que elimine (ou
reduza) a desigualdade. Neste caso, os indivduos pobres, por exemplo, necessitam de mais recursos
pblicos que os indivduos ricos (Medeiros, 1999, p. 4). Considerando que as principais fontes de
desigualdade esto relacionadas com renda, gnero, raa, etnia, idade, escolaridade, localidade
(rural ou urbana), de acordo com analistas do TCU, para avaliar a eqidade, deve-se investigar, em
cada caso especfico, at que ponto as desigualdades afetam a distribuio de recursos do programa,
o acesso a bens e servios ofertados e a apropriao dos benefcios e resultados gerados pelo
programa.
A articulao institucional, por sua vez, relaciona-se com a coordenao necessria entre
rgos e/ou esferas de governo, responsveis por uma ao ou programa, para que os objetivos
dessa ao ou programa sejam atingidos. Considerando que a descentralizao administrativa uma
prtica disseminada nos modelos de gesto governamentais, avaliar a articulao institucional tornase um aspecto importante na avaliao de programas de governo.

2.4.2 Tcnicas e ferramentas de coleta de dados


As tcnicas e ferramentas de coleta de dados geralmente utilizadas em avaliaes de
programa so: pesquisa documental, entrevista, levantamento (survey), observao direta e consulta
a especialista. Essas tcnicas e ferramentas so comentadas sucintamente nos prximos itens, j
que so adaptaes, para a atividade prtica de avaliao de programas, de tcnicas amplamente
conhecidas no mbito acadmico.

2.4.2.1 Pesquisa documental


Na fase de planejamento da avaliao de programas, a pesquisa documental serve para o
avaliador se familiarizar com o programa; identificar ou checar temas potencialmente importantes;

73
desenvolver ou atualizar seu conhecimento sobre o tema escolhido. Na fase de execuo, por sua
vez, a pesquisa documental serve para dar suporte aos achados (desde que as evidncias tenham
sido validadas) e complementar ou confirmar dados coletados de diversas fontes. So fontes de
pesquisa documental em avaliaes de programa: bases de dados pblicas, relatrios de outros
estudos ou auditorias, documentos, normas e bases de dados do programa.

2.4.2.2 Entrevista
Na fase de planejamento da avaliao de programas, as entrevistas, individuais ou em grupo,
so utilizadas para obter informaes detalhadas que auxiliam na compreenso do objeto da auditoria
e na identificao de temas relevantes. Servem tambm para confirmar fatos ou auxiliar no
desenvolvimento das recomendaes de auditoria.

2.4.2.3 Levantamento
Essa tcnica, tambm denominada survey, em ingls, utilizada para coletar informaes
quantitativas ou qualitativas de uma ampla populao; conhecer a opinio e o ponto-de-vista de
beneficirios ou executores de programas; identificar a freqncia de um determinado evento (no
caso de amostra representativa da populao); testar hipteses ou investigar relaes causais. Seu
instrumento de coleta de dados o questionrio, composto de perguntas fechadas, em sua maioria. A
ocorrncia de perguntas abertas em questionrios de avaliao de programas feita com parcimnia.

2.4.2.4 Observao direta


Em avaliaes de programas, as tcnicas de observao direta mais comuns so o registro
fotogrfico e as visitas de estudo, em que os avaliadores acompanham a prestao do servio em
locais previamente escolhidos. Servem para verificar a existncia ou no de ativos permanentes e
auxiliar na compreenso da entidade auditada, em particular quando se trata de prestao de servio
pblico.

2.4.2.5 Consulta a especialista


Quando o tema da avaliao de programas novo ou de grande complexidade tcnica,
comum a consulta a especialistas que tenham condies de explicar e avaliar o cumprimento de
critrios de qualidade do programa.

74

2.4.3 Tcnicas e ferramentas de anlise de dados


Alm da anlise de contedo de dados qualitativos e anlise estatstica de dados
quantitativos, as tcnicas e ferramentas de anlise de dados geralmente utilizadas em avaliaes de
23

24

programa so: anlise de grupo de interesse , anlise SWOT , diagrama de verificao de risco,
25

anlise RECI , mapa de produtos, indicadores de desempenho, mapa de processos e marco lgico.
Essas tcnicas e ferramentas so comentadas nos prximos itens.

2.4.3.1 Anlise de grupo de interesse


A anlise de grupo de interesse consiste na identificao dos principais atores envolvidos,
seus interesses e modo como esses interesses afetam os riscos e a viabilidade do programa (Brasil
TCU, 2002b). Grupo de interesse o conjunto de pessoas ou instituies com interesse em algum
programa, incluindo no s os tomadores de deciso, beneficirios e excludos, mas tambm
quaisquer pessoas que exeram alguma influncia sobre o sucesso do programa ou sejam por ele
afetadas. As pessoas que compem o grupo de interesse so potenciais fontes de informao da
avaliao do programa.

2.4.3.2 Anlise SWOT


A anlise SWOT, desenvolvida pela Harvard Business School, busca identificar as foras e
fraquezas da organizao, assim como as oportunidades e ameaas presentes em seu ambiente
externo (Brasil TCU, 2003a). As foras e fraquezas so variveis internas, controlveis pelo rgo
executor do programa, enquanto as oportunidades e ameaas so decorrentes de variveis externas,
no diretamente controlveis pelo auditado, mas sobre as quais pode, em alguns casos, exercer
influncia.
As foras so caractersticas positivas internas (habilidades, capacidades e competncias)
que uma organizao pode explorar para atingir as suas metas, enquanto as oportunidades so
caractersticas do ambiente externo, no controlveis pela organizao e com potencial para ajud-la

23

Traduo do termo stakeholder, em ingls.

24

Acrnimo formado pelas palavras inglesas: Strengths (foras), Weaknesses (fraquezas), Opportunities (oportunidades) e
Threats (ameaas).

25

Acrnimo formado pelas palavras: responsvel, executor, consultado e informado.

75
a atingir ou exceder as metas planejadas, como por exemplo, novos clientes, novos canais de
distribuio e divulgao. As fraquezas, por sua vez, so caractersticas negativas internas (ausncia
de capacidades e/ou habilidades crticas) que podem inibir ou restringir o desempenho da
organizao, enquanto as ameaas so caractersticas do ambiente externo, no controlveis pela
organizao, que podem impedi-la de atingir as metas planejadas, como por exemplo, surgimento de
produtos equivalentes, restries oramentrias, novos concorrentes no mercado, disperso
geogrfica do pblico-alvo.
No caso da avaliao de programas, a anlise SWOT til para identificar os pontos
negativos (fraquezas e ameaas) que podem ser melhorados e transformados em foras ou
oportunidades, a partir da concretizao das recomendaes feitas pela equipe de avaliadores. Tais
pontos devem ser identificados, preferencialmente, com a participao da equipe responsvel pela
gerncia do programa, pois so as pessoas que melhor conhecem o ambiente em que o programa
atua.

2.4.3.3 Diagrama de verificao de risco


O diagrama de verificao de risco, elaborado com base nos pontos negativos da anlise
SWOT, til como ferramenta de diagnstico no estgio de formulao do problema de auditoria,
permitindo, equipe de avaliadores, identificar riscos que podem afetar o desempenho do programa
e que, conseqentemente, devem ser investigados com profundidade. Serve tambm para auxiliar na
formulao do problema de auditoria, sistematizar e estruturar informaes relevantes sobre o
ambiente de anlise. A avaliao de programas deve focar naqueles pontos identificados como de
alto risco, ou seja, alta probabilidade de ocorrncia e alto impacto.

2.4.3.4 Anlise RECI


A anlise RECI uma ferramenta que ajuda a identificar quem responsvel pelas atividades
desenvolvidas, quem as executa, quem consultado e quem informado no mbito do programa.
Por meio da anlise RECI possvel estabelecer a responsabilidade pelas decises e pela execuo
das atividades; identificar o grau de participao de cada agente (pessoa, rgo ou departamento)
em cada deciso; tornar mais clara a relao entre as partes envolvidas; e conhecer a distribuio de
poder (Brasil TCU, 2001). As iniciais RECI representam papis bem definidos:

76
R - quem responsvel (quem detm a responsabilidade final, com poder de veto; quem arcar com
o nus pelo eventual insucesso do programa);
E - quem executa (quem encarregado de desenvolver a atividade; quem responsvel pela
implementao);
C: quem consultado (quem deve ser consultado antes que as decises ou aes sejam
implementadas);
I: quem informado (quem que deve ser informado depois que a deciso ou ao for implementada).
Com essa anlise, a equipe de avaliadores compreende melhor como o programa funciona e
pode identificar retrabalho, duplicidade de atribuies, relaes de poder e estruturas pouco
eficientes.

2.4.3.5 Mapa de produtos


Uma administrao pblica voltada para resultados deve direcionar sua ateno para seus
produtos. Produto um bem, um servio ou uma condio resultante de atividades de uma
organizao ou de um indivduo, como por exemplo, benefcios de um programa, estradas
conservadas, correspondncia datilografada, pacientes atendidos (Brasil TCU, 2000b). Entretanto,
esse direcionamento aos resultados pode encontrar alguma resistncia por parte de gestores
habituados a administrar predominantemente insumos (pessoal, recursos financeiros, instalaes) e
processos (atividades desempenhadas).
O mapa de produtos, que se assemelha a uma linha de produo ou montagem, possui trs
componentes bsicos: insumos, produtos intermedirios e produtos finais. O importante o produto
gerado em cada fase, em vez do processo (ou atividade) que gerou o produto.
Em programas de governo, os insumos mais comuns so: poltica de governo, oramento,
instalaes, equipamentos, pessoal, programas de treinamento, sistemas informatizados. Os
produtos intermedirios so subprodutos obtidos a partir dos insumos existentes e que, juntos, do
origem ao produto final. No se deve confundir o produto final (output) das atividades com o impacto
(outcome) originado pelo programa. Enquanto o produto final depende apenas do desempenho das
atividades, o impacto que ele causa afetado por condies externas, que fogem ao controle do
executor do programa.

77
O mapa de produtos utilizado na fase de planejamento da avaliao de programas com
intuito de conhecer os principais objetivos do programa; representar as relaes de dependncia
entre produtos; identificar os responsveis pelos produtos crticos; e, por fim, subsidiar a construo
de indicadores de desempenho.

2.4.3.6 Indicador de desempenho


Indicador de desempenho um nmero, percentagem ou razo que mede um aspecto do
desempenho, com o objetivo de comparar essa medida com metas preestabelecidas (Brasil - TCU,
2000b). Informaes sobre desempenho so essencialmente comparativas. Um conjunto de dados
isolado, mostrando os resultados atingidos por uma instituio, no diz nada a respeito de seu
desempenho, a menos que seja confrontado com metas ou padres preestabelecidos, ou realizada
uma comparao com os resultados atingidos em perodos anteriores, obtendo-se, assim, uma srie
histrica para anlise. A utilizao de indicadores de desempenho possibilita avaliao qualitativa e
quantitativa do desempenho global de uma instituio; acompanhamento e avaliao do desempenho
ao longo do tempo; e ainda comparao entre:

desempenho anterior e desempenho corrente;

desempenho corrente e padro de comparao;

desempenho planejado e desempenho real.

2.4.3.7 Mapa de processos


O mapa de processos a representao grfica de um processo de trabalho incluindo
seqncia de passos necessrios consecuo de uma determinada atividade, agentes envolvidos,
prazos e fluxo de documentos (Brasil TCU, 2003b). Esse diagrama, na fase de planejamento da
avaliao de programas, permite identificar, mais facilmente, oportunidades para racionalizao e
aperfeioamento dos processos de trabalho em uma organizao. O mapa de processo tambm til
para identificar pontos fortes de determinado processo que podem ser reproduzidos ou adaptados a
outros de uma mesma organizao ou de organizaes diferentes, como meio de disseminar boas
prticas.

78

2.4.3.8 Marco lgico


O marco lgico um modelo analtico, criado pelo Banco Interamericano de Desenvolvimento
BID, que orienta a formulao, execuo, acompanhamento e avaliao de programas ou projetos
governamentais. Na fase de planejamento da avaliao de programas, serve para identificar os
principais resultados, produtos e atividades de um programa; verificar se os objetivos guardam ntida
relao com a finalidade do programa e se h clareza na definio de bens e servios ofertados,
impacto almejado e meio de mensur-lo.
Alm de hierarquizar os processos organizacionais, o modelo de marco lgico define
indicadores prticos, objetivos, mensurveis e independentes, expressos em termos quantitativos,
qualitativos e temporais; indica as fontes que contm dados sobre esses indicadores (meios de
verificao); identifica os fatores exgenos (pressupostos) que podem afetar o objeto da avaliao, os
riscos existentes e possveis aes alternativas.
Outros modelos de anlise de dados utilizados em avaliaes de programa so o modelo de
insumo-produto e o modelo de condies ambientes. O modelo de insumo-produto procura exprimir
como o objeto da auditoria desenvolve suas atividades, identificando: informaes e recursos
humanos, fsicos e financeiros exigidos (insumos); processos de transformao dos insumos em
produtos; bens e servios ofertados (produtos); benefcios proporcionados (impacto); possveis
indicadores de desempenho; demanda existente para os produtos gerados; benefcios desejados
(escala de preferncias).
O modelo de condies ambientes, por sua vez, identifica os fatores internos e externos
(clientes, fornecedores, competidores, sindicatos, associaes profissionais, autoridades diversas)
que influenciam as atividades desenvolvidas pelo objeto da auditoria. Esse modelo exibe interaes e
inter-relaes existentes entre os vrios grupos de interessados.

2.4.4 Tcnicas e ferramentas de controle de qualidade


As tcnicas e ferramentas de controle de qualidade de avaliaes de programa mais usuais
so: matriz de planejamento, matriz de achados e painel de referncia. Essas tcnicas e ferramentas
so comentadas sucintamente nos prximos itens.

79

2.4.4.1 Matriz de planejamento


A matriz de planejamento uma esquematizao das informaes relevantes para o
planejamento de uma avaliao de programas: questes de auditoria; informaes requeridas; fontes
de informao; estratgias metodolgicas; mtodos de coleta de dados; mtodos de anlise de
dados; limitaes; o que a anlise vai permitir dizer (Brasil TCU, 2002a).
A questo de auditoria o elemento central na determinao do direcionamento dos
trabalhos de auditoria, metodologias e tcnicas adotadas, e resultados que se pretende atingir. Na
elaborao das questes, deve-se levar em conta os seguintes aspectos: clareza e especificidade;
uso de termos que possam ser definidos e mensurados; viabilidade de investigao (possibilidade de
ser respondida); articulao e coerncia (o conjunto das questes elaboradas deve ser capaz de
esclarecer o problema de auditoria previamente identificado). As questes de auditoria podem ser
classificadas em trs tipos (Brasil TCU, 2000a, p. 48):

Questes descritivas - do tipo Quem? Onde? Quando? O qu? Como?. Exemplo: como
funciona o programa?.

Questes normativas - aquelas que tratam de comparaes entre o desempenho atual e aquele
estabelecido em norma, padro ou meta, tanto de carter qualitativo quanto quantitativo.
Exemplo: o programa tem alcanado as metas previstas?.

Questes avaliativas (de impacto, ou de causa-e-efeito) - geralmente se referem efetividade do


programa, enfocando o que teria ocorrido caso o programa no tivesse sido executado. Em
outras palavras, uma questo avaliativa quer saber que diferena, caso tenha havido alguma, fez
a interveno governamental para a soluo do problema identificado. Exemplo: Os efeitos
observados podem ser atribudos ao programa? .
Aps formuladas as questes de auditoria, necessrio identificar as informaes requeridas

para respond-las e suas respectivas fontes. As informaes coletadas so consideradas evidncias


e podem assumir as seguintes formas (Australia - ANAO, 1992):

Fsica - dados coletados a partir da observao direta, podendo ser representados por
fotografias, mapas, grficos ou outras representaes pictogrficas;

Oral - declaraes geralmente obtidas por meio de entrevistas ou levantamentos com usurios ou
beneficirios da iniciativa governamental, bem como com especialistas, gestores ou membros da
equipe tcnica encarregada;

80

Documental - dados registrados em papel ou meio magntico (em geral, os mais empregados em
trabalhos de auditoria);

Analtica - informaes geradas a partir de outras evidncias, geralmente envolvendo clculos,


comparaes ou snteses. recomendvel o uso de mais de um tipo de evidncia, de forma a
fortalecer as concluses finais.
A partir dos tipos de questes de auditoria, evidncias e fontes de informao, so escolhidas

as estratgias metodolgicas mais adequadas. As mais utilizadas em avaliaes de programa so


estudos de caso, delineamentos experimental, quase-experimental e no-experimental. Com base em
suas possveis aplicaes na avaliao de programas, o estudo de caso pode ser classificado como
(USA - GAO, 1990):
a)

Ilustrativo: objetiva acrescentar exemplos reais e detalhados a outras informaes sobre o


programa;

b)

Exploratrio: voltado para a gerao de hipteses que sero investigadas posteriormente;

c)

Caso crtico: examina uma situao especialmente relevante ou serve como teste-crtico para
afirmaes feitas sobre o programa;

d)

Para implementao de programa: investiga diferentes experincias de implementao,


geralmente de forma normativa.

e)

Para identificar efeitos do programa: examina relaes de causalidade, geralmente envolvendo o


exame de vrios casos e utilizando mtodos de anlise de dados prprios de estudos de
abordagem qualitativa;

f)

Cumulativo: rene descobertas provenientes de vrios estudos de caso para responder a uma
questo de auditoria descritiva, normativa ou de causa-e-efeito.
O delineamento experimental, por outro lado, uma estratgia metodolgica que visa testar

hipteses, cuja concepo bsica corresponde aos experimentos realizados em laboratrio. Essa
estratgia empregada em avaliaes de programa quando se deseja verificar a relao causal entre
as variveis do domnio do programa e os efeitos observados. Para verificar se um programa a
causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas,
hospitais): o grupo experimental ou de tratamento, que ser exposto ao programa; e o grupo de
controle, que no ser exposto. As diferenas observadas nos resultados obtidos por esses grupos,
com algumas qualificaes, podero ser atribudas presena do programa. O procedimento exposto

81
acima, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa,
em ambos os grupos, sejam selecionadas de forma aleatria. Isto , qualquer unidade deve ter a
mesma chance de pertencer a um ou a outro grupo.
A realizao do delineamento experimental envolve dificuldades de ordem prtica e tica,
como por exemplo, excluir do programa um grupo de beneficirios em potencial para que operem
como grupo de controle. Por essa razo, foram desenvolvidas estratgias metodolgicas alternativas.
Os delineamentos quase-experimentais mais citados na literatura sobre avaliao de programas so:
grupos no-equivalentes com pr e ps-testes; sries temporais com grupo de controle; sries
temporais sem grupo de controle. Muitas vezes impossvel utilizar at mesmo delineamentos quaseexperimentais. Nesse caso, os delineamentos no-experimentais mais usuais so: antes-e-depois;
somente depois com grupo de comparao. A fragilidade inerente a esses delineamentos est no fato
de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter
sido causadas por variveis no associadas ao programa.
Na matriz de planejamento tambm so citados os mtodos de coleta e anlise de dados
utilizados. Os mais comuns em avaliaes de programa foram mencionados nos itens 2.4.2 (p. 72) e
2.4.3 (p. 74) desta reviso de literatura. A coluna limitaes da matriz est relacionada com
restries inerentes estratgia metodolgica adotada (por exemplo, possibilidade ou no de
generalizao dos resultados do estudo), s caractersticas das informaes que se pretende coletar
(por exemplo, dificuldade de acesso aos dados, falta de confiabilidade das informaes) e s
condies operacionais para a realizao dos trabalhos (por exemplo, disponibilidade de recursos
humanos e materiais). Por fim, a coluna o que a anlise vai permitir dizer da matriz de planejamento
esclarece precisamente quais concluses ou resultados se pretende alcanar com a estratgia
metodolgica adotada.

2.4.4.2 Matriz de achados


A matriz de achados, elaborada aps a anlise dos dados, permite que a equipe de auditoria
organize os resultados da fase de execuo e relacione-os com as recomendaes preliminarmente
propostas. Essa matriz composta de questes de auditoria; achados principais; anlises e
evidncias; causas; efeitos; boas prticas e recomendaes; e benefcios esperados.

82
Alm das questes de auditoria, copiadas da matriz de planejamento para a matriz de
achados e j mencionadas no item 2.4.4.1 (p. 79), so relacionados os principais achados, ou seja,
constataes mais relevantes que respondem a questo de auditoria correspondente e situaes,
adequadamente evidenciadas, que apresentam oportunidade de melhoria para o desempenho do
programa. Os mtodos e tcnicas de anlise de dados empregados so mencionados na coluna
anlises e evidncias, enquanto que os fatos ou situaes que deram origem ao baixo desempenho
observado so apresentados na coluna causas. Integram ainda a matriz, os efeitos (as
conseqncias relacionadas com as causas e os achados correspondentes), as boas prticas
eventualmente identificadas ao longo do trabalho, as recomendaes dos avaliadores, e os
benefcios esperados aps sua implementao.

2.4.4.3 Painel de referncia


Outro instrumento relevante no controle de qualidade das avaliaes de programas o
acompanhamento dos trabalhos por um painel de referncia, formado por avaliadores experientes no
tema e especialistas convidados de outras instituies (universidades, institutos de pesquisa). O
painel tem como objetivos: conferir a lgica da avaliao e o rigor da metodologia utilizada,
questionando as fontes de informao, a estratgia metodolgica e o mtodo de anlise escolhido,
em confronto com os objetivos da avaliao; orientar e aconselhar a equipe de avaliadores sobre a
abordagem adotada; reunir opinies especializadas e independentes sobre o objeto examinado;
fornecer, equipe, perspectiva abrangente sobre o objeto; assegurar a qualidade do trabalho e
alertar a equipe sobre falhas no seu desenvolvimento/concepo; conferir a presena de benefcios
potenciais significativos do trabalho da avaliao.

83

3 Marco terico da pesquisa


O problema desta pesquisa poderia ser estudado, por exemplo, sob a tica da Tecnologia da
Informao, por se tratar de um sistema informatizado. Entretanto, tal rea estaria preocupada,
essencialmente, com aspectos relacionados com seu desempenho como sistema tecnolgico, com
sua infra-estrutura de redes, segurana de sistemas e interao homem-computador que, por si s, j
uma rea multidisciplinar que engloba Cincia da Computao, Cincia Cognitiva, entre outras.
Este problema poderia tambm ser estudado pela Administrao, mais especificamente pela rea de
Auditoria, cujo enfoque, certamente, seria a verificao de cumprimento de objetivos e de prestao
de contas. Na rea de Comunicao Social (jornalismo, publicidade, propaganda), a preocupao do
estudo talvez se restringisse avaliao do governo eletrnico como meio de divulgao de notcias
sobre o Governo e de marketing poltico.
Este problema poderia tambm ser tratado em um estudo etnogrfico, porm, segundo
Saracevic (2000), tal abordagem estuda modos de vida, cultura e costumes, alm de impactos da
tecnologia na vida das pessoas que a utilizam, sendo altamente apropriada se o objetivo fosse
compreender amplamente o papel e os efeitos de uma prtica ou construto em um espectro social ou
organizacional mais amplo, o que no o caso. Outra abordagem que poderia ser adotada seria a
sociolgica, que avalia a repercusso de determinada ao ou comunidade de usurios em um
contexto social, mais apropriada para esclarecer foras e efeitos sociais. A abordagem econmica,
por sua vez, seria apropriada para este estudo se seu foco fosse a contabilizao de fatores
econmicos (anlise de custos, de custo-benefcio). Cada abordagem de pesquisa tem vantagens e
desvantagens, no havendo uma abordagem perfeita. A resposta pergunta por que avaliar o
governo eletrnico ? que deve nortear a escolha da abordagem.
Pensando dessa forma, o enfoque adotado nesta pesquisa foi o da Cincia da Informao,
mais especificamente, o da Comunicao da Informao, com foco no usurio, pois essa rea se
preocupa com o processo de comunicao da informao, de tal forma a atender, da melhor maneira
possvel, as expectativas e necessidades de informao do usurio, que, no contexto desta pesquisa,
o cidado-cliente de servios pblicos eletrnicos. Apesar de estarem presentes neste estudo,
como canal de comunicao eletrnica de massa, as tecnologias web no so um fim em si mesmas,
visto que se olha o problema pelo ngulo da Cincia da Informao.

84

3.1 Modelo conceitual da pesquisa


A Figura 5 representa o modelo que exprime o ngulo pelo qual o problema desta pesquisa
foi estudado, relacionando conceitos das diversas reas exploradas na reviso de literatura.
importante mostrar que modelo uma descrio conscientemente simplificada, sob a forma grfica,
de uma parte da realidade, que procura mostrar os elementos bsicos de qualquer estrutura ou
processo e as relaes entre eles. O modelo tem a funo de organizar, ordenar e relacionar
sistemas, provendo imagens do todo que, por vezes, no so facilmente percebidas, e de explicar, de
forma simplificada, aspectos complicados ou ambguos (McQuail & Windahl, 1993). No entanto, todo
estudo precisa, alm de centrar o foco em uma questo especfica, adotar um ngulo por meio do
qual o problema investigado. Esse modelo, por sua vez, contm a teoria que embasa a explicao
dos resultados e norteia o desenho do estudo, ou seja, a construo do referencial terico da
pesquisa.

Internet
Governo

Servio

Fonte/receptor

Mensagem

Cidado
cliente
Receptor/fonte

Canal
Monitoramento
e avaliao

Normas,
regras,
recomendaes
e boas prticas

Fidelidade

Pesquisa de
satisfao

Padres de
qualidade

Figura 5 Comunicao eletrnica entre Governo e cidado-cliente de servios pblicos.


A prestao de servios via Internet considerada, nesta pesquisa, comunicao de massa,
do Governo para o cidado, j que o contedo selecionado pelo Governo para veiculao na Internet,
na verdade, uma amostra do total disponvel, criado por um grupo de pessoas que trabalha para o
Governo, para disseminao rpida por meio de artefatos tecnolgicos, a uma grande audincia,

85
heterognea, amplamente dispersa e annima, concordando, assim, com as caractersticas tpicas da
comunicao de massa (item 2.1.2, p. 12). Por ser um membro annimo do pblico, o cidado-cliente
no tem o compromisso de responder ou reagir, como acontece na comunicao interpessoal. A
credibilidade do canal Internet, como j constatado em algumas avaliaes de governo eletrnico,
influencia a maneira como o cidado-cliente se relaciona com ele e afetado pelo contedo nele
transmitido.
Por outro lado, ao relacionar a prestao de servios de governo eletrnico com o processo
de comunicao tradicional, pode-se dizer que o Governo e o cidado-cliente so ambos emissores e
receptores, j que tal comunicao se d de forma bidirecional ora o Governo que comunica
informaes sobre a prestao do servio (mensagem), ora o cidado-cliente que transfere, ao
Governo, as informaes necessrias (mensagem) concluso dessa prestao de servios on-line,
por meio do canal Internet.
Fazendo um paralelo entre fidelidade do processo de comunicao e qualidade de servios
pblicos, itens 2.1.3 (p. 14) e 2.3.3 (p. 46) da reviso de literatura, v-se que, em ambos os casos, o
importante determinar o que aumenta ou reduz tal fidelidade ou qualidade. Comparando o conceito
de Tubbs & Moss (2003), de que a comunicao efetiva quando a forma como o estmulo foi
iniciado e pretendido pelo emissor, ou fonte, corresponde, o mais prximo possvel, forma com que
percebido e respondido pelo receptor, e o conceito de qualidade percebida como julgamento do
cliente sobre a superioridade ou excelncia de um servio, fruto da comparao entre os servios
esperados e a percepo dos servios recebidos, observa-se que ambos conceitos tratam do mesmo
tema.
A ausncia de recursos de comunicao, a presuno no enunciada, a distrao e a
apresentao confusa, destacadas por Berlo (1982), Gibson et al. (1981) e Parry (1972) como
barreiras comunicao humana, citadas no item 2.1.3 (p. 14) da reviso de literatura, so tambm
consideradas problemas de disponibilidade (ausncia de recursos de comunicao), usabilidade
(qualidade de uso) e/ou acessibilidade de interfaces web na prestao de servios pblicos
eletrnicos (Brasil Governo Eletrnico, 2004; Brasil MP, 2005d; Dias, 2001; Dias, 2003; ISO 924111, 1998; Nielsen, 1999; W3C, 1999). As agncias governamentais, por sinal, so conhecidas por
suas comunicaes freqentemente incompreensveis (Gibson et al., 1981).

86
A fidelidade do processo de comunicao na prestao de servios pblicos eletrnicos est,
ento, relacionada com os conceitos de acessibilidade e usabilidade de interfaces web, duas das
dimenses da qualidade de servios pblicos eletrnicos examinadas nesta pesquisa. De certa
forma, outras dimenses da qualidade tambm se ligam fidelidade do processo de comunicao
eletrnica: facilidade de localizao do portal web da instituio, facilidade de localizao do servio
de governo eletrnico, e sua disponibilidade.
A qualidade de servios pblicos eletrnicos, de uma maneira geral, pode ser medida pela
conformidade a padres, normas, recomendaes e boas prticas, e inferida pela satisfao geral de
seus usurios, cidados e clientes desses servios. Do lado do cidado-cliente, o mtodo mais
empregado para medir sua satisfao, a pesquisa de satisfao de clientes, motivo pelo qual esse
foi um dos mtodos escolhidos neste estudo. Do lado do Governo, para checar a conformidade a
padres de qualidade, e ainda o sucesso das iniciativas de e-gov, o mtodo de aferio mais
adequado parece ser o monitoramento e a avaliao de indicadores de desempenho, mais
especificamente, de eficcia. Para complementar essa viso que relaciona fidelidade do processo de
comunicao eletrnica entre Governo e cidado-cliente e qualidade dos servios pblicos
eletrnicos, foi construdo o modelo de avaliao de governo eletrnico, descrito no item 3.2 (p. 87).

87

3.2 Modelo de avaliao de governo eletrnico


O modelo de avaliao de governo eletrnico, aqui proposto e representado de forma grfica
na Figura 6, sintetiza os aspectos abordados na reviso de literatura (item 2.1, p. 9) desta tese e
atende a vrias das propostas de avaliao de Mechling & Vincent (2001).

Melhores
servios

Governo mais
eficiente

Novas relaes
entre governo e
sociedade

Classificao
em estgios

Benchmarking

Canais eletrnicos de comunicao


Foco no cliente
Processamento em tempo real
Ambiente sem papel
Processos automticos
Integrao linha de frente-retaguarda
Dependncia da tecnologia

E-GOV

Avaliao

Objetivos
estratgicos

Prestao de
contas

Avaliao de
programas

G2B

Apresentao
de
informaes

Busca de
informaes

G2C

Interatividade
limitada

G2G

Transao
eletrnica

Integrao
e-gov

Medidas de
reduo de
custos

Medidas de
retorno do
investimento

Avaliao de aplicaes especficas

Medidas de
uso

Medidas de
produtividade

Pesquisas de
satisfao

Figura 6 Modelo de avaliao de governo eletrnico.


Ao se observar os elementos da Figura 6, possvel visualizar as caractersticas (canais
eletrnicos de comunicao, foco no cliente, processamento em tempo real, ambiente sem papel,
processos automticos, integrao linha de frente-retaguarda, dependncia da tecnologia) e os

88
potenciais benefcios do governo eletrnico (melhores servios, governo mais eficiente e novas
relaes entre governo e sociedade), assim como os trs setores envolvidos nas interaes de e-gov
(G2B, G2C e G2G), os cinco estgios evolutivos (apresentao de informaes, busca de
informaes, interatividade limitada, transao eletrnica e integrao e-gov) e os vrios tipos de
avaliao de governo eletrnico: sob perspectiva institucional (classificao em estgios evolutivos,
benchmarking, comparao da situao alcanada com seus objetivos estratgicos, prestao de
contas ao governo central e avaliao de programas de governo); e avaliao de aplicaes
especficas e seus principais indicadores (uso, produtividade, satisfao de clientes, custos e retorno
de investimento).
A partir deste modelo de avaliao de e-gov aqui proposto, possvel ter uma viso didtica,
ao mesmo tempo geral e sinttica, das caractersticas e potenciais benefcios do governo eletrnico,
assim como dos setores envolvidos nas interaes de e-gov, estgios evolutivos e tipos de avaliao.
Tal modelo pode ser aplicado como ponto de partida tanto em estudos acadmicos sobre governo
eletrnico com foco especfico em um ou mais aspectos nele representados, quanto em trabalhos de
avaliao sob perspectiva institucional ou de aplicaes especficas. Nesta tese, esse modelo foi
particularmente importante na seleo dos mtodos de avaliao que seriam mais adequados a esta
pesquisa, e dos tipos de servios e estgios de e-gov objetos de anlise neste estudo de caso.

3.3 Seleo dos tipos de servios, estgios de e-gov e mtodos de


avaliao
Como o tema desta pesquisa trata da prestao de servios pblicos eletrnicos, vista pela
tica do cidado-cliente, e o objetivo do Programa Governo Eletrnico brasileiro ampliar a oferta e
26

melhorar a qualidade da prestao de servios e informaes pblicas por meios eletrnicos , foram
enfocados, nesta pesquisa, como benefcio potencial do e-gov, o de melhores servios, e como
contexto, servios G2C, para atendimento direto ao cidado. Por serem os estgios iniciais de
apresentao e busca de informaes, no governo eletrnico, menos significativos em termos de
prestao de servios pblicos eletrnicos, foram escolhidos, inicialmente, os estgios de

26

Conforme definio constante do mapeamento, em junho de 2005, das aes oramentrias do Ministrio do Planejamento,
Oramento e Gesto, no Sistema de Informaes Gerenciais e de Planejamento (Sigplan), e do Anexo II da Lei no 10.933, de
11 de agosto de 2004, que dispe sobre o Plano Plurianual 2004/2007.

89
interatividade limitada, transao eletrnica e integrao e-gov, como critrios para seleo dos
servios e-gov deste estudo.
Dentre os mtodos de avaliao do e-gov como estratgia do governo central, foi escolhida a
avaliao de programas, por sua abrangncia, ao possibilitar diferentes enfoques de anlise
(insumos, processos, produtos, impactos), e ainda diferentes critrios de avaliao (eficincia,
eficcia, efetividade, impacto). Foram descartadas a classificao em estgios evolutivos, a avaliao
da prestao de contas e a avaliao dos objetivos estratgicos por tratarem de aspectos limitados
de implementao e controle no diretamente voltados ao foco desta pesquisa. O benchmarking foi
descartado por ser mais indicado em etapas posteriores de avaliao. Comparar iniciativas de e-gov
antes de realizar auto-avaliaes parece inverter a ordem natural das coisas.
Como o foco desta pesquisa a avaliao dos servios e-gov sob a tica do cidado-cliente
na comunicao com o governo via Internet, nada melhor do que utilizar mtodos que tenham como
fontes de informao os prprios cidados-clientes, como o caso da pesquisa de satisfao. Os
outros mtodos de avaliao de aplicaes especficas de e-gov, identificados na reviso de literatura
medidas de uso, produtividade, reduo de custos e retorno de investimento trariam respostas de
interesse mais significativo s agncias de governo prestadoras de servios eletrnicos do que
propriamente aos clientes desses servios.
Por terem sido selecionados como mtodos de avaliao de e-gov para esta pesquisa, a
pesquisa de satisfao e a avaliao de programas constam como itens da reviso de literatura.
Portanto, para representar o que se pretendia avaliar na pesquisa de satisfao, foi construdo um
modelo grfico que relaciona as diversas variveis estudadas.

90

3.4 Modelo de avaliao da satisfao


A partir dos conceitos e modelos anteriormente apresentados na reviso de literatura (p. 44),
prope-se, de forma resumida e contextualizada para o ambiente eletrnico, um modelo para medir a
satisfao dos clientes de servios de governo eletrnico (Figura 7).

Expectativas
atendidas

Valor
percebido

Padres
de
qualidade
atendidos

Satisfao
geral

Qualidade
percebida

DIMENSES
Facilidade de localizao do portal web da instituio
Facilidade de localizao do servio de governo eletrnico
Acessibilidade
Usabilidade
Disponibilidade
Confiabilidade
Privacidade de dados pessoais e Segurana de informaes
Convenincia
Capacidade de resposta a dvidas e reclamaes
Tempo de atendimento

Figura 7 Modelo para medir a satisfao do cliente de servios de governo eletrnico.

91
Tal modelo inclui, como variveis latentes (ou construtos) que influenciam a satisfao geral,
as expectativas dos cidados-clientes, a qualidade e o valor por eles percebidos, e os padres de
qualidade relacionados especificamente com esse canal de comunicao, subdivididos em 10
dimenses: facilidade de localizao do portal web; facilidade de localizao do servio;
acessibilidade; usabilidade; disponibilidade; confiabilidade; privacidade de dados pessoais e
segurana de informaes; convenincia; capacidade de resposta a dvidas e reclamaes; e tempo
de atendimento.
Nesse modelo, o construto expectativas atendidas representa a correlao entre o que se
esperava do servio de governo eletrnico e o que se percebeu dele, em uma determinada situao
de uso. Em outras palavras, a expectativa o que o cliente espera do servio, baseado em suas
necessidades pessoais, experincias pessoais ao utilizar este ou outros servios pblicos via Web
em ocasies anteriores, e em informaes recebidas de terceiros sobre o servio.
A qualidade percebida, por sua vez, o julgamento do cliente sobre a superioridade ou
excelncia de um servio de governo eletrnico, fruto da comparao entre os servios esperados e a
percepo dos servios recebidos, em cada uma das dimenses do modelo. A qualidade de um
servio eletrnico pode ser medida por sua conformidade a padres de qualidade de software, e
inferida pela satisfao geral de seus usurios.
O construto padres de qualidade atendidos corresponde correlao entre caractersticas
ou elementos do servio pblico prestado ao cliente via Web e um conjunto de regras, normas,
recomendaes ou boas prticas, de cada uma das dimenses do modelo, avaliado por especialista.
Nesse modelo, as dimenses da qualidade do servio de e-gov so:

Facilidade de localizao do portal web da instituio capacidade do portal web da


instituio de facilitar a identificao e localizao, por parte do cliente, com pouco ou
27

nenhum esforo , de seu endereo eletrnico;

27

Mobilizao de foras fsicas e/ou intelectuais para atingir determinado objetivo ou resultado.

92

Facilidade de localizao do servio de governo eletrnico - capacidade do portal web da


instituio de facilitar a identificao e localizao, por parte do cliente, com pouco ou
nenhum esforo, do servio pblico nele disponvel;

Acessibilidade - capacidade do portal web da instituio ser flexvel o suficiente para atender
s necessidades e preferncias do maior nmero possvel de pessoas, alm de ser
compatvel com tecnologias assistivas

28

usadas por pessoas com necessidades especiais;

Usabilidade - capacidade do portal web da instituio ser usado por seus clientes com
29

eficcia , eficincia

30

31

e satisfao

durante a prestao do servio pblico via Web, tambm

definida como qualidade de uso;

Disponibilidade - garantia de que as informaes, e o prprio servio de governo eletrnico,


esto prontos para serem acessados pelos clientes, quando necessrios;

32

Confiabilidade - garantia de que o servio de e-gov produz, consistentemente , os mesmos


33

34

resultados, corretos , atualizados e precisos , em conformidade com o que foi solicitado


pelo cliente;

Privacidade de dados pessoais e segurana de informaes - direito de controle das


situaes em que dados pessoais so coletados, acessados e usados por terceiros, baseado
em relao de confiana entre as partes, e com a expectativa de no serem divulgados de
forma incompatvel com o que foi previamente acordado (privacidade de dados); e

28

Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficincias a executarem
atividades do cotidiano. Exemplos: cadeiras de rodas, dispositivos de impresso, leitores e ampliadores de tela, sintetizadores
de voz, teclados e dispositivos apontadores alternativos.

29

Preciso e completeza com que os usurios atingem objetivos especficos, acessando a informao correta ou gerando os
resultados esperados. A preciso uma caracterstica associada correspondncia entre a qualidade do resultado e o critrio
especificado, enquanto a completeza a proporo da quantidade-alvo que foi atingida (ISO 9241, 1998).

30
Preciso e completeza com que os usurios atingem seus objetivos, em relao quantidade de recursos gastos.
Capacidade de evitar desperdcio de tempo, dinheiro e esforo (ISO 9241, 1998).
31

Conforto e aceitabilidade do portal web, medidos por meio de mtodos subjetivos e/ou objetivos. As medidas objetivas de
satisfao podem se basear na observao do comportamento do usurio (postura e movimento corporal) ou no
monitoramento de suas respostas fisiolgicas. As medidas subjetivas, por sua vez, so produzidas pela quantificao das
reaes, atitudes e opinies expressas subjetivamente pelos usurios (ISO 9241, 1998).

32

De forma a produzir sempre os mesmos resultados, dados os mesmos parmetros de entrada.

33

Isento de erros.

34

Exato, inequvoco, claro o suficiente para no suscitar diferentes interpretaes.

93
35

36

37

observncia de padres relacionados autenticidade , confidencialidade , disponibilidade ,


integridade

38

de informaes, com vistas proteo contra ocorrncias indesejveis, tais

como invaso de privacidade, roubo, corrupo de informaes (segurana de informaes);

Convenincia - capacidade de ser adequado


comodidade

41

39

40

ou oportuno , de tal forma a proporcionar

e vantagens ao cliente do servio pblico eletrnico;

Capacidade de resposta a dvidas e reclamaes - capacidade de auxiliar os clientes durante


o processo de prestao do servio de e-gov, demonstrando competncia, cortesia, respeito,
compreenso e interesse em resolver a questo;

Tempo de atendimento - durao do processo de prestao do servio de governo eletrnico,


desde a primeira solicitao (ou acesso) at o recebimento final do resultado esperado.
O construto valor percebido, por sua vez, relaciona qualidade percebida pelo cliente do

servio (benefcio percebido) e recurso gasto (tempo, dinheiro, esforo). Nesse modelo, o valor
percebido do servio pblico via Web medido em relao aos outros canais de prestao do mesmo
servio, tais como telefone, fax, correio, e-mail e atendimento presencial nas agncias
governamentais. A satisfao geral exprime, por fim, uma sensao de prazer ou descontentamento
com o servio de governo eletrnico recebido, face s expectativas e exigncias pessoais do cliente.
Como variveis latentes, tais construtos no podem ser medidos diretamente e necessitam de
indicadores, ou variveis observveis, para sua mensurao. O Quadro 1 (p. 95) apresenta um
possvel conjunto de variveis latentes e observveis, derivadas do modelo proposto.

35

Garantia de que a fonte ou o destino de uma informao, em um processo de comunicao, realmente quem diz ser.

36

Garantia de que a informao acessada apenas por pessoas explicitamente autorizadas, da forma previamente autorizada.

37

Garantia de que as informaes e os servios prestados por um sistema esto prontos para serem acessados por usurios
autorizados, sempre que necessrios, ou dentro do perodo previamente acordado.

38

Garantia de que as informaes no foram alteradas ou corrompidas por pessoas no autorizadas.

39

Suficiente para atender a determinado objetivo ou necessidade.

40

Em momento propcio ou vantajoso para atender a determinado objetivo ou necessidade.

41

Bem-estar, conforto.

94
Variveis latentes

Variveis observveis

(construtos)
Expectativas atendidas

Var01. Expectativa geral da qualidade do servio de governo eletrnico.

Padres de qualidade

Var02. Porcentagem de normas, regras, recomendaes ou boas prticas

atendidos

atendidas pelo servio de governo eletrnico, sob o ponto de vista de


especialistas.

Qualidade percebida

Var03. Avaliao geral da adequao do servio de governo eletrnico s


exigncias pessoais.
Var04. Avaliao geral da adequao do servio de governo eletrnico s
expectativas pessoais.
Var05. Avaliao quanto facilidade de localizao do portal web em que o
servio de governo eletrnico prestado.
Var06. Avaliao quanto facilidade de localizao do servio de governo
eletrnico no portal web da instituio.
Var07. Avaliao quanto acessibilidade do servio de governo eletrnico.
Var08. Avaliao quanto usabilidade do servio de governo eletrnico.
Var09. Avaliao quanto disponibilidade do servio de governo eletrnico.
Var10. Avaliao quanto confiabilidade do servio de governo eletrnico.
Var11. Avaliao quanto privacidade de dados pessoais e segurana de
informaes do servio de governo eletrnico.
Var12. Avaliao quanto convenincia do servio de governo eletrnico.
Var13. Avaliao quanto capacidade de resposta a dvidas e reclamaes do
servio de governo eletrnico.
Var14. Avaliao quanto ao tempo de atendimento do servio de governo
eletrnico.

95

Variveis latentes

Variveis observveis

(construtos)
Valor percebido

Var15. Avaliao geral da qualidade do servio de governo eletrnico em relao


aos outros canais de prestao do servio.
Var16. Avaliao quanto facilidade de localizao do servio de governo
eletrnico, em relao aos outros canais de prestao do servio.
Var17. Avaliao quanto acessibilidade do servio de governo eletrnico, em
relao aos outros canais de prestao do servio.
Var18. Avaliao quanto usabilidade do servio de governo eletrnico, em
relao aos outros canais de prestao do servio.
Var19. Avaliao quanto disponibilidade do servio de governo eletrnico, em
relao aos outros canais de prestao do servio.
Var20. Avaliao quanto confiabilidade do servio de governo eletrnico, em
relao aos outros canais de prestao do servio.
Var21. Avaliao quanto privacidade de dados pessoais e segurana de
informaes do servio de governo eletrnico, em relao aos outros canais de
prestao do servio.
Var22. Avaliao quanto convenincia do servio de governo eletrnico, em
relao aos outros canais de prestao do servio.
Var23. Avaliao quanto capacidade de resposta a dvidas e reclamaes do
servio de governo eletrnico, em relao aos outros canais de prestao do
servio.
Var24. Avaliao quanto ao tempo de atendimento do servio de governo
eletrnico, em relao aos outros canais de prestao do servio.

Satisfao geral

Var25. Avaliao da satisfao geral com o servio de governo eletrnico.

Quadro 1 Conjunto de variveis latentes e observveis.


Vale ressaltar, entretanto, que em uma pesquisa de satisfao de clientes, a gerao das
variveis observveis, indicadoras da satisfao, deve ser cuidadosa, pois o cliente precisa expressar
estados de satisfao (ou insatisfao) em relao a aspectos por ele valorizados. A validade da
pesquisa depende dessa escolha. Errar na definio dos indicadores de satisfao corresponde a
errar na essncia da pesquisa (Rossi & Slongo, 1998, p. 111). Por isso, aconselha-se tomar o

96
conjunto de variveis observveis expresso no Quadro 1 apenas como ponto de partida. Essas
variveis devem ser validadas a partir de procedimentos metodolgicos qualitativos, que envolvam a
participao dos clientes.
A partir do modelo para medir a satisfao do cliente de servios de governo eletrnico, aqui
proposto, possvel ter uma viso geral das dimenses a serem consideradas nesse tipo de
avaliao do governo eletrnico. Tal modelo, aps as devidas adaptaes e testes de validade e
confiabilidade, poder ser aplicado tanto em estudos acadmicos sobre governo eletrnico, quanto
em trabalhos de avaliao sob perspectiva institucional ou de aplicaes especficas. Do lado da
avaliao de programas, tambm foi construdo um modelo que extrai, da reviso de literatura sobre
o assunto, os elementos relevantes para esta pesquisa.

3.5 Modelo de avaliao de programas de governo eletrnico


O modelo de avaliao de programas desta pesquisa, representado graficamente pela Figura
8 (p. 97), destaca as questes de auditoria identificadas como mais relevantes, de acordo com a
temtica deste estudo. Tais questes esto relacionadas eficcia do programa governo eletrnico,
comparando seu objetivo de oferecer melhores servios aos cidados-clientes com os resultados
pretendidos relativos qualidade desses servios, monitorada e avaliada por meio de comparaes
com padres de qualidade previamente definidos e de pesquisas de satisfao de clientes. O modelo
ainda representa os dois nveis do governo que seriam responsveis por essas atividades e as
ferramentas e tcnicas capazes de obter respostas a tais questes. O objetivo dessa avaliao, em
especial, identificar padres de qualidade, indicadores adotados e possveis boas prticas que
possam ser reproduzidas por outras instituies do governo. A construo do modelo de avaliao de
programas baseou-se nos conceitos apresentados no item 2.4 (p. 69).

97
Governo Eletrnico
X

Objetivo

Resultados

Melhores servios

Padro de qualidade atendido


Cidado-cliente satisfeito

Eficcia, qualidade e articulao institucional

Questes de auditoria
Como feito o monitoramento e a avaliao da eficcia do programa governo eletrnico?
Os padres definidos para os servios e-gov so atendidos?
Os cidados-clientes esto satisfeitos ou insatisfeitos com os servios e-gov?

Atuao do
governo
central

Ferramentas

Atuao da
agncia
prestadora
do servio

Tcnicas de coleta de dados

Anlise do grupo de interesse

Pesquisa documental

Anlise SWOT

Entrevista individual

Diagrama de verificao de risco

Grupo focal

Matriz de planejamento

Levantamento (survey)

Matriz de achados

Avaliao heurstica e testes

Painel de referncia
Figura 8 Modelo de avaliao de programas desta pesquisa.

3.6 Consideraes finais


Para ser considerado um modelo de avaliao, segundo Saracevic (2000), preciso
selecionar e definir os seguintes aspectos: construtos, contexto, critrios, mtricas e metodologia.
Nesta pesquisa, os construtos necessrios para compreender e delimitar bem o modelo de avaliao
proposto so expostos a seguir.

98
Governo eletrnico, nesta pesquisa, restringe-se troca on-line bidirecional de informaes
na prestao de servios por parte do Governo aos cidados-clientes.
Cidado-cliente, nesta pesquisa, o beneficirio direto dos servios pblicos eletrnicos.
Avaliao de programas de governo eletrnico, nesta pesquisa, restringe-se avaliao de
seus resultados (eficcia) em relao ao objetivo de fornecer melhores servios aos
cidados-clientes.
Eficcia, nesta pesquisa, o grau de alcance do objetivo de melhorar a qualidade dos
servios pblicos eletrnicos, no perodo de 2004 a 2007, independentemente dos custos
implicados.
Articulao institucional, nesta pesquisa, a coordenao necessria entre o governo central
(gestor do Programa Governo Eletrnico) e as agncias governamentais prestadoras de
servios pblicos eletrnicos, com vistas a alcanar o objetivo de melhorar a qualidade
desses servios.
Padro de qualidade de servios pblicos eletrnicos, nesta pesquisa, um conjunto de
regras, normas, recomendaes ou boas prticas, relativas s seguintes dimenses:
facilidade de localizao do portal web; facilidade de localizao do servio; acessibilidade;
usabilidade; disponibilidade; confiabilidade; privacidade de dados pessoais e segurana de
informaes; convenincia; capacidade de resposta a dvidas e reclamaes; e tempo de
atendimento.
Qualidade, nesta pesquisa, o grau em que o servio pblico eletrnico prestado atende s
expectativas dos usurios e aos padres previamente definidos.
Fidelidade do processo de comunicao durante a prestao de servios pblicos via
Internet, nesta pesquisa, a capacidade do Governo em reproduzir, ao cidado-cliente,
perfeitamente o contedo necessrio prestao do servio, codificado em palavras,
smbolos, imagens, e sons, e transmiti-lo, por meio de canal livre de interferncias, de tal
forma que o cidado-cliente seja capaz de perceber, com exatido, o mesmo contedo
originalmente idealizado. Tal capacidade deve existir tambm por parte do cidado-cliente, ao

99
responder s solicitaes do Governo, para completar a prestao do servio pblico
eletrnico solicitado.
Observa-se, portanto, que o conceito de qualidade de servios pblicos eletrnicos, nesta
pesquisa, vai alm do conceito de fidelidade do processo de comunicao eletrnica, relacionado
apenas com algumas de suas dimenses - acessibilidade e usabilidade de interfaces web, facilidade
de localizao do portal web da instituio, facilidade de localizao do servio de governo eletrnico,
e disponibilidade do servio.
O contexto desta pesquisa, por sua vez, limita-se a dois aspectos essenciais. O primeiro a
confrontao dos resultados de programas de e-gov com seus objetivos (eficcia, qualidade e
articulao institucional). O segundo a avaliao de servios pblicos eletrnicos com benefcios
diretos ao cidado, envolvendo avaliaes individualizadas da satisfao dos usurios com alguns
servios selecionados, e avaliaes de suas interfaces web, sob a tica dos usurios, baseadas em
padres de qualidade nacionais e internacionais.
Os padres de qualidade e a satisfao nas 10 dimenses - facilidade de localizao do
portal web; facilidade de localizao do servio; acessibilidade; usabilidade; disponibilidade;
confiabilidade; privacidade de dados pessoais e segurana de informaes; convenincia;
capacidade de resposta a dvidas e reclamaes; e tempo de atendimento so os critrios
escolhidos. Como exemplos de mtricas para medir tais critrios, pode-se citar a quantidade de
padres de qualidade atendidos em relao ao conjunto total de padres previamente definidos, e a
quantidade de cidados-clientes satisfeitos em relao ao total de cidados-clientes atendidos em um
determinado perodo de tempo, entre outros indicadores. Por fim, para completar os requisitos do
modelo de avaliao de Saracevic (2000), a metodologia adotada, composta de mtodos de pesquisa
e tcnicas de coleta e anlise de dados, est descrita no captulo 4 (p. 101) deste documento. A
Figura 9 (p. 100) representa o contexto definido para esta pesquisa, destacando os aspectos e as
dimenses selecionados.

100
Classificao
em estgios
Benchmarking

E-GOV

Objetivos
estratgicos

Avaliao

Prestao de
contas

Avaliao de
programas
G2B

G2G

G2C

Economicidade
Eficincia

Eficcia
Apresentao
de
informaes

Busca de
informaes

Interatividade
limitada

Transao
eletrnica

Integrao
e-gov

Efetividade
Eqidade
Qualidade
Articulao
institucional

Avaliao de aplicaes especficas

Medidas de
uso

Medidas de
produtividade

Pesquisas
de
satisfao

Medidas de
reduo de
custos

Medidas de
retorno do
investimento

Facilidade de localizao do portal

Confiabilidade

Facilidade de localizao do servio

Privacidade e segurana

Acessibilidade

Convenincia

Usabilidade

Capacidade de resposta

Disponibilidade

Tempo de atendimento

Figura 9 Aspectos e dimenses selecionados para esta pesquisa.

101

4 Materiais e mtodos de pesquisa


Neste captulo, so apresentadas a abordagem escolhida para este estudo e sua justificativa,
no deixando de lado suas limitaes; as etapas metodolgicas seguidas; e as tcnicas quantitativas
e qualitativas adotadas.

4.1 Abordagem
Em funo do carter exploratrio desta pesquisa aplicada, em tema cujo corpo de
conhecimento ainda no est consolidado, a abordagem adotada foi o estudo de caso, o qual
considerado uma investigao detalhada de uma ou mais organizaes ou sistemas, com intuito de
prover anlise do contexto e dos processos envolvidos no fenmeno em estudo (Hartley, 1994). Os
resultados de programas de governo eletrnico no podem ser estudados como fenmeno isolado de
seu contexto, como acontece nas pesquisas experimentais de laboratrio, visto que um dos
interesses de pesquisa justamente a relao entre os portais web de prestao de servios pblicos
e seus usurios em um contexto especfico, em ambiente natural do processo de comunicao entre
governo e sociedade. Apesar de alguns autores, como Fidel (1992), tratarem o estudo de caso como
apenas mais um mtodo de pesquisa, outros autores (Bell, 1989; Hamel et al., 1993; Hartley, 1994)
consideram mais apropriado defini-lo como uma abordagem ou estratgia de pesquisa por congregar
vrios mtodos de coleta de dados, como um guarda-chuva.

4.1.1 Justificativa
A escolha dessa abordagem de pesquisa baseou-se na estreita relao observada entre o
problema objeto de estudo da pesquisa, seus objetivos e as caractersticas bsicas do estudo de
caso, descritas por Benbasat, Goldstein & Mead (1987) e mostradas no Quadro 2 (p. 102). Com
exceo da possibilidade de mudana na seleo do caso ou dos mtodos de coleta de dados, todas
as outras caractersticas do estudo de caso, mostradas nesse quadro, foram observadas nesta
pesquisa.

102

Caractersticas bsicas do estudo de caso


Fenmeno observado em seu ambiente natural.
Dados coletados por diversos meios.
Uma ou mais entidades (pessoa, grupo, organizao) so examinadas.
A complexidade da unidade estudada intensamente.
Pesquisa dirigida aos estgios de explorao, classificao e desenvolvimento de hipteses do
processo de construo do conhecimento.
No so utilizados controles experimentais ou manipulaes.
Os resultados dependem fortemente do poder de integrao do pesquisador.
Podem ser feitas mudanas na seleo do caso ou dos mtodos de coleta de dados medida
que o pesquisador desenvolve novas hipteses.
Pesquisa envolvida com questes como e por que ao invs de freqncias ou incidncias.
Enfoque em eventos contemporneos.
Quadro 2 Caractersticas bsicas do estudo de caso (Benbasat, Goldstein & Mead, 1987).
Pela natureza desta pesquisa, sem a inteno de teste de hipteses, o estudo de caso se
mostra uma boa opo por ser mais receptivo a informaes no previstas pelo pesquisador, em
contraposio a outras abordagens mais estruturadas que conseguem respostas apenas a aspectos
especificamente questionados ou testados (Goodhue et al., 1992). Alm dos pontos j apresentados,
o estudo de caso particularmente apropriado para pesquisadores individuais, como nesta pesquisa,
pois d a oportunidade para que um aspecto de um problema seja estudado em profundidade dentro
de um perodo de tempo limitado (Bell, 1989). Mais que isso, permite, ao pesquisador, identificar os
diversos fatores que interagem no contexto especfico. Vale ressaltar tambm que parte desta
pesquisa, no que se refere avaliao de servios eletrnicos especficos, pode ser considerada um
estudo de usabilidade, j que essa uma das dimenses examinadas.
Assim como j foi justificada a no adoo da pesquisa experimental, no primeiro pargrafo
deste item, no caberiam, como abordagem, estudos de usurios e etnogrficos, j que o enfoque
desta pesquisa no so os aspectos intrnsecos aos usurios ou grupos individualizados, mas sim a
avaliao da qualidade da prestao de servios pblicos, no contexto eletrnico, como um processo
de comunicao bidirecional entre o Governo e o cidado comum com acesso Internet, com

103
possibilidades infinitas de ambientes de interao homem-computador, influncias sociais, cognitivas,
culturais e psicolgicas.

4.1.2 Limitaes metodolgicas associadas ao estudo de caso


Embora as observaes de um caso em particular no possam ser replicadas, os resultados
do estudo de caso, confirmando ou no uma determinada teoria, podem ser replicados. Para isso,
basta que os procedimentos de pesquisa sejam suficientemente claros para possibilitar sua repetio
por outro pesquisador interessado em testar a mesma teoria. Com intuito de possibilitar a reproduo
deste estudo de caso, todos os procedimentos metodolgicos e materiais (roteiros de entrevista,
documentao tcnica, questionrios) adotados pelo pesquisador foram descritos em detalhe neste
captulo (item 4.3, p. 110) e apresentados como apndices (p. 241). De acordo com Lee (1989), a
capacidade de generalizao de uma teoria s pode ser confirmada a partir da execuo de testes
sucessivos em contextos diferentes, seja por meio de estudos de caso, seja por meio de
experimentos de laboratrio.
Considerando a natureza exploratria desta pesquisa, este estudo de caso pretende ser um
primeiro caso, o qual poder ser comparado com outro semelhante, este com outro, e assim por
diante, at chegar a casos de alguma forma diferentes entre si, em uma comparao controlada. Os
resultados deste estudo, portanto, no tm a pretenso de serem universalmente vlidos, mas vlidos
para casos similares ao estudado, podendo ser checados em outros estudos de caso subseqentes.
Para aumentar a confiabilidade dos resultados desta pesquisa, foram selecionados cinco
servios de governo eletrnico, de atendimento direto a qualquer cidado brasileiro com acesso
Internet, e empregados vrios mtodos para coleta dos mesmos dados e comparados seus
resultados. Essa tcnica, conhecida como triangulao, recomendada por diversos autores, tais
como Benbasat, Goldstein & Mead (1987), Fidel (1992), Glazier & Powell (1992), Patton (1980) e Yin
(1994).

4.2 Etapas metodolgicas de pesquisa


Para atingir o objetivo geral desta pesquisa, que definir e validar mtodo de avaliao dos
resultados de programas de governo eletrnico sob a tica dos cidados-clientes, foram adotadas as
seguintes etapas metodolgicas:

104
a) Identificao, na literatura, de documentao sobre programas de governo eletrnico,
mtodos e mtricas para sua avaliao;
b) Elaborao de modelo de avaliao de governo eletrnico;
c) Seleo de mtodos de avaliao identificados na literatura;
d) Elaborao de modelos de avaliao baseados nos mtodos selecionados;
e) Seleo do Programa E-Gov brasileiro e dos servios pblicos eletrnicos a serem
avaliados;
f)

Proposta de mtodo de avaliao de programas de governo eletrnico;

g) Aplicao e validao do mtodo elaborado no Programa de Governo Eletrnico brasileiro


e nos servios pblicos eletrnicos selecionados.
Para a identificao de documentos que tratam da conceituao e avaliao de programas de
governo eletrnico, foram consultados peridicos, monografias e bases de dados; dissertaes,
teses, anais de congressos e pginas web. O perodo de retrospectividade da pesquisa bibliogrfica
sobre governo eletrnico foi de 6 anos, isto , foram consultados documentos publicados de 1999 a
agosto de 2005.
Em especial, foram consultadas pginas web de peridicos cientficos, conferncias,
simpsios, institutos de pesquisa, instituies padronizadoras, associaes profissionais, empresas
prestadoras de servios de avaliao, bibliotecas e departamentos universitrios (com acervo de
teses e dissertaes defendidas nos ltimos anos), projetos de pesquisa, pesquisadores, consultores
e listas com referncias bibliogrficas e outros endereos eletrnicos relacionados ao tema. Os tipos
de avaliao de governo eletrnico identificados foram descritos no captulo 2 (p. 9), referente
reviso de literatura desta tese.
A elaborao de modelo de avaliao de governo eletrnico, com base na reviso de
literatura, a seleo dos mtodos e a elaborao de modelos de avaliao baseados nos mtodos
selecionados foram explicitadas no captulo Marco Terico da Pesquisa desta tese (p. 83). Nos
prximos itens, sero descritas as etapas metodolgicas posteriores construo dos modelos de
avaliao selecionados.

105

4.2.1 Seleo do Programa E-Gov brasileiro e dos servios pblicos


eletrnicos a serem avaliados
Para a realizao deste estudo, antes da seleo dos servios pblicos eletrnicos
especficos, foi necessrio delimitar o universo pesquisado ao Programa Governo Eletrnico
Brasileiro e apenas a instituies brasileiras que tivessem efetivamente implementado servios de
governo eletrnico poca da definio do plano de pesquisa. Essa delimitao tecnolgica,
temporal e geogrfica foi determinada pela natureza, objeto e objetivos de pesquisa previamente
estabelecidos, e pela dificuldade de acesso a instituies internacionais.
Por meio de pesquisas na Internet, foi realizado mapeamento dos servios e-gov disponveis
na alta esfera da Administrao Pblica Federal (Brasil - TCU, 2004). Dentre as 45 instituies
examinadas, dos Poderes Executivo, Legislativo e Judicirio, foram escolhidos os Ministrios de
Educao, Previdncia Social, Sade, e Trabalho e Emprego, como possveis contextos de casos
tpicos a serem estudados, por sua importncia e relevncia social no cenrio nacional na prestao
de servios pblicos para a melhoria das condies de vida da populao brasileira como um todo.
Tomando como base as caractersticas das diversas estratgias de amostragem, foi
escolhida, para a seleo dos servios eletrnicos especficos desta pesquisa, a amostragem
direcionada de casos tpicos, por ser uma estratgia capaz de aumentar a utilidade da informao
obtida a partir de amostras pequenas e proporcionar a reproduo direta dos procedimentos
metodolgicos e resultados desta pesquisa em outros casos similares.
Apesar das especificidades de cada rea de atuao desses Ministrios, h forte similaridade
em seus objetivos sociais e no tratamento eqitativo oferecido aos beneficirios de seus servios,
ainda mais quando essa prestao de servios feita pela Internet, contexto em que todos, a partir
do momento em que obtm acesso a esse canal de comunicao, so tratados como membros
annimos de uma audincia heterognea, como na comunicao de massa tradicional. Por isso,
no foi considerado um fator limitante, para a anlise dos resultados desta pesquisa, a escolha de
servios em reas diversas. Pelo contrrio, tal fato refora ainda mais seus resultados.
Com intuito de verificar a viabilidade desta pesquisa no Programa Governo Eletrnico
Brasileiro, foi realizado um estudo preliminar (Brasil - TCU, 2005), junto Secretaria-Executiva do
Comit Executivo de Governo Eletrnico - Secretaria de Logstica e Tecnologia da Informao (SLTI),

106
do Ministrio de Planejamento, Oramento e Gesto (MP). Esse estudo concluiu, a partir das
fraquezas e ameaas identificadas em conjunto com os gestores do Programa, na anlise SWOT,
que seria oportuna uma avaliao pormenorizada do alcance dos objetivos do e-gov brasileiro, em
relao melhoria da qualidade da prestao de servios pblicos eletrnicos.
Os primeiros contatos com os responsveis pelos portais e-gov dos Ministrios selecionados
como possveis casos tpicos revelaram o interesse dessas instituies em participar deste estudo de
caso, no s para avaliar a conformidade de seu portal em relao aos padres e critrios nacionais
e internacionais, mas tambm para conhecer a opinio de seus clientes, visando uma possvel
remodelagem do portal web, em funo dos problemas identificados por meio deste estudo. Na
literatura sobre estudos de caso, esse interesse das instituies em participar considerado como
um fator significativo para o sucesso da pesquisa, pois facilita a interao do pesquisador e,
conseqentemente, seu entendimento dos contextos estudados.
A fim de identificar os servios eletrnicos prioritrios e mais adequados a este estudo de
caso, foram realizadas entrevistas com os gestores das reas sociais j mencionadas, cujo roteiro se
encontra no Apndice 9.3 (p. 244). Nessas entrevistas, dentre outros aspectos, foram solicitadas
listas dos servios eletrnicos prestados, com informaes tais como: nome e descrio do servio;
prioridade em relao aos demais servios; estgio de evoluo como portal de governo eletrnico
42

(interatividade limitada, transao eletrnica ou integrao e-gov ); oramento (se possvel);


disponibilidade on-line (se permanente ou sazonal); responsveis e executores; pblico-alvo; se
existe cadastro/registro dos beneficirios atendidos; taxa de utilizao em relao ao pblico-alvo; se
foi realizada anlise de necessidades do pblico-alvo antes de sua implementao; se foi realizada
avaliao posterior (pesquisa de satisfao; controle de qualidade; anlise de reclamaes,
sugestes e crticas recebidas); se foram definidos indicadores de acompanhamento do servio.
Essas informaes constituram, na verdade, critrios para a seleo dos servios eletrnicos
desta pesquisa. Nas listas de servios pblicos eletrnicos enviadas pelos gestores, no foi fornecida
qualquer informao sobre cadastro/registro de beneficirios atendidos nem indicadores de
acompanhamento. Em nenhum servio foi realizada anlise de necessidades do pblico-alvo antes

42

A escolha de servios eletrnicos apenas nesses trs estgios foi justificada no item 3.3 (p. 88) .

107
de sua implementao. Alguns deles foram avaliados por meio de anlise de reclamaes, sugestes
e crticas recebidas. Tambm no foi possvel determinar os valores oramentrios alocados para
essas atividades de governo eletrnico por dificuldades tcnicas decorrentes da forma como o
oramento pblico brasileiro estruturado. Nenhum servio foi classificado no ltimo estgio, de
integrao e-gov, o que j era esperado. Percebeu-se tambm que tal classificao em estgios
evolutivos de e-gov no era do conhecimento dos gestores, causando uma certa confuso de
interpretao. Foi necessrio acessar os servios eletrnicos na Internet para corrigir eventuais erros
de classificao cometidos pelos gestores.
Optou-se, ento, por selecionar, em cada rea social, um servio diretamente relacionado
misso das agncias governamentais, considerado prioritrio pelos prprios gestores. No caso de
servios com mais de uma opo de interao com o cidado, ou seja, servios subdivididos em
outros, tomou-se, para classific-los, o estgio mais avanado dentre todas as opes de servios.
Por sugesto do coordenador do Comit Tcnico de Incluso Digital, do Programa Governo
Eletrnico, e pelo fato de ser um servio pblico eletrnico utilizado pelas classes sociais menos
favorecidas, apesar de no ser um benefcio mas uma obrigao do cidado, foi includa, nesta
pesquisa, a Declarao Anual de Isento 2005, da Receita Federal.
O Quadro 3 (p. 108) mostra os servios pblicos eletrnicos escolhidos como casos tpicos
para este estudo, todos classificados no estgio de transao eletrnica, e suas breves descries,
extradas dos portais web das respectivas instituies.
Ministrio
Fazenda

Servio
Declarao

Descrio
O pblico alvo da Declarao Anual de Isento composto das

Receita

Anual de Isento pessoas fsicas que receberam rendimentos tributveis, no ano de

Federal

2005 (DAI)

2004, cuja soma foi inferior ou igual a R$ 12.696,00, desde que


no estejam inseridas nas demais condies que as obriguem
Declarao de Ajuste Anual, como a participao em empresas.
Endereo web:
www.receita.fazenda.gov.br/pessoafisica/isento/2005/isento2005servicos.htm

108
Ministrio

Servio

Descrio

Previdncia

Requerimento de Atravs deste servio, pode-se requerer o auxlio-doena e

Social

auxlio-doena

escolher

Agncia

da

Previdncia

Social

onde

dever comparecer para fazer a avaliao mdico pericial.


Endereo web:
www.dataprev.gov.br/servicos/auxdoe/auxdoe.htm.

Requerimento de Atravs desse servio o dependente poder cadastrar, requerer a


penso
morte

por penso e escolher a Agncia da Previdncia Social onde deve


encaminhar a Certido de bito e os demais documentos
solicitados para a liberao do pagamento, de acordo com a
condio de dependente. Endereo web:
www.dataprev.gov.br/servicos/pesmor/pesmor.htm.

Requerimento do O requerimento do salrio-maternidade pela Internet uma


benefcio salrio- facilidade criada pela Previdncia Social para a segurada
maternidade

contribuinte individual, facultativa, empregada, em caso de adoo


ou guarda judicial para fins de adoo e a empregada domstica
(bab, cozinheira, governanta), em qualquer situao (parto,
adoo ou guarda judicial), podendo ser feito por esta ou por seu
empregador, nos casos de empregada ou empregada domstica.
Endereo web:
www.dataprev.gov.br/servicos/salmat/salmat.htm.

Trabalho
Emprego

e Programa

O PNPE tem como objetivo contribuir para a gerao de

Nacional

de oportunidades de trabalho decente para a juventude brasileira,

Estmulo

ao mobilizando o governo e a sociedade para a construo conjunta

Primeiro

de uma Poltica Nacional de Trabalho Decente para a Juventude.

Emprego (PNPE) Endereo web:


www.mte.gov.br/futurotrabalhador/primeiroemprego/default.asp.

Quadro 3 Servios e-gov selecionados.


A relao de servios pblicos eletrnicos enviada pela Previdncia Social foi a que
apresentou maior quantidade de servios interativos e transacionais com foco no cidado, motivo
pelo qual foram escolhidos trs servios eletrnicos dessa rea. Os servios de requerimento de
auxlio-doena e de penso por morte foram escolhidos por serem os servios pblicos eletrnicos
mais acessados, enquanto a escolha do servio de requisio do benefcio de salrio-maternidade
pautou-se pelo fato de ter sido esse um servio que observou aumento acentuado na sua taxa de uso

109
no perodo da greve dos servidores da Previdncia Social, em 2005, o que demonstra o potencial do
e-gov como alternativa real de canal de comunicao e prestao de servios pblicos sociedade.
No perodo dessa greve, a requisio do salrio-maternidade foi feita exclusivamente pela Internet. O
servio eletrnico Prevcidado, inicialmente selecionado para avaliao, foi descartado por estar em
manuteno no perodo da pesquisa.
O Programa Nacional de Estmulo ao Primeiro Emprego (PNPE), selecionado como servio
pblico eletrnico prestado pelo Ministrio do Trabalho e Emprego, foi includo nesta pesquisa apesar
de estar em processo de internalizao, segundo o Coordenador Geral de Modernizao e
Informtica desse Ministrio. Como os servios, com foco no cidado, relacionados pelo Ministrio da
Sade, foram classificados nos estgios de e-gov iniciais de apresentao e busca de informaes,
nenhum servio dessa rea foi selecionado para esta pesquisa. Os servios mais avanados do
portal web desse Ministrio, classificados como servios de interatividade limitada e transaes
eletrnicas, tm, como pblico-alvo, os gestores da rea de Sade e no propriamente o cidado.
O Portal Domnio Pblico, do Ministrio da Educao, inicialmente selecionado pelo fato de
ter sido desenvolvido em software livre, com a preocupao de ser acessvel maior parte da
populao com acesso Internet, foi desconsiderado neste estudo por no ser um servio pblico
exclusivamente prestado pelo Governo, tal como os outros servios pblicos eletrnicos
selecionados. O acesso a obras literrias, artsticas e cientficas, similares s que constam de seu
acervo, tambm pode ser feito a partir de outros portais no governamentais disponveis na Internet.

4.2.2 Proposta de mtodo de avaliao de programas de governo eletrnico


A proposta de um mtodo de avaliao de resultados de programas de governo eletrnico
sob a tica do cidado, como instrumento para melhoria da comunicao eletrnica entre governo e
sociedade, se baseou nos modelos definidos e na abordagem escolhida e tal fato deve ser observado
na sua aplicao. Certamente outros conjuntos de procedimentos, tcnicas e ferramentas seriam
mais adequados a estudos que optarem por outros objetivos do e-gov, outras abordagens, outros
enfoques, outras delimitaes de pesquisa. Cada mtodo, por definio, tem vantagens e
desvantagens. No h um mtodo perfeito para todos os propsitos de pesquisa em ambientes
complexos, como o caso do governo eletrnico. O item 4.3 (p. 110) deste captulo detalha as
tcnicas, ferramentas e procedimentos das etapas abaixo relacionadas:

110
a) Pesquisa documental sobre o Programa E-Gov, alm da anlise de normas, manuais e
recomendaes utilizados pelas prestadoras dos servios selecionados;
b) Anlise do contexto com auxlio de tcnicas e ferramentas de avaliao de programas;
c) Entrevistas presenciais com gestores do Programa E-Gov e gestores de portais e
servios e-gov;
d) Avaliao heurstica e testes nos portais dos servios e-gov selecionados;
e) Grupos focais com coordenadores de Comits Tcnicos do Programa E-Gov e gestores
de servios e-gov (selecionados e no selecionados);
f)

Levantamentos on-line (questionrios) com gestores de portais e-gov no selecionados e


cidados-clientes dos servios selecionados;

g) Entrevista, via telefone, com cidados-clientes dos servios selecionados.

4.2.3 Aplicao e validao do mtodo elaborado


As etapas mencionadas no item 4.2.2 (p. 109) foram aplicadas no Programa Governo
Eletrnico brasileiro e nos servios e-gov selecionados, de agosto a dezembro de 2005, e seus
procedimentos validados a partir de anlises estatsticas e de confrontao das mesmas informaes
obtidas de diferentes fontes e com diferentes tcnicas de coleta. A anlise dos dados coletados
consta do captulo 5 (p. 127) desta tese.

4.3 Tcnicas quantitativas e qualitativas


Dentro da abordagem de pesquisa deste estudo de caso, foram empregadas vrias tcnicas
de coleta de dados quantitativas e qualitativas. Cada tcnica foi escolhida de acordo com a tarefa
ou etapa de pesquisa pretendida, seguindo a recomendao, j mencionada no item 4.1.2 (p. 103),
de combinar mtodos quantitativos e qualitativos com intuito de proporcionar uma base contextual
mais rica para interpretao e validao dos resultados da pesquisa. Neste estudo de caso, os dados
foram analisados segundo sua natureza, isto , as dedues do pesquisador foram feitas com auxlio
de mtodos matemticos ou estatsticos (dados quantitativos) e de mtodos de anlise de contedo,
lgica verbal, sumarizao (dados qualitativos).
A tradio quantitativa se baseia na investigao de uma variedade de casos e em
procedimentos estatsticos, visando a verificar aspectos do fenmeno para posterior generalizao. A
tradio qualitativa, por sua vez, focada em um indivduo ou em um pequeno nmero de casos e,

111
por meio de entrevistas intensivas ou em profundidade, visa a conhecer um evento ou fenmeno
particular. Embora possuam finalidades diferentes, no existe uma barreira intransponvel entre
ambas as tradies, cabendo ao pesquisador escolher o tipo de pesquisa adequado ao que se
pretende conhecer (Schmidt et al., 2000).
A avaliao dos resultados sociais de polticas e servios pblicos geralmente feita por meio
de indicadores quantitativos (nmero de pessoas atingidas, quantidade de recursos aplicados). As
tcnicas quantitativas, porm, no garantem que determinadas opinies se manifestem, e muitas
vezes uma opinio isolada pode fornecer importantes indcios sobre caminhos a seguir e sobre
virtudes ou problemas das polticas. Assim, para que se realize uma avaliao mais global de
programas de governo eletrnico e se construa um mtodo de avaliao mais consistente, deve-se,
na medida do possvel, aliar tcnicas estatsticas com outras que possibilitem anlise em
profundidade das informaes coletadas.

4.3.1 Tcnica quantitativa


A tcnica quantitativa adotada nesta pesquisa, mais especificamente no levantamento feito
com gestores de portais e-gov da Administrao Pblica Federal, sobre monitoramento e avaliao
dos servios e-gov, e na avaliao da satisfao dos clientes dos servios pblicos eletrnicos
43

selecionados, foi a pesquisa tipo survey , com questionrios auto-administrados, cujos resultados
so inferidos a partir da opinio de uma amostra representativa da populao estudada. O estudo
agregado das opinies dos integrantes da amostra permite conhecer o comportamento da populao
a partir de anlises estatsticas.
Cabe salientar que o ideal seria sempre conhecer o pensamento de todos os indivduos da
populao. O uso de tcnicas de amostragem para estudar determinados fenmenos, no entanto, se
justifica por ser impossvel ou altamente dispendioso entrevistar ou verificar diretamente como se
comporta a populao como um todo. Dessa maneira, ao ser escolhida uma amostra, abre-se a
possibilidade de, por inferncia, se conhecer o comportamento da populao.

43

Expresso inglesa traduzida para o portugus, por alguns autores, como levantamento; por outros, como simplesmente
pesquisa quantitativa.

112

4.3.1.1 Amostragem e tcnica de anlise de dados


Amostra geralmente definida como uma srie de itens ou indivduos selecionados de um
agregado maior ou populao sobre a qual queremos informaes quantitativas, ou ainda, como
subconjunto de uma populao por meio do qual se estabelecem ou estimam as propriedades e
caractersticas dessa populao (Ferreira, 1999). Assim, a primeira etapa para a construo de uma
amostra a determinao da populao propriamente dita, ou universo de pesquisa.
No caso do levantamento realizado com os gestores dos portais web da Administrao
Pblica Federal, foram enviados links para o questionrio, por correio eletrnico, aos integrantes do
cadastro atualizado. Vale ressaltar que o cadastro originalmente fornecido pela Secretaria de
Comunicaes da Presidncia da Repblica (Secom), cujo titular coordenador do Comit Tcnico
de Gesto de Stios e Servios On-Line, era composto por 290 domnios web da Administrao
Pblica Federal. Entretanto, 36 no continham responsveis com endereos vlidos de correio
eletrnico, tendo sido utilizado o Sistema Inventrio de Stios para verificar os dados faltantes,
resultando em 267 domnios com endereo eletrnico, e totalizando 232 responsveis (alguns
responsveis esto associados a mais de um domnio).
Aps envio prvio de mensagem eletrnica, com objetivo de atualizar os dados dos gestores,
ainda retornaram 53 mensagens por endereos invlidos. Aps novas tentativas, utilizando o Sistema
de Inventrio de Stios Governamentais Federais, contatos telefnicos e acesso s pginas das
instituies, para buscar endereo de correio eletrnico de responsvel pelo domnio, foram obtidos
201 endereos vlidos, para os quais foi encaminhado, por correio eletrnico, o link da pesquisa online. Tal pesquisa foi respondida por 79 gestores de portais (taxa de retorno de 39%), dos 108 que
responderam mensagem para atualizao de dados. Para a anlise dos dados desse levantamento
com os gestores, foram desconsiderados trs questionrios, por terem excedido o limite
preestabelecido de trs questes sem respostas.
Nos casos dos servios eletrnicos selecionados, por no haver base de dados, cadastro ou
registro de seus beneficirios, no foi possvel determinar o tamanho das amostras estatisticamente
vlidas para a realizao da pesquisa de satisfao. Optou-se, portanto, por captar as opinies de
clientes voluntrios dos servios web que acessaram a pesquisa de satisfao on-line a partir de links
instalados nas pginas web em que os servios estavam sendo prestados. A quantidade de

113
respondentes dessas pesquisas de satisfao foi, ento, comparada com a quantidade de pessoas
atendidas pelos servios eletrnicos no mesmo perodo, para verificar sua validade estatstica.
Um problema que ocorre freqentemente na amostragem uma baixa taxa de resposta. A
taxa tpica de retorno de um questionrio ao redor de 30%. Muitas vezes, as pessoas includas em
uma amostra ou esto muito ocupadas ou no se interessam suficientemente pelo estudo para
devolver o questionrio respondido.
A amostragem no probabilstica de convenincia, adotada nesta pesquisa, baseada na
disponibilidade de pessoas e na vontade para responder a um questionrio. Entretanto, um fato
bem conhecido que existem diferenas significativas entre voluntrios e no-voluntrios. A vantagem
de amostragem usando a Internet a possibilidade de alcanar populaes grandes e diversas a
baixo custo. Alm disso, a Internet permite que os participantes da pesquisa respondam na ocasio e
lugar de sua preferncia. Uma preocupao fundamental com pesquisas na Internet sua taxa de
resposta. No s que a taxa de resposta freqentemente pobre, mas tambm porque impossvel
calcul-la da forma habitual, pois no est claro quantos indivduos poderiam ter respondido ao
questionrio, mas no o fizeram. Outra desvantagem que alguns indivduos podem ter identidades
virtuais mltiplas, criando a possibilidade de que respondam mais de uma vez a uma pesquisa sem
serem descobertos.
A coleta de dados junto aos usurios ocorreu de 21 de outubro a 19 de novembro de 2005,
conforme acordos feitos com cada uma das instituies cujos servios foram selecionados para esta
pesquisa. O questionrio respondido pelos gestores ficou disponvel na Internet de 25 de outubro a
18 de novembro do mesmo ano.
Em ambos levantamentos, a principal tcnica de anlise de dados utilizada, com auxlio dos
software Microsoft Excel 97, Statistical Package for the Social Sciences (SPSS) e Sphinx, foi
estatstica (distribuio de freqncias, medidas de tendncia central e disperso, cruzamento de
variveis, correlaes, regresso mltipla), dada a natureza dos dados coletados. No caso dos dados
qualitativos coletados em resposta a perguntas abertas, foi realizada anlise de contedo com auxlio
do software Sphinx, o qual tambm foi utilizado na produo de todos os questionrios deste estudo.

114

4.3.1.2 Instrumentos de coleta de dados


Para a construo do instrumento utilizado na coleta de dados da etapa quantitativa
relacionada pesquisa de satisfao dos clientes dos servios pblicos eletrnicos selecionados,
foram consultados os documentos de Dillman (2000), Dillman & Bowker (2001) e Dillman et al. (1998),
sobre pesquisas on-line, e levadas em considerao as dimenses apresentadas na Figura 7 (p. 90).
Tais dimenses se transformaram nas variveis propostas no Quadro 1 (p. 95). Aps sua elaborao,
o questionrio piloto foi submetido reviso de seis doutorandos e uma professora do Departamento
de Cincia da Informao e Documentao, da Universidade de Braslia (Unb), e de dois
especialistas, professores do Instituto de Psicologia da Unb. A esses revisores, foram feitas as
seguintes perguntas em relao ao questionrio piloto:
1. Foram includas todas as questes necessrias?
2. H questes que podem ser eliminadas? Quais?
3. H palavras/expresses difceis de entender, que precisam ser substitudas? Quais?
4. A ordem das questes est adequada?
5. Todas as questes tm respostas que podem ser marcadas por todos os respondentes?
6. H questes que podem levar a diferentes interpretaes? Quais?
7. As categorias de resposta esto adequadas?
Aps as devidas alteraes, sugeridas pelos revisores, o questionrio piloto revisado no
formato em papel foi adaptado para a Web, considerando os seguintes princpios para sua
construo nesse ambiente:


Tela de apresentao motivadora, enfatizando como fcil responder ao questionrio, e


dando instrues de como prosseguir para a prxima pgina web;

Primeira questo interessante, fcil de responder e inteiramente visvel na tela de


apresentao;

Formatao convencional, semelhante dos questionrios em papel;

Uso restrito de cores para garantir a legibilidade e facilitar a navegao;

Aparncia visual consistente das questes em configuraes diferentes (sistemas


operacionais, navegadores web, monitores de vdeo);

Instrues especficas mais detalhadas quando e onde forem necessrias;

No force os respondentes a darem respostas a todas as perguntas;

115


Possibilidade de rolagem vertical da tela, para visualizao de todas as perguntas;

Uso de colunas agrupadas quando a quantidade de opes de resposta excedem o


tamanho da tela;

Uso restrito de perguntas abertas e do tipo marque todas que se aplicam.

A deciso de adaptar o questionrio para a Web levou em considerao as vantagens e


desvantagens de sua aplicao nesse ambiente. Dentre as vantagens, destacam-se: custos menores
(papel, postagem, entrada de dados), possibilidade de transposio de barreiras nacionais e
internacionais, tempo gasto no levantamento reduzido, e possibilidade de amostras maiores a custos
menores. As desvantagens, por sua vez, so: para a populao, a dificuldade de acesso e uso de
computadores; para o pesquisador, a dificuldade de acesso aos endereos de correio eletrnico da
populao pesquisada (cadastro), para que ela possa ser convidada a participar da pesquisa; e as
diferenas de configurao dos computadores utilizados por essa populao. Como a populao
pesquisada j cliente dos servios pblicos eletrnicos selecionados, supe-se que as
desvantagens citadas para a populao possam ser desconsideradas ou pelo menos atenuadas,
nesse caso.
Em seguida, foi realizada anlise de juzes do questionrio on-line por trs auditores, uma
psicloga e atendentes do 0800 da Previdncia Social, alm de pr-teste, durante uma semana, com
usurios de todos os servios. O questionrio definitivo foi atualizado em funo dessas ltimas
anlises e adaptado para cada servio avaliado. Para no desestimular os beneficirios dos servios
selecionados no preenchimento de questionrio to extenso e ainda assim obter respostas para todas
as suas perguntas, optou-se por subdividir as questes em dois tipos de questionrios diferentes
44

preenchidos por parcelas do universo (Apndices 9.9 e 9.10 p. 267 e 270) .


As questes fechadas aquelas em que so oferecidas opes de resposta foram prcodificadas, enquanto que as questes abertas as que podem ser respondidas livremente, sem
opes predefinidas foram codificadas aps o recebimento dos questionrios respondidos.

escala utilizada nas questes fechadas foi a de Likert. Nessa escala, os respondentes so solicitados
no s a concordarem ou discordarem das afirmaes, mas tambm a informarem o grau de sua

44

Os Apndices 9.9 e 9.10 tomaram, como modelos, os questionrios adaptados para o servio DAI.

116
concordncia ou discordncia. Convencionou-se que um enunciado era positivo quando a
concordncia com seu contedo correspondia a atitudes favorveis; negativo, a atitudes
desfavorveis. A cada clula de resposta foi atribudo um nmero para refletir a direo da atitude do
respondente em relao a cada afirmao, dependendo se esta era positiva ou negativa (por
exemplo, 5 para concordo totalmente para afirmaes positivas, e discordo totalmente para
afirmaes negativas). A escala Likert foi tratada como intervalar para efeitos de testes estatsticos
desta pesquisa, como acontece na maioria dos estudos que tratam de satisfao e que utilizam a
metodologia survey, para que fosse possvel a comparao desta pesquisa com esses estudos. Nas
escalas intervalares, os nmeros nos dizem a posio e/ou quanto as respostas diferem entre si em
relao a determinadas caractersticas ou elementos (Rossi & Slongo, 1998).
Em uma das perguntas, que consta de ambos questionrios da pesquisa de satisfao, foi
adotada uma srie de escalas diferenciais semnticas numeradas de 1 a 5 e ancoradas nos extremos
(p. ex. pior/melhor, menos seguro/mais seguro, mais difcil/mais fcil). Nesses questionrios, foram
includas ainda perguntas fechadas para fins demogrficos (sexo, idade, escolaridade, habilidade no
uso de computadores, freqncia de uso da Internet, e local de acesso Internet), e oferecido espao
aberto a sugestes para melhoria do servio.
Os questionrios 1 de todos os servios ficaram disponveis na Internet e foram monitorados
diariamente at que, individualmente, atingissem estabilidade de suas respostas, isto , quando no
se observasse mais alteraes no comportamento de respostas medida em que aumentava a
quantidade de questionrios respondidos de cada servio. Nesse ponto, os questionrios 1 foram
substitudos pelos questionrios 2 e o mesmo procedimento de monitoramento foi seguido at que
atingissem estabilidade de respostas, ocasio em que foram retirados da Internet. Essa uma
estratgia usada em pesquisas on-line, quando no se tem cadastro ou controle sobre a quantidade
de possveis respondentes. O questionrio 1 foi respondido por 2.086 pessoas; o questionrio 2, por
2.419, totalizando 4.505 participantes da pesquisa de satisfao on-line, j descontados os
questionrios descartados por duplicidade ou por terem excedido o limite preestabelecido de trs
questes sem respostas. O Quadro 4 (p. 117) compara a quantidade de usurios pesquisados e a de
servios prestados via Internet e em outros canais de atendimento dos mesmos servios, no perodo
em que a pesquisa on-line esteve disponvel.

117

Servios

Usurios
pesquisados

Servios
prestados
via Internet

Outros
canais

Total de
servios
prestados

Declarao Anual de Isentos

2.554

6.229.479

7.005.845

13.235.324

Requerimento de Auxlio-Doena

1.373

18.630

360.020

378.650

578

804

21.970

22.774

Requerimento de Penso por Morte

240

584

27.908

28.492

Requerimento de Salrio-Maternidade

137

399

35.890

36.289

Programa Nacional
Primeiro Emprego

de

Estmulo

ao

Quadro 4 Quantidade de usurios pesquisados e servios prestados.


A consistncia interna dos questionrios respondidos pelos usurios dos servios pblicos
eletrnicos selecionados, ou seja, sua confiabilidade, foi medida pelo Alfa de Cronbach. Quanto maior
seu valor, variando de 0 a 1, maior a consistncia interna da medida. O limite inferior para o Alfa de
Cronbach geralmente aceito de 0,70, podendo diminuir para 0,60 em pesquisas exploratrias (Hair
et al., 2005).
A tcnica estatstica de regresso mltipla, cujo objetivo principal predizer o valor da
varivel dependente, dados os valores de variveis independentes associadas, a partir de frmula
algbrica denominada equao de regresso, foi utilizada para identificar as dimenses que mais
significativamente contriburam para a Qualidade percebida e para o Valor percebido, assim como
os construtos que mais contriburam para a Satisfao geral. Alm disso, a partir dessa tcnica,
identificou-se o poder de explicao dos construtos antecedentes da satisfao e sua validade
convergente.
A validade convergente do construto Satisfao geral foi medida ao comparar respostas
pergunta especfica sobre satisfao geral e o conjunto das perguntas relacionadas aos construtos
Qualidade percebida, Valor percebido e Expectativas atendidas, seus antecedentes, expresso
pela equao de regresso. A partir de correlaes entre itens dos questionrios de satisfao
relacionados a construtos diferentes, verificou-se sua validade discriminante. J a validade
nomolgica, foi observada com a comparao dos resultados deste estudo com outros anteriores
realizados por outros pesquisadores.

118
Inicialmente, no foi realizada anlise fatorial devido pequena quantidade de construtos e
itens do instrumento de coleta de dados da pesquisa de satisfao. No era inteno desta pesquisa
reduzir dados ou resumir a informao contida em suas variveis originais em um conjunto menor de
dimenses, principais objetivos da anlise fatorial (Hair et al., 2005). Entretanto, aps a aplicao dos
questionrios, foi realizada anlise fatorial a fim de identificar questes que poderiam ser eliminadas
45

em aplicaes futuras, em funo da distribuio de suas cargas fatoriais e de sua comunalidade .


Para a construo do instrumento utilizado na coleta de dados da etapa quantitativa
relacionada ao levantamento feito com os gestores de portais e-gov da Administrao Pblica
Federal, foi elaborado, inicialmente, um roteiro, aplicado em entrevistas individuais com os gestores
dos servios pblicos eletrnicos selecionados. Os resultados dessas entrevistas em profundidade,
com abordagem qualitativa, serviram como base para a elaborao do questionrio piloto desse
levantamento quantitativo (Apndice 9.11, p. 274), o qual foi analisado pelos mesmos especialistas
citados anteriormente, reformulado de acordo com suas sugestes e seu link enviado por correio
eletrnico a todos os gestores cadastrados.
Devido natureza exploratria e ampla em termos de assuntos tratados, e baixa
participao dos gestores de portais e servios web da APF na pesquisa a eles endereada, no foi
medida a confiabilidade nem realizada anlise fatorial desse instrumento. Segundo Hair et al. (2005),
o tamanho da amostra para realizao de anlise fatorial deve ser maior ou igual a 100, o que no
ocorreu nesse caso (N = 76).

4.3.2 Tcnicas qualitativas


As tcnicas qualitativas adotadas foram pesquisa documental, entrevista individual (incluindo
entrevista telefnica), anlise de contexto, testes automticos e manuais com os portais web dos
servios pblicos eletrnicos selecionados, avaliao heurstica e grupo focal. A pesquisa documental
englobou leitura e anlise de normas, diretrizes, manuais gerados pelo Departamento de Governo
Eletrnico e Secretaria de Logstica e Tecnologia da Informao, atas de reunies dos Comits
Executivo e Tcnicos do Governo Eletrnico, alm de relatrios de outros estudos ou auditorias,
documentos gerados por fontes diversas sobre o Programa E-Gov, coletados pela Internet. Alguns

45

Quantia de varincia explicada pela soluo fatorial para cada varivel (Hair et al., 2005, p. 108).

119
dos documentos pesquisados, por serem documentos internos, foram solicitados gerncia do
Programa (Apndice 9.1, p. 241). Foram tambm analisados dados do Sistema de Informaes
Gerenciais e de Planejamento (Sigplan) da Administrao Pblica Federal referentes ao Programa EGov e do Sistema de Inventrio de Stios Governamentais Federais. A pesquisa documental tambm
foi empregada na anlise das normas, recomendaes e manuais produzidos e/ou adotados pelas
prestadoras dos servios pblicos eletrnicos selecionados.
A tcnica de entrevista individual foi adotada com quatro fontes de informao diferentes e
com propsitos diferentes. A entrevista com os gestores do Programa E-Gov teve, como objetivo,
entender o contexto e a forma como o Programa funciona. Foram entrevistados o Secretrio de
Logstica e Tecnologia da Informao, a Diretora do Departamento de Governo Eletrnico, e o
Coordenador do Comit Tcnico de Gesto de Stios On-Line, Secretrio de Comunicaes da
Presidncia da Repblica, por ser esse comit o que mais se aproxima da temtica desta pesquisa.
A entrevista com os gestores de portais e-gov das reas sociais Educao, Previdncia
Social, Sade, e Trabalho e Emprego teve, como propsito, compreender a estratgia adotada por
cada Ministrio na implementao de seus portais web e ainda solicitar, a cada um, lista de servios
pblicos eletrnicos por eles prestados, para atendimento direto ao cidado. Tal lista foi utilizada na
seleo dos servios deste estudo de caso, j mencionada no item 4.2.1 (p. 105).
As entrevistas individuais com os gestores dos servios pblicos eletrnicos selecionados,
responsveis tanto pelo contedo quanto pela implementao eletrnica dos servios Declarao
Anual de Isento, requisies de auxlio-doena, penso por morte e salrio-maternidade, e Primeiro
Emprego, possibilitaram a coleta de informaes tais como pblico-alvo, universo atendido,
disponibilidade do servio, tcnicas de anlise de necessidades, monitoramento e avaliao
adotadas, entre outras. Os resultados dessas entrevistas foram utilizados como subsdios para a
elaborao do instrumento de coleta de dados quantitativo enviado aos gestores de portais e-gov no
selecionados para a pesquisa qualitativa (Apndice 9.11, p. 274).
Nessas entrevistas tambm foram apresentados, aos gestores, o questionrio sobre medidas
adotadas em relao segurana de dados (Apndice 9.6, p. 260), baseadas na Resoluo n 7, de
29 de julho de 2002 (Brasil CEGE, 2002), e os questionrios da pesquisa de satisfao (Apndices

120
9.9 e 9.10 p. 267 e 270), correspondente ao seu servio, para que indicassem que respostas
esperavam receber de seus clientes. A confrontao das respostas dos gestores e dos clientes dos
servios ao mesmo questionrio permite mostrar at que ponto a percepo do gestor quanto
qualidade do servio prestado se compara percepo dos clientes do servio.
As entrevistas telefnicas, por sua vez, foram feitas com 142 usurios dos servios DAI,
46

47

PNPE e Auxlio-doena , em um universo de 2.301 que se prontificaram a participar , estratificados


por servio (Grfico 1, p. 120) e selecionados aleatoriamente, com o objetivo de identificar os pontos
positivos e negativos desses servios, na opinio desses usurios. O tamanho da amostra,
representando 1/16 do universo, foi calculado com nvel de confiana de 95%, +/- 8% de erro
amostral e proporo, mais conservadora, de 50/50 do universo em questes com duas opes de
resposta (Dillman, 2000, p. 206). Dentro de cada estrato, isto , da lista de respondentes de cada
servio, ordenada por data de recebimento do questionrio, foi adotado o intervalo amostral de 16,
isto , uma em cada 16 pessoas da lista foi selecionada para a amostra. Naqueles casos em que a
quantidade de tentativas para fazer a entrevista excedeu o limite preestabelecido de trs ligaes, por
vrios motivos (linha ocupada, ligao no atendida, atendimento por secretria eletrnica,
participante no disponvel no momento da ligao), considerado razovel para pesquisas de
mercado (Lavrakas, 1998), foi selecionado o prximo participante da lista remanescente de possveis
entrevistados. As entrevistas foram realizadas em dezembro de 2005, gravadas e transcritas.

Participantes da entrevista telefnica


(Universo: 2301; Amostra: 142)

31

60

Declarao Anual de Isento


Auxlio-doena

51

PNPE

Grfico 1 Participantes da entrevista telefnica por servio utilizado.

46

Foram eliminados os servios Penso por morte e Salrio-maternidade por no terem atingido quantidade significativa de
respondentes na pesquisa on-line.

47

Uma das perguntas do questionrio pedia para que o usurio informasse seu nome e telefone, caso se interessasse em
participar de entrevista telefnica.

121
Na anlise do contexto, foram utilizadas ferramentas tpicas de diagnstico em avaliao de
programas:

anlise de grupo de interesse (stakeholder), anlise SWOT, painel de referncia,

diagrama de verificao de riscos (DVR) e matrizes de planejamento e de achados de auditoria, que


auxiliaram na compreenso do contexto estudado. Os modelos de tais diagramas e matrizes constam
do Apndice 9.4 (p. 245). Para o painel de referncia foram convidados dois especialistas em
governo eletrnico, trs auditores, e um especialista em avaliao de programas de governo para
debater a matriz de planejamento deste estudo.
Para a avaliao da interface web dos servios selecionados foram realizados testes
automticos de acessibilidade - ferramentas automticas, disponveis gratuitamente na Web, que
avaliam a acessibilidade de pginas web, por meio de anlise esttica dessas pginas. Como essas
ferramentas automticas s conseguem detectar um nmero limitado de problemas potenciais, foram
utilizados outros mtodos complementares, manuais, de avaliao de acessibilidade: teste com
diferentes tipos de navegadores web, em condies variadas (com figuras e sons habilitados; figuras
desabilitadas; sons desabilitados; sem utilizar o mouse; e com diferentes resolues de vdeo). Essas
condies simulam restries de navegao a que alguns usurios estariam submetidos, seja por
48

estarem usando tecnologias assistivas , hardware e software mais antigos ou mais modernos, seja
por terem limitaes fsicas ou mentais.
Outra tcnica adotada para avaliao da interface dos servios selecionados foi a avaliao
heurstica - mtodo de inspeo sistemtico da usabilidade de sistemas interativos, cujo objetivo
identificar problemas de usabilidade de sistemas informatizados. Esse mtodo envolve a participao
de um pequeno grupo de avaliadores na anlise do fluxo de interao necessrio para iniciar e
completar tarefas reais, e no julgamento dos elementos interativos do sistema, em relao a
princpios reconhecidos de usabilidade, designados tambm como "heursticas" (Nielsen, 1993). Essa
avaliao complementa os testes automticos em pontos passveis de verificao apenas manual,

48

Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficincias a executarem
atividades do cotidiano. Esse novo termo, apesar de no existir nos dicionrios de lngua portuguesa, nem to pouco nos de
lngua inglesa, tem se incorporado ao vocabulrio tcnico e popular de vrios idiomas, sendo classificado como todo e
qualquer item, equipamento, produto ou sistema que propicia, ao portador de deficincia, uma vida mais independente,
produtiva, agradvel e bem sucedida, por meio do aumento, manuteno ou devoluo das capacidades funcionais dessa
pessoa.

122
como por exemplo, o contraste de cores e a adequao do texto de um link ao contedo por ele
apontado.
A avaliao heurstica foi desenvolvida explicitamente como um mtodo de "engenharia de
49

usabilidade com desconto ", o qual no tem a pretenso de "prover resultados perfeitos ou identificar
todo e qualquer problema de usabilidade de uma interface" (Nielsen, 1993, p. 160). Justamente por
ser fcil, rpido e pouco oneroso, esse mtodo considerado adequado para a avaliao de portais
web (Instone, 1997). Neste estudo de caso, foram analisados, por um especialista em usabilidade e
um analista de sistemas, separadamente, os cinco servios pblicos eletrnicos selecionados,
comparando suas caractersticas com as recomendaes, princpios e/ou heursticas previamente
escolhidos (Apndice 9.5, p. 248).
Mesmo existindo uma lista predeterminada de verificaes, os avaliadores especialistas
puderam considerar quaisquer outros princpios que vieram sua mente durante a inspeo das
interfaces web e que tenham considerado relevantes. Ao final de todas as avaliaes, os resultados
individuais foram congregados em uma lista consolidada de problemas.
Essa avaliao considerou 10 dimenses, ponderadas de acordo com sua importncia, sob o
ponto de vista da maioria dos 4.505 usurios pesquisados no levantamento on-line (Quadro 5, p.
50

123) . Os itens da lista de verificao, gerada a partir de normas e recomendaes produzidas pelo
Governo brasileiro (Resoluo n 7, Modelo e Cartilha Tcnica de Acessibilidade, e Cartilha de
Usabilidade para stios e portais), e por pesquisadores independentes (Dias, 2001; Stutz et al., 2002;
Vilella, 2003), disponvel no Apndice 9.5 (p. 248) deste documento, foram ponderados de acordo
com a seguinte escala:

Peso 3 artigos, incisos e alneas da Resoluo n 7 (Brasil CEGE, 2002);

Peso 2 recomendaes de prioridade 1 da Cartilha Tcnica de Acessibilidade (Brasil


MP, 2005d) e parmetros mnimos da Cartilha de Usabilidade (Brasil Governo
Eletrnico, 2004);

49

Traduo da expresso em ingls Discount usability engineering method - denominao dada por Nielsen (1993) avaliao
heurstica, por ser um mtodo mais rpido e barato do que os tradicionais testes com usurios.

50

No cmputo do grau de importncia das dimenses, foram considerados os itens apontados como mais importantes (questo
6 do questionrio 1) assim como os que mais atrapalham a utilizao do servio eletrnico (questo 6 do questionrio 2).

123

Peso 1 recomendaes de alta prioridade de Vilella (2003), heursticas de Dias (2001) e


recomendaes do manual do governo alemo (Stutz et al., 2002).

Dimenso

Peso

Privacidade e segurana de dados

Disponibilidade

Tempo de atendimento

Acessibilidade

Capacidade de resposta a dvidas

Confiabilidade

Facilidade de localizao do portal da instituio

Facilidade de localizao do servio eletrnico

Usabilidade

Convenincia

51

Quadro 5 Pesos das dimenses grau de importncia indicado pelos usurios pesquisados.
Tal ponderao considerou o fato de a Resoluo n 7, deliberada pelo Comit Executivo do
Governo Eletrnico (CEGE) e, portanto, norma a ser cumprida, e das Cartilhas Tcnica de
Acessibilidade e de Usabilidade serem documentos do Governo brasileiro, mesmo que no
coercitivos, mas certamente mais significativos para os gestores de portais da Administrao Pblica
Federal do que as recomendaes de pesquisadores independentes.
Os avaliadores especialistas efetuaram tambm classificao dos servios oferecidos no
portal da Previdncia (www.previdencia.gov.br), tomando como base o contedo disponvel no perodo de
16 a 18 de novembro de 2005. O objetivo desse levantamento foi identificar a taxa de servios
interativos colocados disposio do cidado. Foram pesquisados links a informaes e servios
existentes at o terceiro nvel de navegao (acessando at trs pginas a partir da pgina inicial do
portal, considerada ponto 0). O contedo foi classificado como servio quando havia alguma

51
A dimenso Convenincia no foi considerada na avaliao heurstica por falta de itens associados a este tema nos
documentos consultados para a elaborao da lista de verificao utilizada nesta pesquisa.

124
interao do portal com o usurio, como preencher campos, fornecer senha, acessar dados, e como
informao, quando o portal apenas fornecia qualquer informao oficial ao usurio.
Para confirmar, refutar ou compreender melhor os resultados do levantamento quantitativo
realizado com os gestores de servios e-gov, foram realizados trs grupos focais com gestores, nos
dias 09, 11 e 17 de novembro de 2005, totalizando 23 representantes de 10 Ministrios, cinco
agncias reguladoras e oito unidades vinculadas Presidncia da Repblica, empresas pblicas,
autarquias ou fundaes, selecionados aleatoriamente dentre aqueles residentes em Braslia que se
52

identificaram como interessados em participar desse tipo de entrevista . Nesses grupos focais
participaram ainda um moderador e trs observadores para registrar as discusses, j que, para esse
grupo de pessoas, talvez fosse constrangedor gravar suas intervenes. Os temas discutidos foram
os mesmos da etapa quantitativa: planejamento, gerncia, monitoramento e avaliao dos servios
pblicos eletrnicos por parte dos prprios rgos prestadores dos servios, e a atuao da
coordenao do Programa Governo Eletrnico.
Para promover a discusso sobre a atuao da coordenao do Programa no monitoramento
e avaliao da qualidade dos servios pblicos prestados via Internet, foi realizado, no dia 03 de
novembro de 2005, grupo focal com os oito coordenadores de Comits Tcnicos de Governo
Eletrnico. Dada a quantidade reduzida de coordenadores, no houve outra alternativa a no ser a de
realizar apenas um encontro com todos eles, mesmo contrariando a recomendao de realizar vrios
grupos focais para poder se chegar a uma concluso mais prxima da realidade, sobre o tema
discutido. Nesse grupo focal tambm participaram um moderador e trs observadores, sem gravao
de udio ou vdeo.
O uso de grupos focais nesta pesquisa teve como inteno provocar o confronto de opinies,
percepes, sentimentos, atitudes e idias dos participantes a respeito desses temas. De acordo com
Johnson (1994), os usurios dessa tcnica partem do pressuposto de que a energia gerada pelo
grupo resulta em maior diversidade e profundidade de respostas, isto , o esforo combinado do
grupo produz mais informaes, e com maior riqueza de detalhes, do que o somatrio das respostas

52

Uma das perguntas do questionrio pedia para que o gestor indicasse seu interesse ou no em participar de grupos focais
para aprofundar a discusso sobre os mesmos temas tratados no questionrio.

125
individuais. Resumindo, a sinergia entre os participantes leva a resultados que ultrapassam a soma
das partes individuais.
A anlise dos resultados obtidos a partir de todas essas tcnicas qualitativas foi
essencialmente qualitativa (anlise de contedo, sumarizao, interpretao de opinies e atitudes),
apesar de terem sido contabilizados, estatisticamente, os resultados dos testes automticos, manuais
e da avaliao heurstica das interfaces dos servios pblicos eletrnicos examinados.

4.3.2.1 Instrumentos de coleta de dados


Para orientar as discusses nas entrevistas individuais com os gestores dos servios e-gov
selecionados, com os gestores do Programa E-Gov, e com os gestores de portais e-gov para seleo
dos servios a serem avaliados, assim como nos grupos focais com coordenadores dos Comits
Tcnicos do Programa Governo Eletrnico e gestores de servios e-gov, foram elaborados roteiros de
entrevista distintos, disponveis nos apndices deste documento. Para os testes nos portais web dos
servios e-gov selecionados, foram utilizadas as seguintes ferramentas:

Cyberspyder - www.cyberspyder.com/cslnkts2.html
Ferramenta gratuita que permite a verificao de links com problemas em pginas
web.

Dasilva - www1.acessobrasil.org.br/dasilva/
Ferramenta desenvolvida pelo grupo Acessibilidade Brasil - ACBR , com base nas
diretrizes internacionais do World Wide Web Consortium (W3C, 1999), porm
traduzidas para o portugus. Desde o dia 24/02/2005, o programa Dasilva avalia
tambm a primeira pgina dos portais web com base nas recomendaes do
Programa Governo Eletrnico, para construo de stios e portais acessveis
Modelo de Acessibilidade do Governo (Brasil MP, 2005c).

Wave - www.wave.webaim.org/index.jsp.
Ferramenta gratuita desenvolvida pelo Temple University Institute on Disabilities,
baseada no projeto original do Dr. Leonard Kasday em conjunto com Webaim (Web
Accessibility in Mind) do Centro para Pessoas com Deficincias da Universidade
Estadual de Utah.

126

Navegadores grficos de diferentes fornecedores (Internet Explorer, Mozila Firefox).

Para a avaliao heurstica, foi utilizada a lista de verificao para portais e servios e-gov,
desenvolvida pelo pesquisador e disponvel no Apndice 9.5 (p. 248) deste documento, baseada em
normas brasileiras que tratam de governo eletrnico e recomendaes de pesquisadores
independentes.

127

5 Anlise dos dados


O contexto desta pesquisa, cujo objetivo geral foi definir e validar mtodo de avaliao dos
resultados de programas de governo eletrnico sob a tica dos cidados-clientes, limitou-se a dois
aspectos essenciais. O primeiro foi a confrontao dos resultados de programas de e-gov com seus
objetivos (eficcia, qualidade e articulao institucional). O segundo foi a avaliao de servios
pblicos eletrnicos com benefcios diretos ao cidado, envolvendo avaliaes individualizadas da
satisfao dos usurios com alguns servios selecionados, e avaliaes de suas interfaces web, sob
a tica dos usurios, baseadas em padres de qualidade nacionais e internacionais. Para tanto, foi
identificada, na literatura, documentao sobre programas de governo eletrnico, mtodos e mtricas
para sua avaliao; elaborados modelos de avaliao de governo eletrnico, e outros baseados nos
mtodos identificados e selecionados na literatura; selecionados o Programa E-Gov brasileiro e cinco
servios pblicos eletrnicos a serem avaliados; e, por fim, proposto mtodo de avaliao de
programas de governo eletrnico, o qual foi aplicado e validado ao longo desta pesquisa. Vale
ressaltar que o modelo de avaliao de governo eletrnico, proposto no item 3.5 (p. 96), atende aos
requisitos de seleo e definio de construtos, contexto, critrios, mtricas e metodologia de
Saracevic (2000), explanados no item 3.6 (p. 97).
Apesar de estarem presentes neste estudo, como canal de comunicao eletrnica de
massa, as tecnologias web no so um fim em si mesmas, visto que se olha o problema pelo ngulo
da Cincia da Informao. Nesse sentido, traou-se, no marco terico desta pesquisa (captulo 3, p.
83), um modelo conceitual como paralelo entre fidelidade do processo de comunicao e qualidade
de servios pblicos, destacando que o importante determinar o que aumenta ou reduz tal
fidelidade ou qualidade. Esse novo ngulo, abrangendo conceitos tericos advindos da
Administrao, da Cincia da Computao, e da Cincia da Informao, aplicado avaliao da
qualidade ou fidelidade de servios e-gov, colocou de um lado a pesquisa de satisfao de clientes e
do outro o monitoramento e a avaliao de indicadores de desempenho por parte do governo.
A anlise dos dados desta pesquisa, norteada por esse modelo conceitual, compreende, alm
das fases de anlise de contexto e avaliao do Programa Governo Eletrnico e servios pblicos
eletrnicos especficos, o perfil dos respondentes das pesquisas on-line, a anlise das tcnicas
utilizadas no modelo proposto de avaliao de governo eletrnico (item 3.2, p. 87), em resposta

128
questo de pesquisa de Como avaliar os resultados de programas de governo eletrnico sob a tica
do cidado-cliente?, e a anlise da relao entre construtos do modelo de avaliao da satisfao
(item 3.4, p. 90), em resposta questo de pesquisa H relao direta entre o atendimento aos
padres de qualidade adotados e a satisfao do cidado-cliente com os servios de governo
eletrnico?.

5.1 Contexto do Programa Governo Eletrnico


O marco inicial de formulao da poltica de governo eletrnico no Brasil foi a criao de um
grupo de trabalho interministerial que realizou estudos e diagnsticos, identificou iniciativas
precursoras e estabeleceu um conjunto de diretrizes e metas que deram origem ao Programa. Como
resultado desse trabalho inicial, foi estabelecido um modelo conceitual de governo eletrnico (e-gov),
com nfase na proposio de medidas para a promoo de novas formas eletrnicas de interao
entre o governo e o cidado (Brasil Casa Civil, 2000).
O e-gov representa um desdobramento de trs das sete linhas de ao previstas no mbito
53

do Programa Sociedade da Informao

- Socinfo (Brasil MCT, 2000), na medida em que atua

principalmente sobre a mquina administrativa do Governo Federal. O Socinfo, por sua vez, mantm
seu direcionamento para os segmentos empresarial e de pesquisa cientfica e tecnolgica.
Originalmente, foram definidos os seguintes objetivos de longo prazo para o desenvolvimento do
governo eletrnico (Brasil Casa Civil, 2002):
 Oferta, na Internet, dos servios prestados ao cidado, buscando-se a melhoria dos
padres de atendimento, reduo de custos e facilidade de acesso;
 Ampliao das condies de acesso do cidado s informaes, em formatos
adequados, por meio da Internet;
 Convergncia entre sistemas, redes e bancos de dados governamentais para permitir
o intercmbio de informaes e a agilizao de procedimentos;
 Implantao de infra-estrutura avanada de comunicaes e de servios, com
padres de segurana e servios, alm de alto desempenho;

53

Linhas de ao relacionadas a governo eletrnico: Universalizao de Servios para a Cidadania, Governo ao Alcance de
Todos e Infra-estrutura Avanada e Novos Servios.

129
 Uso do "poder de compra do Governo Federal" para obteno de custos menores e
otimizao do uso de redes de comunicao;
 Estmulo ao acesso Internet, em especial por meio de pontos de acesso em
instituies pblicas ou comunitrias;
 Fortalecimento da competitividade sistmica da economia.
Desde 2003, oito Comits Tcnicos de Governo Eletrnico vm atuando no contexto do
Programa, tendo por finalidades coordenar e articular o planejamento e a implementao de projetos
e aes nas respectivas reas de competncia. So compostos por representantes de rgos e
entidades da Administrao Pblica Federal, indicados pelo Comit Executivo de Governo Eletrnico
(CEGE), e tratam dos seguintes temas: implementao do software livre; incluso digital; integrao
de sistemas; sistemas legados e licenas de software; gesto de stios e servios on-line; infraestrutura de redes; governo para governo; e gesto do conhecimento e informao estratgica.
O trabalho dos Comits supervisionado pelo Secretrio-Executivo do CEGE, inclusive por
meio da convocao dos seus coordenadores para participao em reunies peridicas de
acompanhamento (art. 2, 5, do Decreto de 29/10/2003 - Brasil, 2003). Na prtica, os Comits no
apresentam poder deliberativo. Assim, cada qual constitui um frum de discusso e de articulao
entre os diversos rgos interessados. A seguir, esto descritas as principais diretrizes do Comit de
Gesto de Stios e Servios On-line (Brasil Cmara Tcnica de Gesto de Stios e Servios On-line,
2003, p. 1), por serem coincidentes com alguns dos aspectos de anlise de servios pblicos on-line,
nesta pesquisa.
Diretrizes para garantia do foco no cidado
A Internet deve ser tratada como canal de comunicao entre governo e sociedade,
permitindo a participao popular e a interatividade com os cidados;
Os stios e servios on-line do Governo Federal devem ser estruturados de acordo
com os assuntos de interesse e perfil do pblico-alvo;
Os stios e servios on-line do Governo Federal devem priorizar a prestao de
servios para as classes C, D, E;
Os stios e servios on-line do Governo Federal devem utilizar tecnologias inclusivas
e no excludentes e oferecer garantia de acesso universal, abrangendo portadores de

130
necessidades especiais, cidados de baixa escolaridade e usurios de diversas
plataformas;
Os servios on-line devem ser oferecidos com base nos eventos da vida do
54

cidado .
Diretrizes para integrao
Os stios de servios on-line sero estruturados obedecendo a padres mnimos e
normas tcnicas de usabilidade, estrutura e aspectos visuais, considerando as
especificidades dos rgos;
Os stios do Governo Federal devem permitir o acesso prestao de servios
bsicos de interesse do cidado, de acordo com o pblico-alvo do stio,
independentemente do rgo a que estejam vinculados, atravs de componentes
comuns e links para servios on-line;
Dever ser promovido o compartilhamento de recursos (informaes, tecnologia e
pessoas) entre os stios e servios on-line do Governo Federal, em busca de
otimizao de recursos;
Os servios on-line devero integrar-se a meios de comunicao mais populares
(telefone, carta, etc.).

5.1.1 Objetivo do Programa


As aes do Programa Governo Eletrnico, at 2006, esto definidas no documento Oficinas
de Planejamento Estratgico Relatrio Consolidado Comits Tcnicos (Brasil MP, 2004a),
elaborado em maio de 2004, no mbito do Comit Executivo do Governo Eletrnico. Nesse
documento, est declarado o objetivo mais recente do Programa: aumentar de forma qualificada, no
somente a oferta de mais e melhores servios por vias eletrnicas, mas tambm, sua demanda (p.
3). O pblico-alvo do Programa a sociedade como um todo, usuria de servios pblicos eletrnicos
oferecidos pela Administrao Pblica Federal, sem seleo de beneficirios. As diretrizes
estratgicas, ainda segundo o mesmo documento, esto baseadas em sete princpios:
 Promoo da cidadania, como prioridade;

54

Os servios eletrnicos disponveis so agrupados de acordo com as necessidades das pessoas nas diversas fases da vida,
desde o nascimento at a morte (exs: ter filhos, requerer aposentadoria). Essa linha da vida tambm considerada no caso de
servios eletrnicos para empresas desde a criao da empresa at o seu fechamento.

131
 Indissociabilidade entre incluso digital e governo eletrnico;
 Utilizao de software livre, como recurso estratgico;
 Gesto do conhecimento, como instrumento estratgico de articulao e gesto de
polticas pblicas;
 Racionalizao de recursos;
 Adoo de polticas, normas e padres comuns;
 Integrao com outros nveis de governo e demais poderes.

5.1.2 Responsveis e forma de implementao do Programa


De acordo com o Plano Gerencial 2005 (Brasil MP, 2005a) da Secretaria de Logstica e
Tecnologia da Informao (SLTI), do Ministrio do Planejamento, Oramento e Gesto (MP), o
Programa Governo Eletrnico tem carter multisetorial integrado e sua implementao prev, entre
outros, um processo descentralizado, envolvendo rgos e entidades da Administrao Pblica
Federal (APF). A coordenao das aes fica a cargo da SLTI/MP, a quem compete, entre outras
atribuies, a definio de modelo de atendimento ao cidado; o aprimoramento da relao do
governo eletrnico brasileiro com o cidado; a consolidao dos padres de governo eletrnico; a
implantao do Plano Nacional de Governo Eletrnico; e a divulgao das aes do governo
eletrnico.
O desenvolvimento de portais e servios pblicos eletrnicos atribuio dos rgos e
entidades da APF, com oramentos prprios, sem complemento de recursos por parte da SLTI/MP.
Esses portais e servios devem, no entanto, seguir regras definidas por aquele rgo coordenador.

5.1.3 Legislao pertinente


Como relatado no incio do item 5.1 (p. 128), o Programa Governo Eletrnico teve origem em
2000, a partir do documento elaborado pela Casa Civil da Presidncia da Repblica, que define o
modelo conceitual de e-gov como poltica pblica a ser implementada pelo Governo Federal. Por
Decreto Presidencial de 18 de outubro de 2000, foi criado o Comit Executivo do Governo Eletrnico
55

(CEGE), no mbito do Conselho de Governo , com o objetivo de formular polticas, estabelecer

55

Cf. Art. 7 da Lei n 10.683, de 28 de maio de 2003.

132
diretrizes, coordenar e articular as aes de implantao do Governo Eletrnico. Cabe ao Ministrio
do Planejamento, Oramento e Gesto apoiar tcnica e administrativamente o seu funcionamento.
Os oito Comits Tcnicos que integram o CEGE foram criados com o Decreto Presidencial,
de 29 de outubro de 2003, que estabeleceu regras gerais para sua composio e funcionamento. A
definio da SLTI/MP como unidade administrativa responsvel pelo Programa se deu com a edio
do Decreto n 5.233, de 6 de outubro de 2004, regulamentado pela Portaria MP n 288, de 4 de
novembro de 2004. De acordo com ofcio do Secretrio da SLTI (Brasil MP, 2006), o MP foi
designado para exercer as atribuies de Secretaria-Executiva do CEGE, provendo o apoio tcnicoadministrativo necessrio ao seu funcionamento, no art. 4 do Decreto de 18 de outubro de 2000, que
cria esse Comit.

5.1.4 Monitoramento
eletrnicos

avaliao

da

prestao

de

servios

pblicos

Uma das aes definidas no Programa Governo Eletrnico, conforme estabelecido no Plano
Estratgico, detalhado no relatrio consolidado dos Comits Tcnicos do CEGE, de maio de 2004,
o monitoramento e avaliao da evoluo do Programa a partir de melhores prticas e valendo-se de
indicadores pblicos de qualidade. A partir desse compromisso com o monitoramento e a avaliao,
declarado no planejamento estratgico, confirma-se a importncia do tema. A identificao e o
acompanhamento da demanda, dos custos, dos benefcios e do impacto da implantao de servios
destinados ao cidado permitiriam o aperfeioamento contnuo do Programa de governo eletrnico e
a manuteno do foco no beneficirio. Como norma geral j estabelecida, destaca-se a Resoluo
CEGE n 7/2002, que estabelece, no art. 7, algumas diretrizes para a medio do desempenho e do
controle estatstico dos portais, a serem observadas pelos rgos da Administrao. Vale ressaltar
que foi realizado, na Escola Nacional de Administrao Pblica (Enap), nos dias 13 e 14 de dezembro
de 2005, o Seminrio Ibero-Americano "Construindo uma referncia brasileira de Indicadores e
Mtricas de Governo Eletrnico", com o objetivo de refletir sobre a avaliao da qualidade dos
servios de governo eletrnico por meio de ndices e mtricas.
Uma boa iniciativa foi a Pesquisa Tecnologia da Informao e da Comunicao em
Domiclios, realizada nos meses de agosto e setembro de 2005, pelo Instituto Ipsos-Opinion, parceiro
do Comit Gestor da Internet no Brasil (CGI.br), que mediu a difuso e o uso da Internet em

133
domiclios, incluindo uso de governo eletrnico, comrcio eletrnico, segurana, educao e barreiras
de acesso (Balboni, 2005). As entrevistas foram realizadas presencialmente, em 8.540 domiclios e
com indivduos a partir dos 10 anos.
De acordo com matria de Balboni (2005), publicada no portal do CGI, esse levantamento
sobre o uso da Internet para acesso a servios de governo eletrnico revelou que 12,68% da
populao brasileira utilizou algum servio de Governo Eletrnico nos ltimos 12 meses que
antecederam esse levantamento, o que significa que 40% das pessoas que utilizaram a Internet,
nesses 12 meses, tambm acessaram algum tipo de servio de e-gov. Os principais servios pblicos
eletrnicos utilizados, de acordo com essa pesquisa, foram (% de menes no total da populao
brasileira): consulta ao CPF (6%); Declarao do Imposto de Renda (5%); informaes sobre servios
pblicos de educao (3%); inscries em concursos pblicos (3%); informaes sobre empregos
(2%); pagamentos de Imposto sobre a Propriedade de Veculos Automotores (IPVA), multas e
licenciamento (2%).
O Programa Governo Eletrnico possui um nico indicador de desempenho no Plano
Plurianual (PPA) 2004/2007 para avaliao (Brasil, 2004): Nmero de Servios Ofertados que,
segundo a diretora do Departamento de Governo Eletrnico (DGE), em entrevista presencial, no
vem sendo utilizado. Sua frmula de clculo, de acordo com dados do Sistema de Informaes
Gerenciais e de Planejamento (Sigplan), acessado em 05/09/2005, a relao percentual entre os
servios transacionais ofertados pela Administrao Pblica Federal (APF) no ano e o total de
servios existentes, estejam ou no includos na Internet. Observe-se que a denominao do
indicador inapropriada, j que, por se tratar de uma proporo entre duas grandezas, deveria
constituir taxa de servios ofertados e no nmero.

5.2 Avaliao do Programa Governo Eletrnico


De acordo com o modelo proposto no item 3.5 (p. 96), o Programa Governo Eletrnico foi
avaliado quanto eficcia, qualidade e articulao institucional, com intuito de verificar se h
coordenao entre o governo central e as agncias governamentais prestadoras de servios pblicos
eletrnicos, com vistas a alcanar o objetivo de melhorar a qualidade desses servios. A questo de
auditoria que norteou essa parte da avaliao foi Como feito o monitoramento e a avaliao da
eficcia do Programa Governo Eletrnico?.

134

5.2.1 Eficcia e qualidade


Ao avaliar o Programa sob o ponto de vista da eficcia e qualidade, buscou-se identificar se
as atividades de monitoramento e avaliao, por parte da coordenao do Programa, tm contribudo
para aprimorar a prestao de servios pblicos eletrnicos aos cidados-clientes. Sob esses
aspectos, foram identificados os seguintes achados de auditoria, detalhados nos pargrafos
subseqentes:

Inexistncia de monitoramento e avaliao por parte da coordenao do Programa;

Ausncia de indicadores de desempenho para o Programa;

Divulgao deficiente de boas prticas de governo eletrnico pela coordenao do


Programa.

Inexistncia de monitoramento e avaliao por parte da coordenao do Programa


No levantamento com 76 gestores de portais (questionrio on-line), apurou-se que 33
desconhecem a atuao do Departamento de Governo Eletrnico (DGE) quanto ao monitoramento e
avaliao do desenvolvimento de projetos de e-gov de seus respectivos rgos (Grfico 2, p. 135).
Os 23 gestores participantes dos grupos focais tambm no conhecem qualquer iniciativa da
coordenao para definio de mecanismos de monitoramento e avaliao. Deve-se ressaltar, ainda,
que 35 dos 76 gestores de portais participantes do levantamento on-line desconhecem a atuao do
DGE/SLTI relativa definio de indicadores. Quanto ao grau de satisfao com a atuao da
coordenao do Programa nesse quesito, dada a escala de 1 a 5 (1 = totalmente insatisfeito; 5 =
totalmente satisfeito), a mdia dos conceitos informados pelos gestores de portais ficou em 2,35,
abaixo do ponto mdio da escala, o que demonstra insatisfao.

135

At que ponto voc est satisfeito ou insatisfeito com a atuao do


Departam ento de Governo Eletrnico (SLTI) nas seguintes atividades
(N=76)

Coordenao das at ividades de implant ao de e-gov na Administ rao


Pblica Federal.

26

Est abeleciment o de diret rizes e est rat gias para o planejament o, pela
Administ rao Pblica Federal, da ofert a de servios e inf ormaes.

25

Def inio de padres de qualidade para as f ormas elet rnicas de int erao.
Coordenao da implantao de mecanismos de racionalizao de gast os e
de apropriao de custos na aplicao de recursos de TIC, no mbito da
APF.

M onit orament o e avaliao do desenvolvimento de projetos de e-gov.

Def inio de indicadores de desempenho.

23

25

10

20

35

10

20

30

40

19

10

14

36

33

17

19

50

19

60

3 2

70

80

No respo sta
Desco nheo a atuao do DGE/SLTI.
To talmente insatisfeito
M ais insatisfeito do que satisfeito
Nem satisfeito nem insatisfeito
M ais satisfeito do que insatisfeito
To talmente satisfeito

Grfico 2 Atuao do DGE (questo 44).


De acordo com a Diretora do DGE, em entrevista presencial, a falta de monitoramento e
avaliao dos servios e-gov e a inexistncia de indicadores se originam da dificuldade de obteno
de dados, principalmente em razo da necessidade de alteraes em sistemas legados, e da
necessidade de mudanas nos processos internos.

A Diretora informou ainda que se pretende

contratar entidade para promover a avaliao, com periodicidade anual, no modelo proposto, porm
no concludo at novembro de 2005, de avaliao de servios de governo eletrnico "Indicadores de
Qualidade de Servios Pblicos por Meios Eletrnicos.

136
Ausncia de indicadores de desempenho para o Programa
Ainda segundo a Diretora, nessa entrevista, os indicadores a serem construdos
contemplaro duas macro-reas: convenincia para o cidado (com peso de 60%) e impacto para a
Administrao Pblica (com peso de 40%). Como convenincia para o cidado, o foco principal sero
os servios finalsticos com orientao social. Sero avaliadas a maturidade do servio, a orientao
social, a capacidade de comunicao e influncia, a multiplicidade de acesso a canais, a facilidade de
uso e a transparncia e convenincia. No impacto para a Administrao, devero estar presentes as
dimenses de simplificao e transparncia de processos, melhoria do gasto e aumento da eficincia
e da eficcia. Inicialmente, sero avaliados, por grupo multidisciplinar a ser institudo, sete servios de
cada instncia (federal, estadual no Estado do Rio Grande do Sul, municipal em municpios da
Bahia), no selecionados at o final de novembro de 2005. A quantidade de acessos ser o principal
critrio de seleo dos servios. A previso era de que os resultados seriam divulgados a partir de
maro de 2006.
Divulgao deficiente de boas prticas de governo eletrnico pela coordenao do Programa
Dados coletados nos grupos focais e nas entrevistas com gestores dos servios selecionados
permitem concluir que os gestores de portais participantes no conhecem as boas prticas dos
demais. Alm disso, as diretrizes do Programa Governo Eletrnico e os documentos que as divulgam
no vm acompanhados de exemplos prticos para subsidiar a ao dos gestores nos rgos da
APF.
Ressalve-se, contudo, que tm sido organizados, pela coordenao, eventos (Oficinas de
Incluso Digital, Seminrios de Planejamento Estratgico dos Comits) que resultam em troca de
experincias entre os responsveis. De acordo com ofcio do Secretrio da SLTI (Brasil MP, 2006),
existem diversos canais de comunicao utilizados para divulgar as iniciativas de Governo Eletrnico
junto aos pblicos interno e externo: desde a divulgao em stios do governo federal e de agncias
de informao, at a publicao de matrias e entrevistas sobre as iniciativas de governo eletrnico
federal em revistas e newsletters especializadas na rea de tecnologia da comunicao, bem como
publicaes em veculos nacionais impressos e eletrnicos.

137

5.2.2 Articulao institucional


Ao avaliar o Programa sob o ponto de vista da articulao institucional, buscou-se identificar
se sua estrutura, formada pelo Comit Executivo do Governo Eletrnico (CEGE), como instncia
estratgica, e por seus Comits Tcnicos (CT), como instncias de discusso, tem sido capaz de
mobilizar os rgos da Administrao Pblica Federal (APF) na implementao da poltica. Para
tanto, a partir de dados coletados por pesquisa documental, entrevistas, grupos focais e
questionrios, foram analisadas a atuao do CEGE e dos CT, como rgos integrantes dessa
poltica. O primeiro, responsvel por formular a poltica, estabelecer diretrizes, coordenar e articular
as aes de implantao do Governo Eletrnico, vale-se do apoio do segundo. Alm disso,
constatou-se como os rgos da APF implementam seus servios eletrnicos com base nas diretrizes
e normas provenientes do Programa. Sob o aspecto da articulao institucional, foram identificados
os seguintes achados de auditoria, detalhados nos pargrafos subseqentes:

Falta de formalizao das diretrizes do Programa Governo Eletrnico;

Enfraquecimento das instncias de discusso e formulao da poltica de governo


eletrnico;

Desconhecimento, por parte da coordenao do Programa, sobre os stios do Governo


Federal, e seus respectivos responsveis, nos rgos da Administrao Pblica Federal;

Divulgao deficiente das diretrizes e documentos gerados pelo Programa Governo


Eletrnico;

Descompasso na implementao de servios eletrnicos, pelos rgos da Administrao


Pblica Federal, com base nas diretrizes do Programa Governo Eletrnico.

Falta de formalizao das diretrizes do Programa Governo Eletrnico


A partir de evidncias encontradas na pesquisa documental, principalmente em normas e
atas das reunies do CEGE, e dos coordenadores dos Comits Tcnicos, pode-se dizer que as
diretrizes do Programa no so formalizadas como deveriam e h duplicidade de instncias que
podem emitir normas sobre governo eletrnico. Apesar de contar com diretrizes oriundas das
discusses nos Comits Tcnicos, o Programa no vem consolidando suas normas de modo formal
por intermdio do CEGE, que seria a instncia autorizada legalmente para esse fim, conforme prev
o art. 7 do Regimento Interno do CEGE (Brasil CEGE, 2000). As discusses promovidas pelos

138
Comits Tcnicos, por exemplo, no vm sendo transformadas em normas pelo CEGE. Devido falta
de reunies peridicas do CEGE, as diretrizes e discusses no so formalizadas em resolues,
que seriam assinadas pelo Ministro-Chefe da Casa Civil da Presidncia da Repblica.
Enfraquecimento das instncias de discusso e formulao da poltica de governo eletrnico
Com a publicao da Portaria Normativa n 5, de 11/7/2005, do Ministrio do Planejamento,
Oramento e Gesto (Brasil MP, 2005b), a SLTI instituiu o padro e-Ping de forma compulsria no
mbito dos rgos da Administrao Pblica Federal. A publicao dessa portaria, na qual no se
observou, na pesquisa documental, meno direta ao Programa Governo Eletrnico e/ou ao CEGE,
demonstrou que normas sobre governo eletrnico, com fora para serem cumpridas pelos rgos da
APF, podem ser emitidas a partir de duas fontes:
a) Pelo CEGE, por meio de resolues;
b) Pela SLTI, por meio de portarias normativas, na condio de rgo gestor do Sistema
de Administrao dos Recursos de Informao e Informtica (Sisp), institudo pelo
Decreto n 1.048, de 21 de janeiro de 1994 (Brasil, 1994).
importante ressaltar que, de acordo com o art. 27 do Decreto n 5.433, de 25 de abril de
2005 (Brasil, 2005), cabe SLTI planejar, coordenar, supervisionar e orientar normativamente as
atividades do SISP e do SISG [Sistema de Servios Gerais], bem como propor polticas e diretrizes a
eles relativas, no mbito da administrao federal direta, autrquica e fundacional. O art. 29 desse
decreto prev que a coordenao central do Sisp fique a cargo do Departamento de Servios de
Rede/SLTI. Verifica-se, portanto, sobreposio de responsabilidades e prerrogativas com relao ao
papel normatizador a ser desempenhado pelo CEGE e pelo rgo gestor do Sisp, visto que ambas as
instncias esto amparadas, por meio de decretos, para nortear a atuao dos rgos da APF nas
reas de Governo Eletrnico e Tecnologia da Informao.
Alm do enfraquecimento do Comit Executivo do Governo Eletrnico, foram identificados
outros problemas que restringem a atuao dos Comits Tcnicos (CT) do CEGE como instncias de
discusso e formulao da poltica de e-gov. O grupo focal dos coordenadores de CT considerou,
como fato importante para a poltica, a criao desses comits em 2003. Esse tipo de organizao
para discusso dos rumos da poltica traria vantagem sobre outras estruturas, pois funcionaria, de
acordo com esses coordenadores, por meio da adeso dos rgos da APF s diretrizes do Programa.

139
Os coordenadores dos CT mencionaram, no grupo focal, que os secretrios-executivos dos
ministrios no teriam tempo para participar de reunies do CEGE, o que implica no reconhecimento
de que o tema governo eletrnico no prioridade na agenda dessas autoridades. Consideram ainda
que a forma atual de funcionamento do governo eletrnico torna desnecessrias reunies peridicas
do CEGE. Essa instncia de discusso seria chamada a atuar somente para responder a crises ou
questes muito relevantes. Os coordenadores entendem que os servidores que participam das
reunies dos CT teriam condies de responder pelos seus rgos e suprir a ausncia de seus
respectivos secretrios-executivos. De qualquer forma, cabe ressaltar que os participantes do grupo
focal de coordenadores dos Comits Tcnicos no chegaram a um consenso sobre a estrutura ideal
para o Programa, se da forma como funciona (ao menos formalmente, com o CEGE e seus Comits
Tcnicos) ou se haveria alguma outra estrutura mais adequada.
Sob o ponto de vista desses coordenadores, seria adequado e vantajoso o fato de as
recomendaes discutidas pelos Comits serem adotadas por livre adeso, e no de forma
compulsria. Destacou-se, nesse grupo, a necessidade de que fossem emitidas menos normas e
houvesse mais compromisso dos rgos envolvidos com o governo eletrnico. Alm disso, os
participantes do mencionado grupo focal consideraram que o percentual de participao de gestores
nas reunies dos Grupos de Trabalho (GT) e CT satisfatrio.
Em contraposio a essas opinies dos coordenadores de CT, os grupos focais dos 23
gestores de portais consideraram que a falta de reunies do CEGE prejudica a disseminao das
diretrizes do Programa Governo Eletrnico, o que acarretaria a falta de documentos formais para
embasar aes nos rgos da APF. No haveria, por exemplo, segundo esses gestores, respaldo
poltico para os tcnicos implementarem as medidas decididas nessas instncias de discusso, ao
retornarem das reunies dos Comits Tcnicos, em vista da inexistncia de resolues formais.
Os grupos focais dos gestores de portais, contrariando o ponto de vista dos coordenadores
de CT, apontaram baixa participao de servidores nas discusses dos Grupos de Trabalho e
Comits Tcnicos. Essa afirmao encontra suporte nos dados apurados no questionrio para
gestores de portais: dos 76 gestores respondentes, 60 afirmaram, por exemplo, nunca ter participado
de reunies do Comit Governo para Governo e 38 do Comit Tcnico de Implementao do

140
Software Livre, enquanto 14 participaram uma nica vez do Comit de Incluso Digital (Grfico 3).
Dos 76 gestores, 40 nunca participaram de grupos de trabalho (Grfico 4).

Participao em reunies dos Comits Tcnicos (N=76)

Implementao de Software
Livre
Incluso Digital

38

Gesto de Stios e Servios OnLine

11

19

50

14

41

Integrao de Sistemas

Sistemas Legados e Licenas


de Software

Gesto do Conhecimento e
Informao Estratgica

Infra-estrutura de Redes

10

12

55

58

10

12

51

45

11

13

10

11

3 1

No resposta
3

Governo para Governo

60

Nunca participei

1 vez

10

20

30

40

50

60

70

80

2 a 5 vezes
6 a 10 vezes
Mais de 10 vezes

Grfico 3 Participao em reunies dos CT (questo 37).

Quantidade de vezes em que j


participou de Grupos de Trabalho
(N=76)
10

No resposta

Nunca participei
1 vez

40

20

2 a 5 vezes
6 a 10 vezes

Mais de 10 vezes

Grfico 4 Participao em grupos de trabalho (questo 38).


As reunies dos CT, na opinio dos grupos focais de gestores de portais, tm a tendncia de
contar com menor freqncia de representantes dos rgos da APF com o passar do tempo, pelo fato
de no haver representantes formalmente designados pelos rgos nos Comits, o que acarreta
grande rodzio de representantes por rgo. Os 23 participantes desses mesmos grupos focais

141
afirmaram que no seria possvel acessar, no Portal Governo, as discusses de outros Comits
Tcnicos a no ser daqueles que o gestor participou das reunies. De acordo com a coordenao do
Programa, em entrevista individual, considerando que no h ferramenta virtual amplamente
disseminada entre os gestores envolvidos com aes de governo eletrnico, o Portal Governo, seria,
em princpio, a principal forma de disseminao das discusses em andamento, no mbito do
Programa, alm da realizao de eventos, como seminrios e oficinas.
Desconhecimento, por parte da coordenao do Programa, sobre os stios do Governo Federal, e
seus respectivos responsveis, nos rgos da Administrao Pblica Federal
Em entrevista, a coordenao do Programa afirmou no contar com lista atualizada dos
domnios do Governo Federal (.gov.br), ativos ou que j foram retirados da Internet, e dos respectivos
gestores responsveis por esses portais em cada rgo da APF. Como no h cadastro atualizado
de gestores de portais, infere-se que a coordenao do Programa tambm no tenha conhecimento
de quantos e quais so os domnios da Administrao Pblica Federal. Como exemplo desse
desconhecimento, cite-se o trabalho de atualizao, em 2003, dos domnios para a elaborao do
Sistema de Inventrio de Stios. Segundo o responsvel por sua implementao, em entrevista, esse
sistema no foi mais atualizado.
De acordo com dados dos questionrios respondidos pelos 76 gestores de portais, 54
afirmaram no ter utilizado esse sistema de inventrio e 38 no o conhecem (Grfico 5).

Sistema de Inventrio de Stios (N=76)

Voc conhece o
sistema de inventrio?

19

19

38

Sim.
Sim. Conheo, mas no utilizo.

Voc j utilizou o
sistema de inventrio?

22

10

No.

54

20

30

40

50

60

70

80

Grfico 5 Sistema de Inventrio de Stios (questes 39 e 40).

142
Dentre as 15 pessoas que utilizaram o sistema, em questo que permitia mltiplas respostas,
trs consideram importante a ferramenta para trocar experincias com outros gestores da rea, sete
utilizam o sistema para identificar os estgios de implementao de outros portais do Governo
Federal, nove identificam outras estruturas gerenciais em portais, valendo-se do sistema, e 10
acompanham os avanos de outros portais do Governo Federal por meio do inventrio (Grfico 6).

Motivos que levam voc a utilizar esse sistema de inventrio de stios federais (N=76)

No resposta
3

No utilizo esse sistema.

52
15

Uso esse sistema para trocar experincias com outros gestores da minha rea.

9
10

Uso esse sistema para identificar os estgios de implementao de outros portais do governo
federal.
Uso esse sistema para identificar outras estruturas gerenciais em portais do governo federal.

Uso esse sistema para acompanhar os avanos de outros portais do governo federal.

Grfico 6 Motivos que levam ao uso do Sistema de Inventrio de Stios (questo 41).

Sis te m a de inve ntrio de s tios gove r nam e ntais fe de r ais

13

impo rt ant e at ualizar esse sist ema.

24

14

preciso ap rimorar esse sist ema.

A s inf orma es no so consult adas


p ara f ins de monit orament o dos
s t io s governament ais f ed erais.

O port al da minha inst it uio no


supervisionad o po r out ro rg o da
ad minist rao pb lica.

22

13

Esse sist ema deveria t er maior


divulgao p ara a consolidao d o
p ort al rede go verno.

13

14

14

10

20

10

27

29

13

Esse sist ema deveria t er maior


divulgao p ara unif icar as aes de
e-go v.

11

26

14

21

12

10

10

10

23

45

2 2

30

(N=76)

44

40

50

60

70

80

N o respo sta
N o se aplica
D isco rdo to talm ente
D isco rdo m ais do que co nco rdo
C o nco rdo mais do que disco rdo
C o nco rdo to talmente

Grfico 7 Outras perguntas sobre o Sistema de Inventrio de Stios (questo 42).

143
O mesmo questionrio permitiu identificar que 38 dos 76 respondentes consideram
importante atualizar esse sistema, 31 acham que o sistema precisa ser aprimorado e 45 consideram
que o Sistema de Inventrio de Stios deveria ter mais divulgao para unificar as aes de e-gov
(Grfico 7, p. 142).
Durante a pesquisa, houve dificuldade de contactar os responsveis pelos portais do Governo
Federal, a partir da lista de representantes de diversos rgos da APF nos Comits Tcnicos do
CEGE, recebida da coordenao do Programa e formalizada pela Portaria Interministerial ccivil/MP n
793, de 17/9/2004 (Brasil, 2004). Conclui-se, portanto, que a coordenao do Programa no mantm
tal lista devidamente atualizada e, por conseqncia, desconhece os atuais responsveis pelos
portais do Governo Federal, nos rgos da Administrao Pblica Federal.
De acordo com os grupos focais de gestores de portais, o Portal Governo, que poderia servir
de ponto de apoio virtual da coordenao do Programa para os gestores envolvidos com governo
eletrnico, no de amplo conhecimento desses servidores e, mesmo aqueles que o conhecem, no
utilizam com freqncia suas funcionalidades. Ressalte-se que, de acordo com entrevista feita com a
coordenao do Programa, no h ao no sentido de garantir que ao menos um servidor de cada
rgo da APF tenha acesso freqente ao Portal Governo.
Como efeitos desse desconhecimento de portais e seus respectivos gestores, pode-se
concluir que a coordenao no tem condies de saber, como um todo, o que vem sendo realizado
nos rgos da APF em termos de aes relacionadas a governo eletrnico. Como conseqncias
apontadas nos grupos focais de gestores de portais, esse desconhecimento inviabilizaria,
coordenao do Programa, o acompanhamento quanto ao cumprimento das normas de e-gov por
esses rgos, o monitoramento e avaliao de seus domnios, alm de dificultar contato mais
prximo da coordenao do Programa com os gestores envolvidos com governo eletrnico nos
rgos da APF.
De acordo com os gestores participantes dos grupos focais, essa falta de interao entre a
coordenao do Programa e os gestores de portais, e entre esses prprios gestores, pelo fato de no
conhecerem um ao outro, inviabiliza, inclusive, a troca de experincias acerca de projetos de governo
eletrnico. Na rea de Comunicao Social, entretanto, parece haver boa interao entre a

144
Presidncia da Repblica (especificamente a Secom) e os rgos da APF, por meio de suas
assessorias de comunicao social, fato tambm apontado nos grupos focais de gestores de portais.
Divulgao deficiente das diretrizes e documentos gerados pelo Programa Governo Eletrnico
Outro problema destacado nesses grupos focais refere-se ao fato de que no somente as
diretrizes, mas tambm os documentos gerados pela coordenao do Programa, sobre assuntos
como acessibilidade, interoperabilidade (e-Ping) e software livre, no esto amplamente
disseminados junto aos gestores da Administrao Pblica Federal, motivo pelo qual a maioria dos 23
participantes desconhecia parte dessas diretrizes e documentos. A falta de divulgao de diretrizes e
documentos do Programa foi uma das principais barreiras apontadas por 26 gestores de portais, do
total de 76 que responderam questo aberta n 27 do questionrio a eles dirigido, como empecilho
ao desenvolvimento da poltica na sua instituio.
Especificamente quanto a atos normativos do Programa (Grfico 8), 23 dos 76 gestores de
portais afirmaram, em resposta aos questionrios, que desconhecem a Resoluo CEGE n 7/2002
(Brasil CEGE, 2002) e 40 desconhecem o documento Padres de Interoperabilidade do Governo
Brasileiro - e-Ping (Brasil CEGE, 2005). O documento mais conhecido (por 63 dos 76 gestores
participantes do levantamento), mais divulgado e mais fcil de ser cumprido, na opinio dos
respondentes (Grfico 8; Grfico 9, p. 145; e Grfico 10, p. 145), dentre os seis documentos citados
no questionrio, foi o Manual de Identidade Visual (Brasil SECOM).

Voc conhece a norm a/recom endao ...?

53

Resoluo n 7 do CEGE
Cart ilha de Usabilidade 1
Cart ilha Tcnica Acessibilidade

23

37

38

41

M odelo de Acessibilidade 1

(N=76)

33

38

No resposta
Sim

37

No
E-ping

35

40

63

M anual de Ident idade Visual

10

20

30

13

40

50

60

70

80

Grfico 8 Conhecimento de normas e recomendaes (questes 3 a 8).

145

Divulgao da norm a/recom endao

22

Resoluo n 7 do CEGE

17

17

Cart ilha de Usabilidade

29

18

Cart ilha Tcnica Acessibilidade

30

20

M odelo de Acessibilidade

30

19

(N=76)

13

12

11

12

No resposta

3 2

11

3 2

1 - pouco divulgada
2

33

E-ping

11

19

11

3
4

5 - muito divulgada
11

M anual de Ident idade Visual

14

10

16

20

30

16

40

13

50

60

70

80

Grfico 9 Divulgao das normas e recomendaes (questes 3 a 8).

Facilidade de cum prim ento da norm a/recom endao

25

Resoluo n 7 do CEGE

Cartilha de Usabilidade

35

Cartilha Tcnica Acessibilidade

35

M odelo de Acessibilidade

36

24

15

13

17

17

(N=76)

No resposta

1 - difcil de ser cumprida

2
9

42

E-ping

10

13

12

3
4

10

5 - fcil de ser cumprida

M anual de Identidade
Visual

15

10

10

20

24

30

40

26

50

60

70

80

Grfico 10 Facilidade de cumprimento das normas e recomendaes (questes 3 a 8).


Apesar desse quadro negativo, o Secretrio da SLTI/MP ressaltou, em seu Ofcio (Brasil
MP, 2006), que constou como fonte de informao da pesquisa documental, os esforos expedidos
pela sua Secretaria no sentido de disseminar os documentos produzidos, realizando consultas
pblicas e audincias pblicas em diversos estados. Apresentou, como exemplo, as seis audincias
pblicas da arquitetura e-Ping, nas cidades de Porto Alegre, So Paulo, Braslia, Rio de Janeiro, Belo
Horizonte e Recife, que reuniram 290 pessoas, representando 68 empresas privadas e 69 rgos de
governo, em mbito federal, estadual e municipal, e a consulta pblica da e-Ping, feita pela Internet,

146
que recebeu 95 contribuies e 16 comentrios. Outra boa prtica, citada no grupo focal

com

coordenadores de CT e que pode ser considerada uma medida mobilizadora do Programa junto aos
rgos da APF, foi a aprovao das diretrizes do Programa Governo Eletrnico (Brasil MP, 2004a)
em evento que reuniu, em 2004, aproximadamente 600 gestores envolvidos com e-gov.
A falta de divulgao e o desconhecimento do Programa, entretanto, tambm foram
apontados, pelos 76 gestores de portais que responderam pesquisa on-line, como barreiras
implementao de portais e-gov. Outros fatores que dificultam tal implementao, tais como
necessidade de conscientizao, aliada resistncia e falta de cultura de e-gov; excluso digital;
indefinio de prioridades e de estabelecimento de aes conjuntas; falta de estrutura,
qualificao/capacitao e recursos financeiros, foram tambm mencionados nessa questo aberta
(questo 27 do questionrio para gestores de portais).
Um exemplo de divulgao deficiente de documentos relacionados ao Programa refere-se
Portaria Normativa n 5, de 11/7/2005 (Brasil MP, 2005b), do Ministrio do Planejamento,
Oramento e Gesto, que instituiu, de forma compulsria, o padro e-Ping no mbito da APF. Em
pesquisas feitas na Internet, essa norma no estava disponvel no portal do Programa em novembro
de 2005, local onde seria esperado encontr-la, embora pudesse ser acessada no portal do
Ministrio.
Descompasso na implementao de servios eletrnicos, pelos rgos da Administrao Pblica
Federal, com base nas diretrizes do Programa Governo Eletrnico
As diretrizes oriundas do Programa no tm sido capazes de uniformizar o estgio de
desenvolvimento de governo eletrnico nos rgos da Administrao Pblica Federal. De acordo com
o grupo focal de coordenadores de Comits Tcnicos, a adeso dos rgos da APF s diretrizes do
Programa se d em camadas diferentes, sendo que cada rgo implementa aes de acordo com
seu tempo disponvel, sua evoluo e condies tecnolgicas, alm de suas prprias necessidades e
prioridades. Alm desses fatores, os grupos focais de gestores de portais mencionaram a cultura
incipiente de governo eletrnico na Administrao Pblica como empecilho implementao das
diretrizes.

147
Os sistemas legados, alguns com mais de 20 anos de operao, seriam outra barreira ao
desenvolvimento de servios e-gov. De acordo com os coordenadores de CT, o legado influencia, de
modo decisivo, na adeso do rgo s diretrizes do Programa. Os gestores de portais afirmaram, nos
grupos focais, que a excessiva terceirizao na rea de Tecnologia da Informao tambm dificulta o
incremento do governo eletrnico.
Os rgos com estgio incipiente de desenvolvimento de servios eletrnicos no contam
com apoio da coordenao do Programa para implementar seus projetos de e-gov, conforme opinio
manifestada nos grupos focais com 23 gestores de portais. Alm disso, esses gestores observaram
que as diretrizes do Programa no vm acompanhadas de recursos prticos para sua
implementao.
Os grupos focais de gestores de portais tambm destacaram que os recursos para grandes
projetos de governo eletrnico no tm, necessariamente, ligao com o Programa, constando das
aes de Tecnologia da Informao de cada rgo na Lei Oramentria Anual. De acordo com o
documento 2 Anos de Governo Eletrnico (Brasil Casa Civil, 2002, p. 21), esse foi um dos fatores
que limitaram o alcance do Programa:
Outro conjunto de projetos teve sua implementao equacionada com relativa
independncia em relao s instncias de coordenao do Governo Eletrnico.
Trata-se de projetos conduzidos por rgos com oramentos e volume de
servios expressivos, nas reas de educao, sade e previdncia social.
No grupo focal dos coordenadores de Comits Tcnicos reconheceu-se a dificuldade que o
Programa Governo Eletrnico tem para fazer com que suas regras sejam cumpridas pelos rgos da
APF, pelo fato de no ter ingerncia sobre as prioridades de atuao de cada um deles e de no ter
como influir em seus processos internos. Ressaltou-se que problemas relacionados infra-estrutura e
capacitao de servidores influenciam nas mudanas propostas pelo Programa para serem
implementadas nos rgos da APF. Alm disso, nos grupos focais de gestores de portais, foi
observado que a coordenao do Programa, por no deter poder sobre os oramentos dos rgos,
no teria condies de cobrar o cumprimento de diretrizes.

148

5.3 Contextos dos servios pblicos eletrnicos selecionados


Neste tpico, so analisados os contextos dos cinco servios pblicos eletrnicos
selecionados para esta pesquisa.

5.3.1 Os servios da Previdncia


No gerenciamento dos servios da Previdncia esto envolvidas trs entidades: o Ministrio
da Previdncia Social, como rgo superior, o Instituto Nacional do Seguro Social (INSS), autarquia
vinculada, e a Empresa de Tecnologia e Informaes da Previdncia Social Dataprev, empresa
pblica tambm vinculada ao Ministrio, que presta os servios de processamento e tratamento de
dados da previdncia e assistncia social.
Segundo a Assessoria de Comunicao Social do Ministrio, em entrevista presencial, o
portal da Previdncia Social (Figura 10) foi criado em 1997 e cresceu desordenadamente ao longo
dos anos. No ano de 1997, foi realizada reestruturao com o objetivo de facilitar o acesso a servios
e informaes, para minimizar o problema das filas nas Agncias. Essa reformulao resultou na
segmentao do contedo por pblico-alvo (trs perfis: trabalhador sem previdncia, trabalhador com
previdncia e empregador). Foram realizadas pesquisas de opinio, anlise estatstica de visitao,
teste de usabilidade e avaliao de sugestes recebidas por correio eletrnico.

Fonte:www.previdencia.gov.br, acessado em 02/12/2005.

Figura 10 Portal da Previdncia Social.

149
No ano de 2005, o objetivo da Assessoria de Comunicao Social era efetuar nova
reformulao do portal, com a criao de um quarto perfil (aposentados e pensionistas), nova
disposio dos servios e informaes e implementao da acessibilidade para portadores de
deficincia visual. Como objetivo importante, citado na entrevista com essa Assessoria, destaca-se
ainda o estreitamento do relacionamento com o pblico que utiliza o portal, diminuindo, dessa forma,
a demanda nos canais de comunicao convencionais.
De acordo com o demonstrativo fornecido pelo DGE, o grupo Previdncia foi o segundo
mais acessado no Portal Rede Governo no perodo de 28/09 a 27/11/2005, ficando atrs apenas do
grupo Correios. Estatsticas fornecidas pela Assessoria de Comunicao Social do Ministrio da
Previdncia Social indicam que houve cerca de 32 milhes de acessos a servios no ano de 2004.
Em relao a nmero de pessoas, a Diretoria de Atendimento informou, em entrevista, que
cerca de 3,6 milhes de pessoas so atendidas por ms pelo INSS, e que em torno de 36 mil
benefcios por incapacidade so requeridos mensalmente pela Internet, tendo sido estabelecida a
meta de efetuar cerca de 280 mil benefcios por ms, at dezembro de 2006 (correspondendo a 70%
do total de benefcios, incluindo os solicitados nas agncias). Para os servios selecionados, no
perodo em que a pesquisa de satisfao on-line esteve disponvel (02/11 a 19/11/2005), foram
requeridos 4,42% pela Internet, o que demonstra que, como meio de prestao de servios, a rede
mundial ainda subutilizada, no obstante os benefcios que resultariam do incremento no uso, tanto
para o cidado, pela reduo do tempo de atendimento, sem necessidade de enfrentar filas, como
para a Administrao, pela racionalizao dos custos.
Auxlio-Doena
O Auxlio-Doena, um dos servios pblicos eletrnicos selecionados para esta pesquisa,
um benefcio concedido ao segurado impedido de trabalhar por doena ou acidente por mais de 15
dias consecutivos. No caso dos trabalhadores com carteira assinada, os primeiros 15 dias so pagos
pelo empregador, e a Previdncia Social paga a partir do 16 dia de afastamento do trabalho. Para o
contribuinte individual (empresrio, profissionais liberais, trabalhadores por conta prpria, entre
outros), a Previdncia paga todo o perodo da doena ou do acidente desde que o trabalhador tenha
requerido o benefcio.

150
Para concesso de Auxlio-Doena, necessria a comprovao da incapacidade em exame
realizado pela percia mdica da Previdncia Social. Ao efetuar a solicitao do Auxlio-Doena pela
Internet, j agendada a percia mdica na Agncia mais prxima do solicitante, quando dever
tambm levar a documentao necessria.
Da anlise da pesquisa de satisfao (questionrio on-line) efetuada com os solicitantes
deste servio, verificou-se que muitas das crticas efetuadas no estavam relacionadas utilizao
da Internet, como meio de prestao de servios, e, sim, ao prprio servio. Destacaram-se as
reclamaes sobre o no-cumprimento, pelos mdicos peritos, dos horrios agendados, o que gera
idas infrutferas s Agncias e necessidade de remarcao de percias, resultando em falta de
credibilidade quanto utilizao da Internet como meio de acesso ao servio (questo 8 do
questionrio 1).
Tais falhas evidenciam a necessidade de reformulao dos processos de trabalho da
instituio para possibilitar maior efetividade na utilizao da Internet. Segundo informao obtida em
entrevista no DGE/SLTI, o servio de requerimento de auxlio-doena ser reformulado, num projetopiloto a ser desenvolvido por equipe da coordenao do Programa, em conjunto com o INSS.
Penso por Morte
Outro servio da Previdncia selecionado, a Penso por Morte, o benefcio pago famlia
do trabalhador quando ele morre, deixando de ser pago quando o pensionista morre, quando se
emancipa ou completa 21 anos (no caso de filhos ou irmos do segurado) ou quando acaba sua
invalidez (no caso de pensionista invlido).
O servio s prestado, via Internet, se efetuado at doze meses aps o bito do exsegurado que estava em gozo de qualquer benefcio previdencirio na data do bito. Aps esse
perodo e, tambm, no caso de dependente menor de 16 anos que necessite de representante legal
(tutor ou curador), o requerimento de penso deve ser entregue na Agncia da Previdncia Social.
Salrio-Maternidade
Por fim, o Salrio-Maternidade, tambm selecionado para esta pesquisa, o benefcio
concedido s trabalhadoras que contribuem para a Previdncia Social, tendo direito a 120 dias de

151
salrio no perodo em que ficam afastadas do emprego por causa do parto, ou em caso de adoo,
segundo as regras estabelecidas. O pagamento do salrio-maternidade das gestantes empregadas
feito diretamente pelas empresas empregadoras, com o devido ressarcimento pela Previdncia
Social. As contribuintes individuais, facultativas e empregadas domsticas, bem como as mes
adotivas, devem pedir o benefcio nas Agncias da Previdncia Social, ou mediante o requerimento
disponvel na Internet.
Para proceder solicitao do benefcio na Internet, necessrio preencher o formulrio
disponvel no portal da Dataprev, o qual dever ser assinado e encaminhado, pelo correio, ao
endereo especificado, com a documentao comprobatria (atestado mdico ou certido de
nascimento). Caso haja inconsistncias nos dados cadastrais ou nas remuneraes informadas, em
relao ao Cadastro Nacional de Informaes Sociais-CNIS/Prevcidado, no ser possvel efetuar o
requerimento, tornando-se necessria a ida a alguma Agncia da Previdncia Social (APS), o que
limita a utilizao do servio.
Aps o requerimento pela Internet, gerado processo, em papel, que examinado, de forma
manual, por servidores do Instituto. De acordo com a Diretoria de Atendimento, em entrevista, foram
criadas 2002 Agncias Virtuais em 72 Gerncias Executivas para descentralizar a anlise dos
processos de requerimentos de salrio-maternidade, antes realizada em uma nica agncia,
localizada em Braslia.

5.3.2 O Programa Nacional de Estmulo ao Primeiro Emprego


Jovens com idade entre 16 e 24 anos podem participar do Programa Nacional de Estmulo ao
Primeiro Emprego (PNPE) mediante preenchimento de cadastro, comprovante de escolaridade e
apresentao de carteira de trabalho em postos do Sistema Nacional de Emprego (Sine) ou nas
Delegacias Regionais do Trabalho, nos estados, e aguardar convocao para entrevista de trabalho.
Uma outra possibilidade a inscrio pela Internet (Figura 11, p. 152). requisito fundamental
possuir renda familiar per capita de at meio salrio mnimo, no ter experincia de trabalho, estar
freqentando a escola ou ter concludo algum curso.

152

Fonte:www.trabalho.gov.br/futurotrabalhador/primeiroemprego/default.asp, acessado em 25/11/2005.

Figura 11 Portal do PNPE.


As aes do Programa contemplam, em linhas gerais, atividades relacionadas com captao
de vagas; servio civil voluntrio; jovem empreendedor; soldado cidado, aprendizagem e Consrcio
Social da Juventude. O PNPE integra as polticas pblicas de emprego e renda buscando parceria
com investimentos privados de modo a gerar mais e melhores empregos e assim combater a pobreza
e a excluso social. De acordo com seu gestor, em entrevista, o formulrio para inscrio no
Programa Nacional de Estmulo ao Primeiro Emprego, disponvel no Portal do MTE, foi lanado em
meio eletrnico em setembro de 2004, e sua ltima remodelagem significativa ocorreu em outubro de
2005, para adequao realidade de desenvolvimento tecnolgico do Ministrio.

5.3.3 A Declarao Anual de Isento


A Declarao Anual de Isento (DAI) foi desenvolvida no ambiente da Declarao de Ajuste
Anual do Imposto de Renda/Pessoa Fsica para inserir aquele contribuinte fora dos limites de
obrigatoriedade de entrega da Declarao de Ajuste. O cidado portador de CPF (Cadastro de
Pessoas Fsicas) que no entregar, por um ano, a declarao de isento, entrar, primeiramente, na
lista de pendentes da Secretaria da Receita Federal e, por dois anos, ter o nmero cancelado.
De

acordo

com

informaes

disponveis

no

endereo

eletrnico

www.receita.fazenda.gov.br/pessoafisica/isento/2005/Orientacoes/default.htm#Omisso%20na%20en

153
trega, em 1/11/2005, as pessoas fsicas com CPF suspensos, enquanto no regularizarem a sua
situao, no podero abrir contas ou poupanas em bancos, tomar emprstimos, participar de
concursos pblicos, tirar passaporte, receber aposentadoria oficial, assinar financiamento habitacional
oficial ou receber eventual prmio de loteria, em suma, tero sua vida financeira complicada. A
Secretaria da Receita Federal oferece este servio por diversos canais, aos seguintes custos:
A) por meio da Internet, no endereo eletrnico da Receita, sem custos (Figura 12);
B) nas casas lotricas, por meio eletrnico, ao custo de R$ 1,00;
C) nas instituies bancrias autorizadas e seus correspondentes bancrios, por meio
eletrnico, ao custo de R$ 1,00;
d) Nas agncias e nas lojas franqueadas da Empresa Brasileira de Correios e
Telgrafos (ECT), nas modalidades Via Postal Registrada ou meio eletrnico, nos
locais onde for oferecido o servio, ao custo de R$ 2,40.

Fonte: www.receita.fazenda.gov.br/pessoafisica/isento/2005/Isento2005servicos.htm, acessado em 11/11/2005.

Figura 12 Portal da DAI.


Em relao s questes operacionais, esto autorizados a receber a Declarao Anual de
Isentos a ECT, a Caixa Econmica Federal (CEF) e o Banco Popular do Brasil, que devem envi-las
diariamente ao Servio Federal de Processamento de Dados (Serpro). As declaraes enviadas pela
Internet, do Brasil e do exterior, so, tambm, recepcionadas pelo Serpro.

154
A Declarao Anual de Isento, disponvel no Portal da Receita Federal, foi lanada, em meio
eletrnico, em agosto de 1998, e sua ltima remodelagem significativa ocorreu em 2005, por
questes de segurana de dados, segundo seu gestor, em entrevista presencial. Para facilitar o
acesso do usurio nos ltimos dias de preenchimento da Declarao Anual de Isento eletrnica, ao
final do ms de novembro de 2005, a Receita Federal passou a adotar, como sua pgina inicial na
Internet, o servio DAI.

5.4 Avaliao dos servios pblicos eletrnicos selecionados


As questes de auditoria do modelo proposto no item 3.5 (p. 96) que nortearam esta etapa da
avaliao foram: Os padres adotados para os servios e-gov so atendidos? e Os cidadosclientes esto satisfeitos ou insatisfeitos com os servios e-gov?. Alm de avaliar os servios
pblicos eletrnicos selecionados, por meio de pesquisas de satisfao, baseadas no modelo
apresentado no item 3.4 (p. 90), porm sem a pretenso de generalizao de seus resultados,
buscou-se tambm identificar se h polticas de avaliao e monitoramento desses servios, a partir
de uma adaptao da questo de auditoria j tratada na avaliao do Programa (p. 133), e se a
prestao de servios via Internet est orientada diretamente ao cidado. Para tanto, foi verificado se
os rgos da APF consideram a qualidade e o foco no cidado no planejamento e implementao de
seus servios eletrnicos. Sob esses aspectos, foram identificados os seguintes achados de
auditoria, detalhados nos pargrafos subseqentes:

Insuficincia de monitoramento e avaliao sistemticos no mbito interno dos rgos da


APF;

Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;

Baixa porcentagem de servios transacionais, orientados diretamente ao cidado;

Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que


facilitariam o acesso e o uso de servios pblicos eletrnicos pelo cidado.

Insuficincia de monitoramento e avaliao sistemticos no mbito interno dos rgos da APF


Alm de no terem sido elaborados instrumentos de monitoramento e avaliao pela
coordenao, identificou-se, em entrevistas individuais com os gestores dos servios pblicos
selecionados, que, no mbito interno da maior parte dos rgos da Administrao pesquisados, no

155
h mecanismos sistemticos de avaliao e monitoramento. Constatou-se que apenas trs dos 76
gestores de portais participantes da pesquisa on-line (Grfico 11) informaram ter poltica formal de
avaliao e monitoramento do portal de servios eletrnicos de seu rgo (37 gestores no tm
poltica e 36 tm poltica aplicada informalmente). Ressalte-se, ainda, que 46 dos 76 gestores
participantes da pesquisa on-line informaram que no so elaborados relatrios gerenciais dos
portais de seus respectivos rgos, inviabilizando, assim, a definio de indicadores (Grfico 12).

H poltica de avaliao do portal


de servios pblicos eletrnicos ?
(N=76)
3

A que unidades so
encam inhados os relatrios
gerenciais do portal ?
3
7

(N=76)

37

36

10
3

Sim, h po ltica fo rmalmente definida.


Sim, mas aplicada info rmalmente.
No .

Grfico 11 Poltica de avaliao (questo 17).

46

No respo sta
No so elabo rado s relat rio s gerenciais.
rea pro vedo ra de co ntedo do servio .
rea gesto ra do po rtal.
A ssesso ria de Co municao So cial.
Outras

Grfico 12 Relatrios gerenciais (questo 23).

Os gestores dos grupos focais tambm relataram no utilizar instrumentos de monitoramento


e avaliao, com exceo da anlise de taxas de acesso, utilizada pela maioria. As duas tcnicas
mais citadas pelos 76 gestores que responderam pesquisa on-line (questionrio para gestores de
portais) foram a anlise de reclamaes, crticas e sugestes dos usurios e o exame do
comportamento de visitas ao servio (Grfico 13, p. 156). Foi referido, ainda, nos grupos focais, que
os instrumentos, quando existem, so solues internas de TI, no institucionalizados nos rgos.

156

Principais tcnicas usadas para monitoramento e avaliao do Portal

(N=76)

No r espost a

29

Anlise de padr es de t r f ico web.


Comport ament o de visit as ao ser vio.

38
32

Anlise de desempenho do port al.


14

Af er io de t empo de at endiment o do ser vio.

17

Pesquisa de sat isf ao.


11

Grupos f ocais de usurios.

54

Anlise de r eclamaes, cr t icas e sugest es dos usurios.


10

Out r as.

10

20

30

40

50

60

Grfico 13 Tcnicas usadas para monitoramento e avaliao do portal (questo 22).


Na maioria dos 76 casos reportados, em questes que permitiam mltiplas respostas, tanto
monitoramento quanto avaliao so executados pelo gestor do portal (Grfico 14 e Grfico 15). A
freqncia do monitoramento tem sido diria enquanto a avaliao tem sido feita aps alguma
alterao significativa, na maioria dos 76 casos (Grfico 16 e Grfico 17, p. 157).

A quem cabe o m onitoram ento


dos servios pblicos eletrnicos
do seu rgo ou entidade ?
19

10

A quem cabe a avaliao dos


servios pblicos eletrnicos do
seu rgo ou entidade ?

(N=76)

25

13

(N=76)

8
11

2
54

48

2
6

Provedor de cont edo do servio.

Provedor de cont edo do servio.

Gest or do port al.

Gest or do port al.

Audit oria int erna.

Auditoria int erna.

Comit Tcnico de Gesto de S t ios e Servios Online.


Depart amento de Governo Elet rnico (Secretaria
de Log st ica e Tecnologia da Inf ormao).
No sei/desconheo

Comit Tcnico de Gest o de St ios e Servios Online.


Depart ament o de Governo Elet rnico (Secret aria
de Logst ica e Tecnologia da Inf ormao).
No sei/ desconheo

Out ros

Out ros
No respost a

Grfico 14 Responsvel pelo monitoramento


(questo 18).

Grfico 15 Responsvel pela avaliao


(questo 19).

157

Freqncia com que o portal


m onitorado

Freqncia com que o portal


avaliado

(N=76)

11

3
14

(N=76)

No respost a

No respost a

Nunca f oi avaliado.

13

Nunca f oi monitorado.

Diariament e.

Semanalment e

Semestralment e.

41

Quinzenalment e.

40

M ensalment e.

Anualment e.

Trimest ralment e.
M ensalment e.
Aps alguma alterao
signif icat iva.

Grfico 16 Freqncia de monitoramento


(questo 20).

Grfico 17 Freqncia de avaliao (questo


21).

Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios
A partir de dados obtidos nos grupos focais e nas entrevistas com os gestores dos servios
selecionados para esta pesquisa, foram confirmados os resultados quantitativos do questionrio
respondido pelos 76 gestores de portais da APF, de que, alm da anlise de sugestes, crticas dos
usurios, a maioria no utiliza tcnicas de prospeco, monitoramento e avaliao dos servios sob o
ponto de vista do cidado (Grfico 13, p. 156; e Grfico 18, p. 158), conforme previsto no art. 3,
inciso II, que trata da definio do pblico-alvo, e art. 7, inciso II, sobre pesquisa de satisfao,
ambos da Resoluo CEGE n 7/2002. O desconhecimento das necessidades e opinies do pblicoalvo tambm contraria, de certa forma, o item b da 1 diretriz estratgica do Relatrio Consolidado do
Comit Executivo do Governo Eletrnico, de maio de 2004 (Brasil MP, 2004a), que trata da
promoo da cidadania, como prioridade.

158

Principais tcnicas utilizadas para garantir o atendimento aos padres mnimos de qualidade do
Portal, antes de ser colocado disposio dos usurios.
(N=76)

0
No resposta

10

20

30

40

50

Testes commecanismos de busca.

33

Testes automticos para validao de cdigo.

24
21

Testes automticos para avaliao de acessibilidade.


Testes com diversas configuraes de computador (por exemplo, diferentes navegadores,
diferentes resolues de vdeo, comfiguras desabilitadas).

52

Testes comequipamentos, software e tcnicas adaptadas para portadores de


necessidades especiais.

Testes emlaboratrios de usabilidade.

11
47

Avaliao da qualidade do contedo

50

Avaliao da utilidade do contedo


43

Avaliao de acessibilidade realizada pela prpria equipe.

53

Avaliao de usabilidade realizada pela prpria equipe.


Avaliao de segurana realizada pela prpria equipe.
Contratao de consultoria para avaliar acessibilidade.
Contratao de consultoria para avaliar usabilidade.
Contratao de consultoria para avaliar segurana.

47
5
6
8
32

Anlise de estimativas de uso.


Anlise da adequao ao ambiente web
Identificao das configuraes de computador dos usurios.

41
18
52

Anlise de sugestes, crticas de usurios dos servios do rgo


Consulta a grupos de usurios.

60

22

Grfico 18 Tcnicas usadas antes do lanamento do portal (questo 15).


Na avaliao heurstica dos servios selecionados, foi tambm observado que algumas
instituies no estruturam seus portais e servios de acordo com o perfil do pblico-alvo, tal como
preconiza uma das diretrizes do Comit de Gesto de Stios e Servios On-line.
Ao se comparar as respostas da pesquisa de satisfao, dadas pelos usurios dos servios
selecionados, e a percepo dos gestores quanto ao perfil e satisfao de seus clientes, foram
detectadas divergncias quanto importncia dada a algumas dimenses. Alguns gestores
consideraram mais importantes a facilidade de navegao pelas pginas eletrnicas, a acessibilidade

159
no preenchimento dos dados solicitados e a possibilidade de atendimento a dvidas via Internet,
enquanto que os usurios valorizaram mais a rapidez na prestao do servio eletrnico, a
privacidade e segurana de dados, a acessibilidade no preenchimento dos dados solicitados e a
disponibilidade do servio, a partir do momento em que conseguem acesso Internet (Grfico 19). As
principais dificuldades apontadas pelos usurios foram medo de que seus dados no fossem
devidamente protegidos e no disponibilidade do servio, alm da dificuldade de acesso Internet
(Grfico 20, p. 160). Alm dessas, os gestores dos servios avaliados apontaram ainda a dificuldade
no preenchimento dos dados solicitados e a falta de confiana no servio eletrnico.

Itens im portantes em um servio pblico eletrnico (total: 2086 respondentes)


0
No respo sta

200

400

600

800

1000

1200

177

Facilidade de acesso Internet.


Facilidade de enco ntrar a pgina do servio na Internet.

1127

641

Facilidade de navegar pelas pginas do servio na Internet.

545
889

Facilidade de preenchimento do s dado s so licitado s.


O servio Internet estar sempre dispo nvel.

823

Co nfiana no servio prestado pela Internet.

550
909

Segurana de que meus dado s pesso ais sero pro tegido s.


Po ssibilidade de atendimento a dvidas e reclama es.

475

Rapidez na prestao do servio .

947

56

Grfico 19 Itens importantes no uso de servios eletrnicos (Q1_6 ).

56

Q1 questionrio 1 (Apndice 9.9, p. 267); Q2 questionrio 2 ( Apndice 9.10, p. 270), ambos respondidos por usurios
dos servios selecionados para a pesquisa. Os nmeros aps o travesso correspondem s questes do respectivo
questionrio.

160

Principais dificuldades no uso do servio eletrnico (total: 2419 respondentes)


0

100 200 300 400 500 600 700 800 900 1000

No respo sta

615

Dificuldade de acesso Internet.

704

Dificuldade de enco ntrar a pgina do servio na Internet.

293

Dificuldade de navegar pelas pginas do servio eletr nico .


Dificuldade no preenchimento do fo rmulrio eletr nico .

317
186

O servio eletr nico estava fo ra do ar.


Falta de co nfiana no servio prestado pela Internet.

773
424

M edo de que meus dado s pesso ais no sejam pro tegido s.

913

Falta de atendimento a dvidas e reclama es.


Demo ra na prestao do servio .

528
407

Grfico 20 Principais dificuldades no uso de servios eletrnicos (Q2_6).


Baixa porcentagem de servios transacionais, orientados diretamente ao cidado
A baixa porcentagem de servios transacionais (tarefas realizadas pela Internet, sem
necessidade de outro meio), com foco no cidado, foi evidenciada logo no incio da pesquisa, durante
entrevistas para seleo dos servios, nas reas de Educao, Previdncia, Sade, e Trabalho e
Emprego, que poderiam ser objetos de estudo mais detalhado nesta pesquisa. O Ministrio da
Sade, por exemplo, no foi selecionado para esta pesquisa justamente porque seus servios mais
avanados, classificados como de interatividade limitada e transaes eletrnicas, tm, como pblicoalvo, os gestores da rea de Sade e no propriamente o cidado.
A maior parte dos gestores de portais (40 de 59 que responderam questo 33 na pesquisa
on-line - Grfico 21, p. 161) informou ter menos de 10 servios disponveis no portal de sua
instituio, com predominncia de servios no estgio de apresentao de informaes (Grfico 22,
p. 161). Mesmo a Previdncia Social que, em princpio, tinha maior quantidade de servios
transacionais voltados ao cidado, apresenta, em seu portal principal, maior porcentagem de servios
no estgio inicial de apresentao de informaes (67,71% dos 192 links acessados em novembro de
2005).

161
As principais causas dessa baixa porcentagem de servios transacionais para atendimento
direto ao cidado, citadas pelos gestores de portais participantes da pesquisa on-line (questo aberta
n 27 do questionrio) e dos grupos focais, foram a dificuldade de integrao dos sistemas legados e
plataformas tecnolgicas heterogneas, e o fato de a Internet ainda no ser vista, pelos dirigentes da
APF, como canal estratgico de prestao de servios ao cidado. Foi tambm mencionada, como
barreira, no grupo focal de coordenadores de CT, a dificuldade de integrao com estados e
municpios para aplicaes G2G.

Quantidade de servios pblicos


eletrnicos disponveis no Portal

Estgio de governo eletrnico


predom inante

(N=76)

(N=76)

17

No respo sta

No respo sta

11

A presentao de
info rma es.

M eno s de 10

De 10 a 20
De 21a 30

13

37

Transao eletr nica.

M ais de 30

40

11

Grfico 21 Quantidade de servios eletrnicos


disponveis (questo 33).

B usca de
info rma es
Interatividade limitada.

Integrao e-go v.

Grfico 22 Estgio de e-gov predominante


(questo 34).

Vrios foram os usurios dos servios pblicos eletrnicos selecionados para esta pesquisa
que deram sugestes, na questo aberta n 8 do questionrio 1, quanto melhor divulgao dos
servios disponveis na Internet. Abaixo, alguns trechos escritos por participantes da pesquisa on-line:
Melhor e maior divulgao na mdia popular, pois s fiquei sabendo que existia
atravs de uma amiga que trabalha no INSS!!!!!
A marcao de percia on line foi excelente idia, com isso, podemos evitar filas,
demora no atendimento. Mas a populao ainda conhece pouco sobre isso. O
que falta no Brasil INFORMAO.
Uma maior divulgao pelos meios de comunicao. Esplicaes

57

detalhadas

para as pessoas entenderem que no nesseario dormir em filas.

57
Pela grande quantidade de erros de grafia, pontuao, concordncia nos trechos escritos pelos usurios, optou-se por no
acrescentar a expresso latina sic para no comprometer sua legibilidade.

162
Divulgao maior desses servios pela mdia, pois muitas pessoas que estavam
na fila no conheciam este servio eu mesmo era um, s descobri por curiosidade
No tive dificuldades de preencher os dados solicitados, para mim foi muito
conveniente, o nico meio que eu consegui fazer a inscrio para o primeiro
emprego, a minha sugesto que devia divulgar mais este site do primeiro
emprego em rdios, jornais , televiso e outros meios de comunicaes

Outros servios eletrnicos usados (total: 2419 respondentes)


0

200

400

No resposta

369

Este foi o nico servio pblico que utilizei pela Internet.

369

600

800

Consulta situao cadastral (Cadastro de Pessoa


Fsica - CPF).

1400

1275

Consulta restituio de Imposto de Renda Pessoa


Fsica.

761

Busca ao Cdigo de Endereamento Postal (CEP).

817

Declarao de Imposto de Renda Pessoa Fsica.

802

Benefcios da Previdncia Social.

770

301

Servios prestados pelo Departamento de Trnsito


(Detran).
Outros.

1200

1168

Declarao Anual de Isentos.

Rastreamento de objetos enviados pelos Correios.

1000

809

543

Grfico 23 Outros servios eletrnicos usados (Q2_7).


Na pesquisa de satisfao realizada com usurios dos servios pblicos selecionados
(Grfico 23), os tipos de servios pblicos eletrnicos mais citados foram (% de menes em relao
ao total de respondentes a essa pergunta 2.419 pessoas): consulta situao cadastral - CPF
(48%), servios da Receita Federal (DAI 53%, Declarao do Imposto de Renda Pessoa Fsica
33% e Consulta restituio 31%), consulta ao Cdigo de Endereamento Postal CEP (34%).
Alm dos outros servios listados na questo n 7 do questionrio 2 (benefcios da Previdncia,
servios prestados pelo Departamento de Trnsito Detran, e rastreamento de objetos enviados
pelos Correios), foram citados, na opo Outros, acesso a bancos e instituies financeiras;

163
consulta a processos, legislao, tribunais e outros portais jurdicos; portais de prefeituras e servios
municipais; portais de concessionrias de servios pblicos.
Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que facilitariam
o acesso e o uso de servios pblicos eletrnicos pelo cidado
A baixa porcentagem de gestores que adotam os documentos gerados pelo Programa,
observada na pesquisa on-line realizada junto aos gestores de portais da APF (Grfico 24), foi
confirmada nas entrevistas com os gestores dos servios selecionados para esta pesquisa e nos
grupos focais de gestores de portais. Dos 76 gestores que responderam ao questionrio, apenas oito
afirmaram que adotam o padro e-Ping (Brasil CEGE, 2005), 11 adotam a Cartilha Tcnica de
Acessibilidade (Brasil MP, 2005d), enquanto que 56 adotam o Manual de Identidade Visual (Brasil
Secom).

Atendim ento norm a/recom endao

20

Resoluo n 7 do CEGE

32

Cart ilha de Usabilidade


Cart ilha Tcnica Acessibilidade

15

26

30

12

14

14

(N=76)

15

No resposta

1 - no adotada

11

2
31

M odelo de Acessibilidade

17

37

E-ping

15

13

11

3
4

5 - adotada integralmente

M anual de Ident idade


Visual

11

3 2

20

19

37

40

60

80

Grfico 24 Atendimento s normas ou recomendaes (questes 3 a 8).


Tambm confirmou tal achado a avaliao heurstica das pginas dos servios Declarao
Anual de Isento, Auxlio-doena, Penso por morte, Salrio-maternidade, e Programa Nacional de
Estmulo ao Primeiro Emprego, e dos portais hospedeiros desses servios, tendo como base os
relatrios das ferramentas automatizadas Cyberspyder, Dasilva e Wave, e a lista de verificao,
desenvolvida nesta pesquisa a partir de documentos gerados pelo Programa e por pesquisadores
independentes, disponvel no Apndice 9.5 (p. 248) deste documento. Constatou-se que os servios
e portais selecionados atenderam, em mdia, apenas 67% do total de 105 itens dessa lista, j

164
descontados 16 itens que no foram avaliados, por limitaes da tcnica de inspeo utilizada ou da
falta de preciso das normas e recomendaes consultadas. Por exemplo, no foi possvel verificar,
com a avaliao heurstica, se os contedos das pginas eram atualizados e verdadeiros (Resoluo
CEGE n 7/2002, art. 5, inciso II), assim como no foi possvel determinar o que seriam programas
de uso consagrado, equipamentos de grande performance ou programas pouco difundidos
(Resoluo CEGE n 7/2002, art. 4, incisos X e XI). Foram ainda desconsiderados, em cada caso
individual, itens que tratavam de elementos no utilizados pela instituio, tais como animaes,
58

apresentaes sonoras, mapas de imagem, frames ).


Aplicando as ponderaes descritas no item 4.3.2 (p. 118), concluiu-se que as mdias de
adeso das instituies selecionadas s recomendaes variaram de 58,4% a 69,5%, sendo que a
Receita Federal foi a que obteve a maior mdia ponderada. Os pesos dados aos itens sobre
privacidade e segurana, em virtude do grau de importncia a eles associados pelos usurios, na
pesquisa de satisfao, assim como pelo fato de constarem de norma a ser cumprida, foram
significativos no clculo da mdia ponderada de cada instituio nesta avaliao heurstica. A
avaliao desses itens, em especial, baseou-se em declaraes por escrito, feitas pelos respectivos
responsveis, apontando a adoo ou no dos incisos e artigos da Resoluo CEGE n 7/2002 sobre
segurana de dados (Apndice 9.6, p. 260).
O desempenho dos portais/servios nas dimenses Facilidade de localizao do portal web
da instituio, Acessibilidade, Usabilidade e Disponibilidade foi semelhante. Destacaram-se a
Receita Federal, nos itens relativos privacidade e segurana de dados, e facilidade de localizao
do seu servio (Declarao Anual de Isento - DAI); e o Ministrio do Trabalho e Emprego, na
variedade de opes de resposta a dvidas dos usurios. O portal do Ministrio do Trabalho e
Emprego obteve pontuao abaixo dos demais na dimenso Privacidade e segurana de dados. O
Quadro 6 (p. 165) apresenta os itens no atendidos por todos os portais e/ou servios avaliados.

58

Subdivises da tela em quadros, cujos contedos provm de pginas web diferentes.

165

Dimenso e peso Item da lista de verificao (Apndice 9.5)

Privacidade
segurana
dados

e 13 So estabelecidas rotinas de programas de Resoluo CEGE n


de conscientizao de todos os envolvidos.
7/2002
(Peso = 3)

(Peso = 3)
Disponibilidade
(Peso = 3)

Norma/documento
consultado e peso

1 - O ambiente da rede do stio do rgo ou entidade Resoluo CEGE n


conta com planos de contingncia implementados e 7/2002
atualizados, visando ao pronto restabelecimento do
ambiente e dos servios, assim como o no (Peso = 3)
comprometimento da imagem da Administrao
Pblica Federal.
2 - Os planos de contingncia so periodicamente
testados para que seja verificada a sua eficcia ou
necessidade de adequao.

Acessibilidade

4 Fornecer um equivalente textual a cada imagem.

(Peso = 2)

Cartilha Tcnica
Acessibilidade

de

(Peso = 2)
6 Identificar o principal idioma utilizado nos
documentos.
15 - ... Se a tabela foi criada para efeito de design,
59
deixar o summary em branco.
26 Se no for possvel deixar as pginas de seu stio
acessveis, momentaneamente, criar uma pgina
alternativa que utilize tecnologias em conformidade
com este documento.

Confiabilidade
(Peso = 2)

3 Somente inserir links internos com a garantia de Cartilha


seu pleno funcionamento e que no remetam a Usabilidade
pginas em construo ou sem contedo.
(Peso = 2)

de

7 Tom positivo e profissional: evita jarges, humor,


acusaes, abreviaes e siglas sem o seu significado
por extenso.
Usabilidade
(Peso = 1)

2 Os stios usaro, obrigatoriamente, diagramao Resoluo CEGE n


dinamicamente ajustvel na produo do leiaute das 7/2002
pginas.
(Peso = 3)

Facilidade
de 12 O portal estruturado de acordo com a linha da Vilella (2003)
localizao
do vida.
(Peso = 1)
servio eletrnico
Diretriz do Comit de
(Peso = 1)
Gesto de Stios e
Servios On-line.
Quadro 6 Itens da lista de verificao no atendidos por todos os portais e/ou servios avaliados.

59

Campo resumo.

166
Nenhum dos portais analisados na avaliao heurstica estruturado de acordo com a linha
da vida; identifica o idioma utilizado em seus documentos; apresenta pginas alternativas acessveis;
permite o ajustamento dinmico do tamanho de suas pginas a diversas resolues de vdeo; conta
com planos de contingncia implementados, atualizados e periodicamente testados ou rotinas de
programas de conscientizao de todos os envolvidos. Todas as instituies usam tabelas para efeito
de design; mencionam jarges e siglas provavelmente desconhecidos de seu pblico-alvo; e
apresentaram links com problemas no teste com a ferramenta Cyberspyder. O Quadro 7 mostra o
resultado total de pginas e links testados nos portais principais das trs instituies selecionadas. A
quantidade de links com problemas, em relao ao total de links testados variou, entre as instituies,
de 7,1 a 21,7% (mdia de 13,2%; desvio padro de 8%).
Pginas
testadas
Totais

7.627

Links
testados
292.014

Links
corretos
257.836

Links com
problemas
25.721

Links
60
ignorados
8.457

Quadro 7 Resultado do teste com a ferramenta Cyberspyder.


Dentre os itens do Quadro 6 (p. 165), a falha mais grave, considerada pelos avaliadores
especialistas, foi a falta de equivalente textual s imagens apresentadas, principalmente quando tais
imagens so imprescindveis para o processamento dos servios eletrnicos, tais como botes
gravar e limpar; identificao de campos de preenchimento obrigatrio na ficha de inscrio, e
botes Requerimento e Ajuda (Figura 13).

Opo habilitada

Opo desabilitada

Figura 13 Elementos visuais exibidos com a opo "Mostrar imagens" habilitada e desabilitada.

60
A ferramenta no foi capaz de verificar inteiramente esses links, por isso foram ignorados no cmputo de links corretos e
com problemas.

167
A falta de equivalentes textuais para tais elementos visuais impede, por exemplo, que
software leitor de tela, usado por deficientes visuais, identifique tais aes necessrias solicitao
dos servios eletrnicos. O uso de tecnologias inclusivas e no excludentes que garantam o acesso
universal, abrangendo portadores de necessidades especiais, cidados de baixa escolaridade e
usurios de diversas plataformas, uma das diretrizes para garantia do foco no cidado, j citada no
item 5.1 (p. 128) deste documento.
Alm das verificaes mencionadas no Quadro 6 (p. 165), outros artigos da Resoluo CEGE
n 7/2002 foram investigados na avaliao heurstica. Observou-se, em duas instituies, inexistncia
de pgina com respostas aos questionamentos mais freqentes dirigidos ao rgo (art. 4, inciso VII).
Em trs dos servios pblicos eletrnicos examinados, no foi observada a manuteno de todo o
ciclo do servio em um mesmo portal (V do art. 5). possvel, inclusive, solicitar esses servios
diretamente a partir do endereo eletrnico da empresa prestadora de servios de informtica, sem
passar pelo portal da instituio que os administra. Em relao privacidade e segurana de dados,
dimenso tambm medida pelo questionrio sobre segurana dos portais governamentais (Apndice
9.6, p. 260), em pelo menos duas instituies, no so estabelecidos programas de treinamento aos
responsveis tcnicos ou programas de conscientizao de todos os envolvidos (art. 29). Uma das
instituies respondeu, nesse questionrio, que no so adotados conceitos e procedimentos de
auditoria

interna que permitam anlise do ambiente computacional (art. 32). A Cartilha de

Usabilidade (Brasil Governo Eletrnico) que estabelece um conjunto mnimo de padres de


usabilidade, estrutura e aspectos visuais, tal como prev uma das diretrizes do Comit de Gesto de
Stios e Servios On-line, assim como a Cartilha Tcnica de Acessibilidade (Brasil MP, 2005d),
tambm no foram atendidas integralmente pelas instituies examinadas. Os pargrafos seguintes
apresentam outros resultados, ainda no comentados, da avaliao heurstica em cada dimenso.
Facilidade de localizao do portal web da instituio e dos servios eletrnicos
Pode-se dizer que, em relao facilidade de localizao do portal web da instituio e dos
servios eletrnicos, todos os portais apresentam seu contedo agrupado por assunto. Apesar de a

168
61

maioria das pginas examinadas na avaliao heurstica no usarem metatags , todos os portais e
servios foram encontrados facilmente por mecanismos de busca populares na Internet (no teste,
foram utilizados Google e Yahoo!). Ainda assim, mesmo que a maioria tenha achado fcil identificar a
prestadora do servio e localizar o que estava procurando em sua pgina na Internet (Grfico 25),
algumas pessoas que responderam pesquisa de satisfao deram sugestes quanto facilidade de
localizao dos servios, como por exemplo:
Seria muito importante que inserissem um link logo na tela principal, para acessar
os requerimentos de salrio maternidade, penso e aux. Dona , facilitando
assim a visualizao desses servios.
preciso facilitar a navegao tornando mais fcil localizar o item procurado no
site.

Facilidade para encontrar o servio e sua disponibilidade

Foi f cil ident ificar qual instit uio


governament al prest ava esse servio.
(t ot al: 2419)

11%

6%

7%

7%

19%

49%

1%

Foi f cil encontrar o endereo


elet rnico da instit uio prestadora
do servio. (t ot al: 2419)

11%

5%

6%

12%

65%

2%

Quando ent rei na pgina da


instit uio na Int ernet , f oi f cil
encont rar o que eu est ava
procurando. (t ot al: 2086)

4%

Sempre que precisei ut ilizar o servio


elet rnico, ele est ava dispon vel na
pgina do instit uio. (t ot al: 2086)

5%

0%

8%

6%

10%

8%

19%

17%

20%

59%

13%

30%

40%

16%

50%

43%

60%

70%

80%

90%

100%

No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente

Grfico 25 Facilidade para encontrar o servio e sua disponibilidade (Q2_4a e b; Q1_4b e 4e).

61
Comandos HTML especiais para associar metadados pgina web codificada, sem alterar sua formatao, mas fornecendo
informaes sobre seu contedo. Vrios portais de busca na Internet utilizam tais comandos como ndices de busca,
facilitando, assim, a localizao do contedo de tais pginas.

169
Os servios pblicos eletrnicos selecionados tambm foram facilmente encontrados, em
seus respectivos portais, pelos especialistas que realizaram a avaliao heurstica. Ainda assim, um
dos portais e um dos servios no foram encontrados no portal Rede Governo, que rene
informaes e servios dos rgos e entidades do Governo Federal, mas talvez isso se deva mais a
deficincias do prprio Rede Governo do que codificao dessas pginas web avaliadas. No foi
possvel testar a facilidade de localizao das pginas web das instituies e dos servios no Portal
Brasil, outro portal do Governo Federal que oferece servios pblicos eletrnicos, pois este
apresentou mensagem de erro logo na carga de sua pgina principal. Talvez esse portal estivesse
em fase de testes no dia em que foi acessado durante a pesquisa (Figura 14).

Figura 14 Mensagem de erro recebida ao carregar a pgina do Portal Brasil, em 16/11/2005.


Uma boa prtica para facilitar a localizao de servios pblicos eletrnicos, identificada na
avaliao heurstica de um dos portais selecionados, a estruturao do portal com perfis de
usurios (Figura 15) e o uso de URL (Uniform Resource Locator) clara, fcil de ser digitada pelos
usurios (por exemplo, www.trabalho.gov.br), em vez de usar palavras em ingls (por exemplo,
default.asp) ou nmeros e caracteres especiais (por exemplo, 02_01_01.asp).

Figura 15 Perfis de usurios.


Disponibilidade
Segundo dados fornecidos por gestores no questionrio sobre segurana dos portais
governamentais (Apndice 9.6, p. 260), todas as instituies estabeleceram diretrizes que orientam a
realizao peridica de cpias de segurana. Entretanto, a indisponibilidade dos servios foi um dos
problemas que mais atrapalharam a solicitao dos servios por 30% de 2.086 usurios participantes
da pesquisa de satisfao (Grfico 25, p. 168). Abaixo, alguns depoimentos de usurios que
responderam pesquisa on-line:

170
A) que o servio estivesse sempre disponvel principalmente no horrio de pico; b)
que o sistema no casse tanto, principalmente qdo estamos terminando de
preencher os dados; c) se possvel que funcionasse ininterruptamente 24 horas
por dia;
Estou achando que propaganda enganosa , pois j fazem vrios dias que tento
entrar e quando estou no final d como pgina indisponvel, vem sempre a
mensagem - servio indisponvel no momento, desculpe o transtorno, mas isso j
faz mais de uma semana.
Que estivesse sempre disponvel, sem aparecer a frase este servio est fora do
ar temporariamente
Sempre que necessitamos requerer algum benefcio pela internet, alguns se
encontra indisponvel. Que os tcnicos da informtica atualizem o programa para
facilitar a vida dos usurios. J no basta as grandes filas que enfrentamos no
dia a dia, encontramos dificuldades tambm atravs da internet.
A pgina sempre deu informaes de estar momentaneamente indisponvel e eu
tive que recomear o preenchimento dezenas de vezes. Conclu o que queria
somente 4 horas de tentativas ininterruptas... Acho que h algum problema, no?
Acessibilidade e usabilidade
Na dimenso Acessibilidade, destaca-se o fato de que as pginas analisadas na avaliao
heurstica apresentaram seus contedos com clareza e simplicidade, utilizando mecanismos de
navegao de maneira coerente e consistente. Para garantir a acessibilidade, recomendvel testar
as pginas web sem folhas de estilo e com ferramentas, tais como Wave, que facilitam a visualizao
da seqncia lgica de tabulao para percorrer links, controles de formulrio e objetos, o que parece
no ter sido feito em alguns dos casos inspecionados pelos avaliadores especialistas.

171
Em termos de usabilidade, na avaliao heurstica, observou-se o uso criterioso de logotipos
e a organizao de elementos visuais de acordo com os princpios de design para Web (contraste,
repetio, alinhamento e proximidade). Os participantes da pesquisa on-line apresentaram respostas
positivas quanto a essas duas dimenses acessibilidade e usabilidade (Grfico 26).

Acessibilidade e usabilidade

Consegui ut ilizar o servio logo da pr imeir a

5%

vez que acessei as pginas da inst it uio

4%

19%

9%

12%

50%

pr est ador a do ser vio. ( t ot al: 2086)

Foi f cil pr eencher os f or mulr ios

12%

3% 5%

5%

12%

63%

elet r nicos. (t ot al: 2419)

Foi f cil imprimir f ormulr ios e out ros

13%

7%

6%

5%

13%

55%

document os elet r nicos. ( t ot al: 2419)


2%
A linguagem ut ilizada nas pginas do

11%

5%

7%

15%

59%

ser vio elet r nico clara. ( t ot al: 2419)


2%
Foi f cil navegar pelas pginas do ser vio

12%

7%

7%

14%

58%

elet r nico. ( t ot al: 2419)


2%
As pginas do ser vio elet rnico t m um

13%

5%

5%

18%

56%

bom visual. ( t ot al: 2419)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente

Grfico 26 Acessibilidade e usabilidade (Q1_4f; Q2_4c a 4g).


Um dos gestores dos servios pblicos selecionados para esta pesquisa mencionou, em
entrevista, que h trs grandes problemas na prestao de servios pela Internet, que precisam ser
solucionados: a apresentao do contedo (deve haver aprimoramento no que tange usabilidade e
acessibilidade dos servios), o tempo de processamento e a disponibilidade do servio (no horrio de
atendimento das agncias, ante a demanda da rede interna, so utilizados at 95% da capacidade de
processamento, acarretando a quase inviabilidade de utilizao dos servios pela Internet nesse
horrio). Tais problemas esto relacionados com recomendaes propostas nos documentos gerados
pelo Programa que facilitariam o acesso e o uso de servios pblicos eletrnicos pelo cidado.

172
Confiabilidade e segurana
Os pontos positivos em relao confiabilidade dos servios foram, na avaliao heurstica,
a apresentao de contedos compatveis com a misso/propsito das instituies e o uso de
linguagem sem preconceitos racial, cultural, poltico e comercial. Na pesquisa de satisfao on-line
(Grfico 27), entretanto, 36% dos 2.086 respondentes encontraram problemas no funcionamento das
pginas e 37% dos 2.419 encontraram links para pginas que no abriram, apesar de 71% dos 2.419
confiarem no processamento correto do servio.

Confiabilidade e segurana

Encont rei problemas no


f uncionament o das pginas do
servio eletrnico. (total: 2086)

4%

Encont rei links para pginas que no


abriram. (total: 2419)

6%

42%

14%

Conf io que o servio elet rnico f oi


processado corretamente. (t ot al:
2419)

16%

13%

Fiquei preocupado com a segurana


de inf ormaes ao me comunicar com
a instit uio prest adora do servio
por meio da Internet . (t ot al: 2086)

6%

0%

4%

7%

8%

10%

24%

5%

14%

22%

10%

15%

22%

15%

56%

32%

20%

11%

30%

14%

40%

50%

19%

60%

70%

21%

80%

90%

100%

No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente

Grfico 27 Confiabilidade e segurana (Q1_4c e 4g; Q2_4h e 4i).


Algumas pessoas participantes da pesquisa de satisfao fizeram sugestes quanto
confirmao do recebimento, por parte das prestadoras de servios eletrnicos, das informaes
preenchidas pelo pblico:
Que voc receba via e-mail a confirmao de que seus dados foram aceitos pelo
sistema, de que eles foram recebidos.

173
Dar certesa quanto ao recebimento do beneficio e dar segurana de que meus
documentos que envio ( autenticado ) no ir para o lixo.
Eu sugiro que ao final do preenchimento fosse dado uma mensagem que seu
requerimento foi aceito, pois eu fiquei em dvida se isso tinha ocorrido.
Na avaliao heurstica identificou-se que a maioria das instituies selecionadas no
especifica, em seu portal, a poltica de privacidade e segurana adotada, nem to pouco informa se e
62

como utiliza cookies . Segundo respostas dos gestores dessas instituies ao questionrio sobre
segurana dos portais governamentais (Apndice 9.6, p. 260), todas implementam mecanismos de
registro de eventos e acessos aos seus portais e h pelo menos um responsvel tcnico para atuar
como contato no que se refere segurana desse ambiente. Alguns usurios participantes da
pesquisa on-line, dentre os 40% de 2.086 respondentes que se mostraram preocupados com a
segurana de informaes ao se comunicarem com a prestadora do servio via Internet (Grfico 27,
p. 172), deram algumas sugestes:
Cada cliente ter sua senha para acesso, assim eu ficaria mais seguro quanto s
informaes pessoais. Era s fazer o cadastro, sem muitas perguntas, e cadastrar
a senha!!!
Na minha opinio esse site deveria como em pginas de bancos ou outros sites
que usam a segurana de 128-bits coloque o cadeado para que a gente soubesse
que estaria mesmo seguro, para que ningum roube informaes que esto
sendo enviadas para a receita.
Poderia ser elaborada uma senha ou coisa do gnero que desse mais segurana,
evitando os raques de internet ou a falsificao, de algum enviar um e-mail,
dizendo que da receita federal e, que precisa de seus dados para atualizao.
No h a certificao de que se est em uma rea segura, o que considero muito
importante j que estamos passando dados pessoais como CPF, titulo de eleitor,
e-mail. Deve ser implentamentada o quanto antes.
Explicitar melhor para o contribuinte de que as informaes passadas por ele
sero acessadas APENAS pela Receita Federal. E que a declarao via internet
plenamente confivel e segura.

62

O principal objetivo dos cookies identificar o usurio e preparar pginas web personalizadas.

174
Capacidade de resposta a dvidas e reclamaes
Quanto capacidade de resposta a dvidas e reclamaes, todos os portais avaliados pelos
especialistas implementam servio de comunicao direta com o usurio

- Fale conosco ,

oferecendo, inclusive, outros meios de atendimento auxiliar ao usurio. Vrias foram as crticas dos
usurios participantes da pesquisa (questionrio on-line) sobre o atendimento ao usurio, tanto nos
balces das agncias quanto por telefone ou Internet.
Deveria ter suporte por telefone pois as mensagens de erro no so explicadas.
Este e-mail que vocs tm, no funciona, pois enviei vrios e no consegui
respostas.
Maior agilidade no atendimento e esclarecimentos nas dvidas que muitas vezes
no so sanadas
Mais clareza em relao as informaes prestadas. Eu no consegui tirar as
minhas dvidas. Entrei na internet com apenas uma, e sa com vrias dvidas.
Nesta linha fica o meu protesto sobre a ouvidoria que tem mais de trs anos que
tenho uma reclamao onde at agora no deram qualquer resposta, e quando
ligo para o 0800 vem a mesma resposta est sendo analisado pela ouvidoria.
Apesar de 45% dos 2.419 respondentes do questionrio 2 no terem precisado tirar dvidas
(Grfico 28, p. 175) e 75% dos 2.086 respondentes do questionrio 1 terem esclarecido, nas prprias
pginas web, o que era preciso para usar o servio eletrnico (Grfico 29, p. 175), 22% dos 2.419
respondentes do questionrio 2 que utilizaram o servio de atendimento a dvidas ficaram de alguma
forma insatisfeitos (Grfico 30, p. 176).

175
Atendim ento a dvidas
0%

(total: 2419)

5% 10% 15% 20% 25% 30% 35% 40% 45% 50%

No resposta

8%

No precisei tirar dvidas.

45%

Consulta a amigos, colegas, conhecidos.

11%

Atendimento por telefone (0800).

7%

Atendimento por correio eletrnico (Fale Conosco)

5%

Instrues na pgina Internet do servio (opo


"Ajuda").

24%

Grfico 28 Atendimento a dvidas (Q2_2).

Atendim ento a dvidas e tem po para com pletar o servio

As informaes dispon veis nas


pginas da Int ernet me esclareceram
o que era preciso para usar o servio
elet rnico. (t ot al: 2086)

5% 3%

No caso de problemas, f oi f cil


descobrir como solicitar ajuda
equipe responsvel pelo servio
elet rnico. (total: 2419)

9%

8%

14%

Fiquei sat isfeit o com o t empo que


levei para efet uar o servio pela
Int ernet . (t ot al: 2086)

6%

0%

17%

58%

22%

5%

14%

5%

10%

20%

30%

14%

7%

15%

12%

40%

28%

59%

50%

60%

70%

80%

90%

100%

No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente

Grfico 29 Atendimento a dvidas e tempo para completar o servio (Q1_4d e 4l; Q2_4k).

176
At que ponto voc ficou satisfeito ou insatisfeito com o atendim ento a
13%

dvidas?
(total: 2419)

14%
13%

No respo sta
M uito insatisfeito .
Insatisfeito .

34%

9%

Nem insatisfeito , nem satisfeito .


Satisfeito .

17%

M uito satisfeito .

Grfico 30 Satisfao ou insatisfao com o atendimento a dvidas (Q2_3).


Tempo de atendimento
Em relao dimenso Tempo de atendimento, na avaliao heurstica, observou-se que a
maioria dos portais analisados adotou estratgia de navegao que economiza cliques para a
execuo dos servios pblicos eletrnicos, e que todas as pginas foram carregadas em menos de
oito segundos, considerando-se a configurao do computador e da conexo Internet utilizados para
os testes. O ponto negativo, na avaliao heurstica, foi a no implementao de verses mais leves
de pginas para usurios com conexo lenta. Apesar de 71% dos 2.086 participantes da pesquisa online (questionrio 1) estarem satisfeitos com o tempo que levaram para efetuarem o servio pela
Internet (Grfico 29, p. 175), alguns mostraram-se insatisfeitos com o tempo de acesso s pginas
dos servios e com a dificuldade de acesso a computadores, como se pode notar nas citaes a
seguir.
Minha internet turbo e mesmo assim d vontade de chorar de to lento que o
acesso.
Criar locais de acesso a internet gratuita para o preenchimento da declarao
pelas pessoas com menor condio.
Acho que a Receita Federal deveria colocar a disposio dos usurios ,deste
servio, mais postos de atendimento gratuitos.
Disponibilizar computadores em locais pblicos para Comunidade em geral,
(Incluso Digital), facilitando assim, o acesso aos servios e informaes bsicas.
Seja dado mais apoio para que locais como> ONG,Prefeituras, rgos Pblicos
sejam facilitadores, ou seja, tenha um terminal de internet para essse servio
destinado principalmente populao carente como pessoal do Bolsa Familia
(Fome Zero) e agricultores em geral.

177
Grau de satisfao
Apesar do grau positivo de satisfao de 57% dos 4.505 usurios participantes da pesquisa
on-line (Grfico 31, p. 178), e do pleno atendimento s necessidades de 58% de 2.086 respondentes
(Grfico 32, p. 178), alguns deles expressaram sua insatisfao com o servio prestado via Internet e
seus desdobramentos no mundo real, talvez pela alta expectativa que tinham em relao ao padro
de qualidade do servio eletrnico (83% de 2.086 pessoas o consideraram bom e muito bom - Grfico
33, p. 179):
Aps efetuar o requerimento, tive que imprimir um documento e levar at uma
Agncia, ento no entendi porque efetuar o pedido via internet uma vez que teria
de ir at uma agncia para entregar a documentao, esperar na fila como todos
os outros, no receber um protocolo de entrega na agncia e o funcionrio
informar que o pedido ficaria parado aguardando pelo menos 30 dias.
Depois que fiz o requerimento pela Internet, fui ao posto para entregar o
requerimento impresso e os documentos. Tive que esperar 3 horas para ser
atendido, como todos os presentes. E ningum da agncia sabia como me
atender pelo fato de eu ter feito o requerimento pela Internet. O atendente
demorou cerca de 1 hora para me liberar e ainda disse que s a chefe dele
poderia autorizar o requerimento. Mas a chefe estava afastada do servio e no
poderia me garantir nada. O atendente me confessou que se eu tivesse feito o
requerimento direto com ele teria sido bem mais rpido. Gostaria de sugerir a
criao de um -caixa rpido- para receber os casos da Internet (que deveriam ser
rpidos).
Encontrei dificuldade para entregar os documentos na agncia em mg, pois nem
mesmo os funcionrios sabiam que procedimento tomar quando cheguei com o
requerimento da internet, eles ficaram confusos, e por no saberem o que fazer
recolheram os documentos e ficaram de resolver
Foi fcil acessar e requerer pela internet, mas o servidor que recebeu os
documentos foi negligente e no encaminhou os documentos. O procedimento
interno no foi eficiente. Se tivesse feito o pedido no balco da agncia o pedido
teria sido concedido. Neste caso a internet foi um complicador
Antes de usar este servio eu liguei no 0800 para saber se ele estava realmente
em funcionamento e que era confivel. Neste nmero fui informado que no
adiantava fazer pela internet pois este servio no funcionava.

178
Eu no fui atendida!!! Preenchi os dados corretamente e ficava dando erro como
se o nome da me do requerente estivesse incorreto!!! E no estava!! Mandei
email para reclamar e o endereo retornou! Um absurdo! Falta de respeito!
Querem que todos freqentem aquelas filas quilomtricas!
A nossa entidade uma entidade sindical, e ns fizemos a declarao de isentos
para mais de 500 pessoas, s que a pgina est no horrio comercial quase
sempre fora do ar. Temos que vir a noite para no deixar de prestar o servio.
Pediria que melhorem a pgina, ou que faam a declarao por estados. Ex. Do
dia 01 a 10 de novembro para o estado do RS.

21%

Grau de satisfao

3%

(total: 4505)
20%

No respo sta
M uito insatisfeito .
Insatisfeito .
Nem insatisfeito , nem satisfeito .

10%

Satisfeito .
M uito satisfeito .

36%

10%

Grfico 31 Grau de satisfao (Q1_2; Q2_1).

Ao utilizar o servio eletrnico,


voc conseguiu tudo o que
precisava?
(total: 2086)
19%

21%

2%

58%

No respo sta
Sim, co nsegui tudo o que precisava.
Sim, co nsegui parte do que precisava.
No .

Grfico 32 Atendimento s necessidades (Q1_1).

179

Padro de qualidade esperado


(total: 2086)
2%
5%
27%

10%

No respo sta
M uito ruim.
Ruim.
B o m.
M uito bo m.

56%

Grfico 33 Padro de qualidade esperado (Q1_3).


Como boa prtica de implementao de servios pblicos eletrnicos, pode-se citar a
Declarao Anual de Isento pela Internet que, na avaliao heurstica, atendeu a 96% das
recomendaes relacionadas com privacidade e segurana, dimenso considerada mais importante
por 49% dos 2.554 usurios que responderam aos questionrios 1 e 2 da pesquisa de satisfao com
esse servio eletrnico. Os usurios dos servios pesquisados tambm manifestaram sua satisfao
com alguns aspectos da prestao via Internet, principalmente rapidez e convenincia para o
cidado:
Realmente vcs esto de parabns por nos fornecer

esse acesso de

preenchimento pela internet, no sabem o quanto isso facilita para ns


trabalhadores e o quanto foi prtico (Requerimento de auxlio-doena).
A forma de requerer pela internet muito boa e garante a transferncia de
63

informaes de forma rpida e segura (Requerimento de penso por morte) .


Em relao ao requerimento, acredito que no a nada a melhorar fiquei admirada
e surpresa com o resultado, principalmente com a rapidez em que o beneficio foi
concedido, pena que essa eficincia no se aplica a outros servios prestados
pela internet (Requerimento de penso por morte).
Hoje, esse servio, o de mais fcil acesso e rapidez na concluso. Minha
sugesto que o mesmo padro seja levado aos outros tipos de requerimentos:

63

Apesar dos dados dos questionrios respondidos por usurios do Requerimento de penso por morte terem sido
desconsiderados nesta anlise, pela quantidade de respondentes estatisticamente pouco significativa, optou-se pela incluso
de algumas citaes de seus usurios que destacam aspectos positivos desse servio eletrnico.

180
acaba com filas, evita desgastes, vez que todas as exigncias j esto no sistema
e podem ser cumpridas antes de se iniciar o preenchimento do requerimento
(Requerimento de penso por morte).
Nenhum sugesto, a Declarao anual feita pela internet muito eficaz, pena que
tem gente que sempre deixa para a ltima hora, causando assim transtorno e
congestionamento no site da Receita Federal (Declarao Anual de Isento 2005).
Na pesquisa on-line, foi constatado ainda que 70% dos 2.086 respondentes do questionrio 1
tiveram suas necessidades atendidas e 74% dos 4.505 participantes da pesquisa consideram o meio
eletrnico mais conveniente dos que os outros canais de prestao do servio, o que j era esperado
(Grfico 34, p. 180).

Atendim ento s necessidades e convenincia do m eio eletrnico

3% 3%

M inhas necessidades f oram


at endidas. (total: 2086)

Pref iro requerer o servio via Int ernet


do que por meio de out ros canais,
tais como correio, balco da
inst it uio, f ax, telef one. (total: 4505)

9%

0%

10%

14%

4%

10%

9%

20%

4%

30%

22%

48%

10%

64%

40%

50%

60%

70%

80%

90%

100%

No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente

Grfico 34 Atendimento s necessidades e convenincia do meio eletrnico (Q1_4a e 4h; Q2_4j).


A opinio expressa pelos 144 usurios entrevistados via telefone sobre o servio pblico
eletrnico utilizado reforou as concluses levantadas pelos questionrios on-line respondidos por
4.505 pessoas (Grfico 35, p. 181). Sob o ponto de vista dos entrevistados por telefone, os pontos
fortes da prestao dos servios pblicos requisitados por meio eletrnico foram convenincia,
rapidez e flexibilidade no horrio de atendimento. Os pontos fracos foram a dificuldade para tirar

181
dvidas e a no disponibilidade de alguns servios. Nessa mesma linha, a maioria dos respondentes
da pesquisa on-line consideraram o meio eletrnico mais fcil para encontrar o servio pblico
desejado, mais conveniente, mais rpido, mais fcil de acessar e usar, mais flexvel quanto ao horrio
de atendimento, conseqentemente, melhor do que os outros meios de prestao do mesmo servio,
porm 16% o consideraram mais difcil para tirar dvidas.
Opinio sobre o servio eletrnico (total: 4505 respondentes)

M ais dif cil de encont rar

7%

5%

10%

12%

40%

M ais f cil de encontrar

M ais dif cil de acessar

8%

4%

10%

12%

38%

M ais f cil de acessar

M ais dif cil de usar

8%

4%

9%

17% 10%

M ais dif cil para t irar


dvidas

10%

6%

11%

14%

M ais f cil de usar

38%

11%

M enos f lex vel quant o ao


horrio de at endimento

8%

4%

M enos conf ivel

7%

5%

16%

13%

29%

M enos seguro

7%

5%

16%

13%

29%

9%

9%

40%

6% 3%

9%

9%

41%

M enos rpido

7%

8%

8%

42%

Pior

9%

M enos convenient e

4%

3%

8%

8%

19% 10%

M ais f cil para t irar


dvidas

29%

20% 9%

M ais f lexvel quanto ao


horrio de at endiment o

21% 10%

M ais confivel

20% 10%

M ais seguro

20% 10%

M ais convenient e

21% 9%

M ais rpido

21% 10%

20% 10%

M elhor

40%

21% 10%

0%

10%

20%

30%

40%

50%

60%

70%

80%
0%

50%
No respo sta
No se aplica

Grfico 35 Opinio sobre os servios eletrnicos (Q1_5; Q2_5).

182

5.5 Perfil dos respondentes das pesquisas on-line


Os Grficos 36 a 39 apresentam o perfil dos modelos de gesto dos portais e servios
pblicos eletrnicos nas instituies participantes da pesquisa on-line respondida por 76 gestores de
portais, enquanto que os Grficos 40 a 46 apresentam o perfil dos 4.505 usurios dos servios
pblicos eletrnicos participantes da pesquisa de satisfao, respondentes dos questionrios 1 e 2.
Na anlise do levantamento com gestores, chamou a ateno o fato de que, em 13 das 76
instituies, a gerncia do portal cabe a pessoal terceirizado.

A equipe do Portal do seu rgo


ou entidade fica diretam ente
subordinada a:

Com o voc gerencia o portal da


instituio?
(N=76)

(N=76)

2 5
25

5 2
17

28

20
4
20

24
No respost a

No respo sta

Secretaria-execut iva.

De fo rma centralizada

Assessoria de Comunicao Social.

De fo rma descentralizada mas co ntro lada po r vo c

Coordenadoria Geral de M odernizao e Inf ormtica


(CGM I) ou nomenclat ura similar.
Out ra unidade.

Grfico 36 Subordinao da equipe (questo


35).

Funes form alm ente


estabelecidas, em relao
adm inistrao do portal

De fo rma to talmente descentralizada


De fo rma co legiada, mediante um grupo de trabalho .
Sem regra claramente estabelecida.

Grfico 37 Forma de gesto (questo 36).

A quem cabe a gerncia do portal


do seu rgo ou entidade ?
13

(N=76)

5 5
34

(N=76)

27

13

44

8
No respost a

47

31

Gest o

Servidor do quadro do ministrio.


Provimento de cont edo
Inf ra-est rutura ou
suporte t ecnolgico
Out ras f unes

Grfico 38 Funes formalmente


estabelecidas (questo 1).

Servidor com f uno comissionada (DAS).


Servidor requisit ado de out ro rgo ou ent idade.
Terceirizado.
Consult or de organismos internacional
Out ros.

Grfico 39 Responsvel pela gerncia do


portal (questo 2).

183

Sexo

Idade
(N=4505)
12%

10%

1%

6%

18-24 anos.

18%

Feminino.

43%

menos de 18
anos.

10%

No resposta

47%

29%

M asculino.

No resposta

25-34 anos.
35-49 anos.
50-64 anos.

24%

(N=4505)

Grfico 40 Sexo (Q1_9; Q2_9).

16%

Grfico 41 Idade (Q1_10; Q2_10).

Grau de escolaridade

4%
2%

65 anos ou
mais.

No resposta

(N=4505)

10%
3%
4%

Ensino Fundamental incompleto.


Ensino Fundamental completo.
Ensino M dio incompleto.

12%

Ensino M dio completo.


Educao Superior (graduao) incompleto.

19%

Educao Superior (graduao) completo.


Ps-graduao incompleto.

30%

Ps-graduao completo.

Grfico 42 Grau de escolaridade (Q1_11; Q2_11).

Habilidade no uso de computadores


7%

10%

(N=4505)

5%
10%

68%
No resposta
Sou iniciante.
Conheo um pouco, mas freqentemente preciso de ajuda quando uso computadores.
Conheo o suficiente para fazer o que preciso.
Sou especialista na rea de Informtica.

Grfico 43 Habilidade no uso de computadores (Q1_12; Q2_12).

Freqncia de uso da Internet


10%
(N=4505)
1%
9%

64%

16%

No resposta
Esta foi a primeira
vez.
Raramente.
At trs vezes por
semana.
M ais de trs vezes
por semana.

Grfico 44 Freqncia de uso da Internet (Q1_13; Q2_13).

184

Local de acesso Internet


0%

10%

20%

(N=4505)
30%

40%

50%

60%

No respost a
De casa.
Da escola.
Do t rabalho.
Da casa de amigos ou f amiliares.
De out ro pont o de acesso grat uit o (quiosques, t elecent ros).
De out ro pont o de acesso pago (lanchonet es, livrarias, cibercaf s).

Grfico 45 Local de acesso Internet (Q1_14; Q2_14).

Uso do servio eletrnico


14%

(N=4505)

40%

No resposta
Uso pessoal.
Outras pessoas.

46%

Grfico 46 Uso do servio eletrnico (Q1_7; Q2_8).


No levantamento com os usurios, houve predominncia de pessoas do sexo masculino, com
idade entre 35 e 49 anos, ensino mdio completo e boa habilidade no uso de computadores. A
maioria acessa a Internet mais de trs vezes por semana, a partir de casa ou do trabalho. Quanto ao
uso do servio eletrnico, 46% afirmaram que o estavam acessando para uso pessoal; 40%, para
outras pessoas. Analisando os dados pessoais dos participantes das entrevistas telefnicas,
observou-se que 61% da amostra (87 pessoas) eram da regio Sudeste do Brasil (Grfico 47).

Participantes da entrevista telefnica


(Universo: 2301; Amost ra: 142)

17
Sudeste
Nordest e

25

Sul

87

Centro-Oeste
Norte

Grfico 47 Participantes da entrevista telefnica por regio.


Por meio de cruzamentos de variveis, observou-se que os usurios que mais valorizaram a
prestao de servios pblicos via internet, em comparao com os outros canais de atendimento,

185
foram os com ensino superior completo, com boa habilidade no uso de computadores, e que utilizam
a Internet mais de trs vezes por semana. Dentre aqueles que apontaram a privacidade de dados
pessoais e a disponibilidade como as dimenses mais importantes na prestao de servios pblicos
eletrnicos, destacaram-se os especialistas na rea de Informtica com curso de ps-graduao
completo e que utillizam a Internet pelo menos trs vezes por semana. Valorizaram mais a dimenso
Usabilidade as pessoas menores de 18 anos e que estavam utilizando a Internet pela primeira vez.

5.6 Anlise das tcnicas utilizadas


Neste item so comentados os resultados alcanados pelas tcnicas de coleta de dados
utilizadas nesta pesquisa, de acordo com os modelos propostos de avaliao da satisfao do cliente
de servio e-gov (item 3.4, p. 90) e de avaliao de programas (item 3.5, p. 96), e as dificuldades
encontradas na sua aplicao, em resposta questo de pesquisa de Como avaliar os resultados de
programas de governo eletrnico sob a tica do cidado-cliente?. Essa anlise crtica tem como
objetivo ajustar as tcnicas utilizadas necessidade de avaliao do e-gov sob a tica do cidadocliente, para aplicao futura.

5.6.1 Pesquisa documental


Alm de propiciar a compreenso do contexto do Programa e dos servios pblicos
eletrnicos, a pesquisa documental permitiu a avaliao do Programa E-Gov sob as dimenses de
eficcia, qualidade e articulao institucional, descritas no modelo de avaliao de programas de
governo eletrnico (item 3.5, p. 96). As dificuldades encontradas no uso desta tcnica foram a
fragmentao de informaes em diversas normas, editadas por instncias diferentes, e a falta de
organizao dos documentos gerados pelo Programa, e/ou com ele relacionados, em um nico local
fsico ou eletrnico. Os achados de auditoria subsidiados por esta tcnica, exclusivamente ou
corroborados por outras tcnicas de coleta de dados, foram:

Falta de formalizao das diretrizes do Programa Governo Eletrnico;

Desconhecimento, por parte da coordenao do Programa, sobre os portais do Governo


Federal, e seus respectivos responsveis, nos rgos da APF.

5.6.2 Tcnicas e ferramentas de anlise e controle de qualidade


As tcnicas e ferramentas de anlise e controle de qualidade geralmente utilizadas em
avaliaes de programa foram essenciais para o bom entendimento do contexto do Programa, assim

186
como para a organizao e direcionamento da tarefa de avaliao, tanto do Programa Governo
Eletrnico, quanto dos servios pblicos selecionados. A anlise de grupo de interesse (stakeholder)
auxiliou na tarefa de identificao dos principais atores envolvidos, como fontes de informao para
esta pesquisa. A anlise SWOT e o diagrama de verificao de riscos, por sua vez, permitiram a
identificao dos pontos positivos e negativos do Programa e os riscos envolvidos, servindo, assim,
para a determinao do foco da avaliao. As matrizes de planejamento e achados propiciaram a
esquematizao das informaes relevantes para o planejamento da avaliao do Programa e dos
servios pblicos eletrnicos selecionados, assim como para a organizao de seus resultados. Por
fim, o painel de referncia, formado por especialistas, foi til na validao da estratgia metodolgica
escolhida. No houve qualquer dificuldade na aplicao de tais tcnicas ou ferramentas no suporte
identificao e organizao de todos os achados de auditoria.

5.6.3 Entrevista
Alm de propiciar a compreenso mais detalhada do contexto do Programa e dos servios
pblicos eletrnicos, a tcnica de entrevistas permitiu a avaliao do Programa E-Gov sob as
dimenses de eficcia, qualidade e articulao institucional, descritas no modelo de avaliao de
programas de governo eletrnico (item 3.5, p. 96), e dos servios pblicos eletrnicos selecionados,
sob as 10 dimenses do modelo de avaliao da satisfao (item 3.4, p. 90) de aplicaes
especficas. Os resultados de algumas entrevistas foram utilizados ainda como subsdios para a
elaborao de instrumento de coleta de dados quantitativo (questionrio para gestores de portais Apndice 9.11, p. 274). As dificuldades encontradas no uso desta tcnica relacionaram-se mais com
a interpretao subjetiva de seus resultados do que com a conduo propriamente dita da entrevista.
No caso das entrevistas telefnicas, alm do custo das ligaes e da tarefa exaustiva de transcries
das gravaes, houve ainda a dificuldade de disponibilidade de tempo do entrevistado, na data e
horrio da ligao telefnica, para responder s perguntas sobre os servios pblicos eletrnicos por
ele utilizados. Os achados de auditoria subsidiados por esta tcnica de coleta de dados,
exclusivamente ou corroborados por outras tcnicas, foram:

Desconhecimento, por parte da coordenao do Programa, sobre os portais do Governo


Federal, e seus respectivos responsveis, nos rgos da APF;

Inexistncia de monitoramento e avaliao por parte da coordenao do Programa;

187


Insuficincia de monitoramento e avaliao sistemticos no mbito interno dos rgos da


APF;

Ausncia de indicadores de desempenho para o Programa;

Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;

Baixa porcentagem de servios transacionais, orientados diretamente ao cidado;

Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que


facilitariam o acesso e o uso de servios pblicos eletrnicos pelo cidado.

5.6.4 Avaliao heurstica e testes de interface


Alm de subsidiar, em menor escala, a avaliao do Programa E-Gov do Governo Federal, a
avaliao heurstica e os testes de interface foram utilizados para a compreenso dos contextos dos
servios pblicos eletrnicos selecionados e sua avaliao sob as 10 dimenses do modelo de
avaliao da satisfao (item 3.4, p. 90) de aplicaes especficas. As dificuldades encontradas no
uso desta tcnica foram a falta de clareza e/ou especificidade de algumas recomendaes dos
documentos gerados pelo Programa para orientar os gestores de portais da APF, e as limitaes das
ferramentas automticas utilizadas na avaliao de aspectos subjetivos. Por outro lado, o fato de o
pesquisador deter conhecimento prvio sobre a tcnica e algumas de suas ferramentas facilitou sua
aplicao.
A maior contribuio, nesta pesquisa, da avaliao heurstica das pginas dos servios
selecionados, e dos portais hospedeiros desses servios, relaciona-se com a anlise do atendimento
ou no s recomendaes propostas nos documentos gerados pelo Programa que facilitariam o
acesso e o uso de servios pblicos eletrnicos pelo cidado. Tal anlise tomou, como base, os
relatrios das ferramentas automatizadas Cyberspyder, Dasilva e Wave, e a lista de verificao,
desenvolvida nesta pesquisa a partir de documentos gerados pelo Programa e por pesquisadores
independentes, disponvel no Apndice 9.5 (p. 248) deste documento. Os achados de auditoria
subsidiados por esta tcnica de coleta de dados, exclusivamente ou corroborados por outras
tcnicas, foram:

Desconhecimento, por parte da coordenao do Programa, sobre os portais do Governo


Federal, e seus respectivos responsveis, nos rgos da Administrao Pblica Federal;

Divulgao deficiente das diretrizes e documentos gerados pelo Programa;

188


Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;

Baixa porcentagem de servios transacionais, orientados diretamente ao cidado;

Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que


facilitariam o acesso e o uso de servios pblicos eletrnicos pelo cidado.

5.6.5 Grupo focal


A tcnica de grupo focal foi empregada tanto com gestores de portais e servios pblicos
eletrnicos como com coordenadores de Comits Tcnicos do Programa, com intuito de confrontar
vises distintas e ainda confirmar ou refutar fatos observados a partir de outras tcnicas. Houve certa
dificuldade para agendar as entrevistas de tal forma a conciliar a disponibilidade de tempo de todos
os participantes. Por outro lado, a consolidao das anotaes dos observadores de cada grupo focal
foi fcil e possibilitou a confirmao, por mais de uma pessoa, do que foi dito na ocasio,
minimizando erros de interpretao se apenas um observador tivesse participado. Isso foi um ponto
positivo j que se optou por no gravar as entrevistas em grupo.
O fato de um dos coordenadores de Comits Tcnicos ser prolixo e hierarquicamente
superior aos outros, sendo, inclusive, chefe de vrios deles, levou o moderador tarefa desgastante
de tentar conduzir a discusso de tal forma que os subordinados emitissem suas opinies antes de
seu superior. J nos outros grupos focais com gestores de portais e servios pblicos eletrnicos,
aconteceu o inverso. Os participantes receberam muito bem a tcnica a ponto de se expressarem
naturalmente, aparentemente sem reservas, aproveitando a oportunidade para trocar experincias
entre si. Muitos saram dali com a inteno de entrar em contato com outros participantes para
estender a discusso aps a entrevista em grupo. Os achados de auditoria subsidiados por esta
tcnica de coleta de dados, exclusivamente ou corroborados por outras tcnicas, foram:

Falta de formalizao das diretrizes do Programa Governo Eletrnico;

Enfraquecimento das instncias de discusso e formulao da poltica de governo


eletrnico;

Desconhecimento, por parte da coordenao do Programa, sobre os portais do Governo


Federal, e seus respectivos responsveis, nos rgos da APF;

Divulgao deficiente das diretrizes e documentos gerados pelo Programa Governo


Eletrnico;

189


Descompasso na implementao de servios eletrnicos, pelos rgos da Administrao


Pblica Federal, com base nas diretrizes do Programa Governo Eletrnico;

Insuficincia de monitoramento e avaliao sistemticos no mbito interno dos rgos da


APF;

Divulgao deficiente de boas prticas de governo eletrnico pela coordenao do


Programa;

Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;

Baixa porcentagem de servios transacionais, orientados diretamente ao cidado;

Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que


facilitariam o acesso e o uso de servios pblicos eletrnicos pelo cidado.

5.6.6 Questionrio
A tcnica de questionrios auto-administrados foi empregada tanto com gestores de portais e
servios pblicos eletrnicos como com seus usurios, com intuito de confrontar vises distintas e
ainda confirmar ou refutar fatos observados a partir de outras tcnicas. Uma desvantagem desta
tcnica em relao s outras em que h contato presencial entre o pesquisador e os pesquisados a
necessidade de pr-testes para reduzir, ao mximo, os erros de preenchimento por m interpretao
das perguntas. Na montagem do questionrio on-line e na anlise de algumas respostas, foi preciso
contar com suporte de especialista no software utilizado. Entretanto, no houve qualquer contratempo
quanto disponibilidade dos questionrios on-line durante o perodo da pesquisa, provavelmente pela
boa infra-estrutura de TI empregada, assim como no houve qualquer resistncia, por parte dos
gestores das instituies selecionadas, em ter seus servios avaliados por meio de pesquisas de
satisfao on-line. Um dos gestores chegou a sugerir que todos os servios transacionais disponveis
em seu portal fizessem parte da pesquisa.
Como o cadastro fornecido pela coordenao do Programa estava desatualizado, houve
certa dificuldade no contato via correio eletrnico com os gestores de portais da APF, para envio do
link para acesso ao questionrio. Por no haver quantidade expressiva de gestores cadastrados, no
foi possvel subdividir o longo questionrio a eles encaminhado, tal como aconteceu com os
questionrios dirigidos aos usurios dos servios pblicos eletrnicos selecionados. O fato de ter sido
longo, por tentar explorar tantos assuntos, talvez tenha desestimulado os gestores a responderem ao

190
questionrio. Em aplicaes futuras desse instrumento, aconselha-se a reduo dos assuntos
investigados para que a quantidade de perguntas seja reduzida.
A subdiviso dos questionrios da pesquisa de satisfao, por sua vez, foi uma deciso
acertada apesar de ter feito com que a quantidade de respondentes fosse diferente, dependendo se a
pergunta constava do questionrio 1 (2.086 respondentes) ou do questionrio 2 (2.419
respondentes), o que se refletiu na construo dos grficos e, conseqentemente, na sua anlise. As
perguntas comuns aos dois questionrios foram respondidas por 4.505 usurios.
Uma das desvantagens da pesquisa on-line, sem cadastro predeterminado para definio da
amostra, que sua taxa de resposta impossvel de ser calculada da forma habitual, pois no fica
claro quantos indivduos poderiam ter respondido ao questionrio, mas no o fizeram. Nesta pesquisa
considerou-se que o recebimento de mais de 384 questionrios respondidos para cada servio seria
suficiente para representar a populao de possveis respondentes desses servios, com base na
frmula de clculo de tamanho da amostra, para populaes de 1 milho de pessoas ou mais, com
nvel de confiana de 95%, erro de amostragem de +/- 5%, com proporo de 50/50 do universo em
questes com duas opes de resposta (Dillman, 2000, p. 206). No caso dos servios Salriomaternidade e Penso por morte, no foi considerada significativa a quantidade de questionrios
respondidos (abaixo de 384 - Quadro 4, p. 117), razo pela qual os dados obtidos a partir desta
tcnica no foram analisados para tais servios.
Os usurios dos demais servios (4.505 pessoas) receberam muito bem o questionrio online, aproveitando a oportunidade para se comunicar com o gestor, por meio de sugestes, elogios e
crticas, inclusive ao processo de prestao do servio fora do ambiente eletrnico. Utilizaram o
espao aberto para sugestes e crticas, 20% dos respondentes (905 pessoas), e 51% (2.301
pessoas) forneceram seus dados para participar de entrevistas telefnicas.
Na anlise dos grficos referentes s perguntas de ambos levantamentos, com gestores e
usurios, observou-se que, em algumas ocasies, o percentual de no resposta e no se aplica foi
relativamente alto, principalmente quando o participante parecia no conhecer o que estava sendo
perguntado (por exemplo, Sistema de Inventrio de Stios - Grfico 7, p. 142, e atendimento a normas
ou recomendaes do Programa - Grfico 24, p. 163), ou quando a situao provavelmente no tinha

191
ocorrido com ele (por exemplo, dificuldades no uso de servios eletrnicos - Grfico 20, p. 160, e
solicitao de ajuda no caso de problemas - Grfico 29, p. 175). Entretanto, a anlise dos motivos
que levaram o participante a no marcar uma resposta ou marcar no se aplica especulativa, j
que o pesquisador no teve oportunidade de esclarecer pessoalmente, ou por telefone, os
verdadeiros motivos. Essa outra desvantagem do questionrio respondido sem a presena do
pesquisador.
Vrios respondentes da pesquisa on-line (2.301 pessoas, 51% do total) se prontificaram a
participar de entrevistas por telefone para esclarecer melhor seus pontos de vista. Os participantes
dos grupos focais de gestores de portais e servios da APF tambm foram selecionados a partir de
dados fornecidos no questionrio, cujo link foi enviado por correio eletrnico aos gestores
previamente cadastrados. O questionrio foi, portanto, um meio utilizado pelo pesquisador para
recrutar participantes para outras tcnicas de coleta de dados. Na avaliao do Programa E-Gov, os
achados de auditoria subsidiados pelos questionrios, exclusivamente ou corroborados por outras
tcnicas, foram:

Desconhecimento, por parte da coordenao do Programa, sobre os portais do Governo


Federal, e seus respectivos responsveis, nos rgos da APF;

Divulgao deficiente das diretrizes e documentos gerados pelo Programa Governo


Eletrnico;

Inexistncia de monitoramento e avaliao por parte da coordenao do Programa

Insuficincia de monitoramento e avaliao sistemticos no mbito interno dos rgos da


APF;

Ausncia de indicadores de desempenho para o Programa

Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;

Baixa porcentagem de servios transacionais, orientados diretamente ao cidado;

Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que


facilitariam o acesso e o uso de servios pblicos eletrnicos pelo cidado.

5.6.7 Triangulao das tcnicas utilizadas


A fim de observar o grau de triangulao das tcnicas utilizadas, montou-se o Quadro 8 (p.
193) que as relaciona com os achados de auditoria em aes do Programa E-Gov. Como

192
mencionado no item 5.6.2 (p. 185), as ferramentas de anlise e controle de qualidade de avaliao de
programas percorreram todos os achados.
As entrevistas, os grupos focais e os questionrios, por sua vez, contriburam para a
identificao de quase todos os achados enquanto a pesquisa documental e a avaliao heurstica
(incluindo os testes de interface) foram mais significativas em determinados temas. De uma maneira
geral, os achados foram subsidiados por mais de uma tcnica, o que demonstra um ponto forte do

Questionrio

Grupo focal

Avaliao heurstica e testes

Entrevista

Ferramentas de avaliao de programas

Falta de formalizao das diretrizes do Programa

Pesquisa documental

mtodo proposto.

Governo Eletrnico
Enfraquecimento

das

instncias

de

discusso

formulao da poltica de governo eletrnico


Desconhecimento, por parte da coordenao do

Programa, sobre os stios do Governo Federal, e seus


respectivos responsveis, nos rgos da Administrao
Pblica Federal
Divulgao deficiente das diretrizes e documentos

gerados pelo Programa Governo Eletrnico


Descompasso

na

implementao

de

servios

eletrnicos, pelos rgos da Administrao Pblica


Federal, com base nas diretrizes do Programa Governo
Eletrnico

Questionrio

Grupo focal

Avaliao heurstica e testes

Entrevista

Inexistncia de monitoramento e avaliao por parte da

Ferramentas de avaliao de programas

Pesquisa documental

193

coordenao do Programa
Ausncia de indicadores de desempenho para o

Programa
Divulgao deficiente de boas prticas de governo

eletrnico pela coordenao do Programa


Insuficincia

de

monitoramento

avaliao

sistemticos no mbito interno dos rgos da APF

Desconhecimento, por parte dos gestores, do pblicoalvo dos servios eletrnicos, suas necessidades e
opinies sobre a qualidade desses servios
Baixa

porcentagem

de

servios

transacionais,

orientados diretamente ao cidado


Inobservncia

de

recomendaes

propostas

nos

documentos gerados pelo Programa que facilitariam o


acesso e o uso de servios pblicos eletrnicos pelo
cidado
Quadro 8 Relao entre os achados de auditoria e as tcnicas utilizadas.

5.7 Anlise das relaes entre construtos


Neste item so comentadas as medidas de tendncia central e disperso das variveis
observveis da pesquisa de satisfao on-line, relacionadas aos construtos e dimenses do modelo
proposto de avaliao da satisfao do cliente de servio e-gov (item 3.4, p. 90), assim como suas
interrelaes, em resposta questo de pesquisa H relao direta entre o atendimento aos padres
de qualidade adotados e a satisfao do cidado-cliente com os servios de governo eletrnico?.
So apresentados tambm os testes estatsticos de confiabilidade e validade dos instrumentos
quantitativos utilizados (Apndices 9.9, p. 267 e 9.10, p. 270).
Para o clculo de todas as mdias e desvios padro, foram desconsideradas as respostas
No se aplica e os itens sem respostas. Optou-se por apresentar, tambm, o clculo da moda (valor
que ocorreu com mais freqncia na amostra) e a mediana (valor central, ponto que divide a amostra
em 50%) devido natureza de algumas escalas. Neste estudo, as escalas bipolares ancoradas nos
extremos e as escalas de concordncia/discordncia, associadas a pesos de 1 a 5 ou de 1 a 4, foram
tratadas como intervalares para efeitos comparativos, fato j comentado no item 4.3.1.2 (p. 114).
Como as escalas intervalares aceitam transformaes sem que se perca suas propriedades,
os seus pontos mximos foram transformados em 100 pontos, a fim de permitir raciocnio percentual
do grau de qualidade percebida, valor percebido, expectativas e satisfao geral, incluindo suas
dimenses, alm de comparaes entre construtos com escalas intervalares distintas. Os pontos das
escalas de 1 a 4 foram multiplicados por 25; das escalas de 1 a 5, por 20. Esse procedimento
possvel pois a estrutura de escalas intervalares no modificada pela multiplicao de seus pontos
pelo mesmo valor, j que a igualdade entre os intervalos preservada.
O Quadro 9 (p. 195) apresenta as medidas de tendncia central e disperso para as
dimenses relacionadas com o construto Qualidade percebida. A escala foi a mesma em todas as
questes: 1 Discordo totalmente a 4 Concordo totalmente, sendo que os pontos de concordncia
apontam avaliao positiva da dimenso. Nos casos em que o enunciado era negativo, na anlise, a
escala foi invertida, para que as medidas de tendncia central e o desvio padro fossem calculados
corretamente. Nesse quadro observa-se que todas as dimenses da qualidade foram avaliadas, pelos
usurios dos servios e-gov selecionados, acima do ponto mdio da escala, com amplitude de 66,5%

195
a 87,0%, dependendo da dimenso. As colunas de moda e mediana tambm apontam para a mesma
concluso de avaliao positiva da qualidade em todas as dimenses (pontos 3 e 4 da escala).
Dimenses

Questes

64

Escala Mdia DP

65

Moda Mediana

Mdia
escala
100 (%)

Convenincia

Q1_4h e Q2_4j

1a4

3,48 0,98

87,0

Usabilidade

Q2_4c, 4f e 4g

1a4

3,46 0,90

86,5

Facilidade de localizao do
portal web da instituio

Q2_4a e 4b

1a4

3,45 0,91

86,3

Facilidade de localizao do
servio e-gov

Q1_4b

1a4

3,36 0,97

84,0

Q1_4f, Q2_4d e 4e

1a4

3,36 1,03

84,0

Q1_4i

1a4

3,29 1,12

82,3

Capacidade de resposta a
dvidas e reclamaes

Q1_4d e Q2_4k

1a4

3,15 1,10

78,8

Adequao do servio s
necessidades pessoais

Q1_4a

1a4

3,10 1,10

77,5

Disponibilidade

Q1_4e

1a4

2,96 1,18

74,0

Q1_4c, Q2_4h e 4i

1a4

2,95 1,21

73,8

Q1_4g

1a4

2,66 1,21

66,5

Acessibilidade
Tempo de atendimento

Confiabilidade
Privacidade
de
dados
pessoais e segurana de
informaes

Quadro 9 Medidas de tendncia central e disperso das dimenses da qualidade percebida.


As dimenses em que os usurios perceberam mais qualidade foram convenincia do meio
eletrnico (87,0%) e usabilidade das interfaces dos servios (86,5%). A dimenso Privacidade de
dados pessoais e segurana de informaes, considerada a mais importante pelos usurios em
pergunta especfica do questionrio (quadrante inferior direito do Grfico 48, p. 196), por sua vez, foi
a que demonstrou qualidade mais baixa dentre as avaliadas (66,5%), mesmo que acima do ponto
mdio da escala. Nesse quadrante inferior direito, observa-se que, alm da privacidade, as
dimenses Disponibilidade e Tempo de atendimento so as que mereceriam mais ateno dos

64

Q1 questionrio 1 (Apndice 9.9, p. 267); Q2 questionrio 2 ( Apndice 9.10, p. 270).

65

Desvio padro.

196
gestores dos servios avaliados, pois so aquelas consideradas importantes pelos usurios porm
por eles percebidas como de qualidade abaixo da mdia das dimenses (linha 3,3).

Qualidade percebida

4,0
Facilidade de
localizao do
portal web da
instituio
Usabilidade
Acessibilidade

3,3

Facilidade de
localizao do
servio e-gov

Tempo de
atendimento

Capacidade de
resposta a dvidas
e reclamaes

Disponibilidade

Confiabilidade

Privacidade de dados pessoais e


segurana de informao

2,6
Im portncia

Alta qualidade, baixa importncia


Alta qualidade, alta importncia
Baixa qualidade, baixa importncia
Baixa qualidade, alta importncia

Grfico 48 Relao entre mdia da qualidade percebida e importncia das dimenses.


O Quadro 10 (p. 197) apresenta as medidas de tendncia central e disperso para as
dimenses relacionadas com o construto Padres de qualidade atendidos. A escala utilizada para
todas as dimenses foi dicotmica: o padro era atendido ou no, de acordo com a opinio dos
especialistas que realizaram a avaliao heurstica, ao confrontar sua observao do servio via
Internet com a lista de verificao para portais e servios e-gov (Apndice 9.5, p. 248). Para cada
dimenso, e para cada servio, foi calculado o percentual de itens atendidos (resposta = Sim). As
dimenses Convenincia e Adequao do servio s necessidades pessoais no foram includas
na avaliao heurstica, por no haver itens sobre esses assuntos nas normas e padres utilizados
para elaborao da lista de verificao. A mdia e o desvio padro foram calculados levando em
considerao o percentual atingido pelos cinco servios eletrnicos. Na avaliao heurstica desses
servios foram atendidos mais padres de usabilidade (83%) e relacionados com o atendimento ao
usurio, para tirar dvidas e acolher reclamaes (83%), dimenses consideradas de baixa
importncia pelos usurios (quadrante superior esquerdo do Grfico 49, p. 197). Em especial, trs
dimenses atingiram percentuais mais baixos de conformidade com os padres definidos:

197
Confiabilidade

(56%),

Disponibilidade

(50%)

Acessibilidade

(49%).

No

caso

da

Disponibilidade, vale ressaltar que os cinco servios pontuaram da mesma forma (desvio padro =
0%) e que, no Grfico 49 (p. 197), a nica dimenso que se encontra no quadrante de alta
importncia e percentual de atendimento abaixo da mdia das dimenses (linha 69%).

85%

Usabilidade

Padro atendido

Capacidade de
resposta a dvidas
e reclamaes

69%
65%

Facilidade de
localizao
do servio egov

Privacidade de dados pessoais


e segurana de informao

Facilidade de
localizao
do portal
web da
instituio

Tempo de
atendimento

Confiabilidade
Disponibilidade
Acessibilidade

45%
Im portncia

Alta qualidade, baixa importncia


Alta qualidade, alta importncia
Baixa qualidade, baixa importncia
Baixa qualidade, alta importncia

Grfico 49 Relao entre mdia dos padres atendidos e importncia das dimenses.

Dimenses

Escala

Mdia

DP

Usabilidade

Sim ou no

83%

3%

Capacidade de resposta a dvidas e reclamaes

Sim ou no

83%

14%

Facilidade
instituio

Sim ou no

80%

0%

Facilidade de localizao do servio e-gov

Sim ou no

75%

12%

Tempo de atendimento

Sim ou no

75%

25%

Privacidade de dados pessoais e segurana de


informaes

Sim ou no

73%

28%

Confiabilidade

Sim ou no

56%

10%

Disponibilidade

Sim ou no

50%

0%

Acessibilidade

Sim ou no

49%

7%

de

localizao

do

portal

web

da

Quadro 10 Medidas de tendncia central e disperso das dimenses da avaliao heurstica.

198
Ao comparar o Quadro 9 (p. 195) com o Quadro 10 (p. 197), observa-se que, excluindo a
dimenso Convenincia, que no constou da avaliao heurstica, a dimenso Usabilidade foi a
que demonstrou maior grau de qualidade aos usurios (86,5%), e maior mdia de atendimento aos
padres (83%). Outras dimenses que obtiveram pontuaes positivas em ambas avaliaes foram
Capacidade de resposta a dvidas e reclamaes, Facilidade de localizao do portal web da
instituio, Facilidade de localizao do servio e-gov e Tempo de atendimento.
As dimenses Confiabilidade e Disponibilidade foram as que receberam avaliaes menos
positivas em ambas as avaliaes. Entretanto, essa correlao entre qualidade percebida e
atendimento a padres no foi observada nas dimenses Acessibilidade e Privacidade de dados
pessoais e segurana de informaes. Apesar da mdia de atendimento aos padres de
acessibilidade ter sido abaixo de 50% (Quadro 10, p. 197), os usurios pesquisados avaliaram bem
essa dimenso (84,0% - Quadro 9, p. 195). Pode-se especular que no havia, entre os participantes,
pessoas com limitaes fsicas ou tecnolgicas que so as mais prejudicadas pela negligncia dos
projetistas de pginas web quanto acessibilidade de seu contedo. Porm, tal justificativa seria
mera especulao, pois no foi includa, no questionrio, pergunta sobre esse aspecto do perfil dos
usurios. Em situao oposta est a dimenso Privacidade de dados pessoais e segurana de
informaes. Apesar dos esforos das instituies selecionadas em relao segurana de
informaes (73% de padres atendidos - Quadro 10, p. 197), os usurios pesquisados ficaram
preocupados com esse aspecto ao se comunicarem, por meio da Internet, com essas instituies
prestadoras de servios pblicos (66,5% - Quadro 9, p. 195).
O Quadro 11 (p. 199) apresenta as medidas de tendncia central e disperso para as
dimenses relacionadas com o construto Valor percebido. Em termos intervalares, as escalas foram
as mesmas (de 1 a 5), diferindo apenas nos adjetivos usados para ancorar seus extremos. Assim
como ocorreu com a avaliao da qualidade percebida pelos usurios, todas as dimenses, na
comparao dos servios eletrnicos com os outros canais de atendimento, ficaram acima do ponto
mdio da escala, variando de 72,4% a 82,0%. Os valores das colunas de moda e mediana tambm
foram altos, atingindo, em quase todas as dimenses, o limite superior da escala. Nessa pergunta de
comparao com os outros canais de prestao dos mesmos servios, no constaram as dimenses

199
Facilidade de localizao do portal web da instituio e Adequao do servio s necessidades
pessoais e foi acrescentada a avaliao geral da qualidade.
Dimenses

Convenincia

Questes

Escala

DP

Moda Med.
66

Mdia
escala
100 (%)

4,10 1,309

82,0

4,07 1,368

81,4

Avaliao geral da Q1 = Q2 5j 1 Pior at


qualidade
5 Melhor

4,01 1,414

80,2

Facilidade
localizao
servio e-gov

de Q1 = Q2 5a 1 Mais difcil de encontrar at


do
5 Mais fcil de encontrar

3,98 1,360

79,6

Disponibilidade

Q1 = Q2 5e 1 Menos flexvel quanto ao


horrio de atendimento at
5 Mais flexvel quanto ao
horrio de atendimento

3,97 1,410

79,4

Usabilidade

Q1 = Q2 5c 1 Mais difcil de usar at


5 Mais fcil de usar

3,97 1,373

79,4

Acessibilidade

Q1 = Q2 5b 1 Mais difcil de acessar at


5 Mais fcil de acessar

3,90 1,399

78,0

Confiabilidade

Q1 = Q2 5f 1 Menos confivel at
5 Mais confivel

3,74 1,334

74,8

Privacidade
de Q1 = Q2 5g 1 Menos seguro at
dados pessoais e
5 Mais seguro
segurana
de
informaes

3,74 1,326

74,8

Capacidade
de Q1 = Q2 5i 1 Mais difcil para tirar
resposta a dvidas
dvidas at
e reclamaes
5 Mais fcil para tirar dvidas

3,62 1,451

72,4

Tempo
atendimento

Q1 = Q2 5h 1 Menos conveniente at
5 Mais conveniente

Mdia

de Q1 = Q2 5d 1 Menos rpido at
5 Mais rpido

Quadro 11 Medidas de tendncia central e disperso das dimenses do valor percebido.


Os usurios perceberam vantagens da prestao de servios via Internet, em relao aos
outros canais, principalmente quanto convenincia que esse meio proporciona (82,0%) e ao tempo
de atendimento do servio (81,4%). A dimenso menos valorizada foi a Capacidade de resposta a
dvidas e reclamaes (72,4%), ainda que acima do ponto mdio da escala. De uma maneira geral,

66

Mediana.

200
os usurios consideraram o servio via Internet melhor do que o prestado por outros canais
(Avaliao geral da qualidade = 80,1%).
Ao confrontar o Grfico 48 (p. 196) - Qualidade percebida - com o Grfico 50 (p. 200)
Valor percebido, pode-se dizer que as dimenses relacionadas privacidade, disponibilidade e
tempo de atendimento, quando se compara o meio eletrnico com os outros canais, melhoram um
pouco sua avaliao perante aos usurios, mas ainda assim deveriam ser consideradas com mais
ateno pelos gestores dos servios.

Valor percebido

4,4

Usabilidade

Facilidade de
localizao
do servio egov

Tempo de
atendimento
Disponibilidade

4,0
3,9
Acessibilidade
Privacidade de dados pessoais
e segurana de informao

Confiabilidade
Capacidade de
resposta a dvidas
e reclamaes

3,5
Im portncia

Alta qualidade, baixa importncia


Alta qualidade, alta importncia
Baixa qualidade, baixa importncia
Baixa qualidade, alta importncia

Grfico 50 Relao entre mdia do valor percebido e importncia das dimenses.


O Quadro 12 (p. 201) apresenta as medidas de tendncia central e disperso para os
construtos da pesquisa de satisfao on-line. Observa-se que o padro de qualidade esperado dos
servios eletrnicos foi bom (Expectativas - mdia 3,06, onde 3 = bom; 76,5%) e comparvel ao valor
percebido em relao aos outros canais de prestao dos servios (79,8%). Apesar do percentual
relativamente mais baixo de atendimento aos padres de qualidade definidos (69%), os usurios
perceberam e avaliaram bem a qualidade dos servios (81,5%), quando questionados sobre as
dimenses da qualidade, separadamente. Ao serem questionados diretamente sobre sua insatisfao
ou satisfao geral com o servio, o percentual diminuiu (64,0%; mdia 3,20), ficando pouco acima do
ponto mdio da escala (3= Nem insatisfeito, nem satisfeito).

201
Construtos

Questes

Escala

Mdia

at

DP

3,06 0,76

Moda Med.

Mdia
escala
100 (%)

Expectativas
Q1_3
(padres esperados)

1 Muito ruim
4 Muito bom

76,5

Padres de qualidade Apndice 9.5


atendidos
(p. 248)

Sim ou no

69,0 11,0

Qualidade percebida Quadro 9

1 Discordo totalmente
4 Concordo totalmente

3,26 0,56

81,5

1 a 5
ancorada
extremos

bipolar
nos

3,99 1,12

79,8

1 Muito insatisfeito at
5 Muito satisfeito

3,20 1,49

64,0

69,0

(p. 195)
Valor percebido

Quadro 11
(p. 199)

Satisfao geral

Q1_2 = Q2_1

Quadro 12 Medidas de tendncia central e disperso dos construtos.


O Quadro 13 mostra os coeficientes Alfa de Cronbach dos construtos medidos por mais de
um item em cada questionrio da pesquisa de satisfao on-line (Qualidade percebida e Valor
percebido), e ainda os coeficientes quando consideradas todas as questes (Quest_1 = 0,903 e
Quest_2 = 0,936). Tais resultados demonstram confiabilidade aceitvel desses instrumentos, bem
acima do mnimo recomendado por Hair et al. (2005) para estudos exploratrios (0,60) e
confirmatrios (0,70).

Quest_2

Quest_1

Itens sobre

Alfa de Cronbach

Qualidade percebida

0,846

Valor percebido

0,946

Qualidade percebida

0,880

Valor percebido

0,951

0,903

0,936

Quadro 13 Teste de confiabilidade.


Analisando as correlaes entre dimenses (Quadro 14, p. 202), notou-se que Adequao
do servio s necessidades pessoais e Tempo de atendimento do construto Qualidade percebida
guardam alta correlao entre si (entre 0,6 e 0,8 Bisquerra et al., 2004), enquanto que as

202
dimenses Privacidade de dados e segurana de informaes e Confiabilidade do construto Valor
percebido apresentam correlao considerada muito alta pelo mesmo autor (entre 0,8 e 1).
Construto

Dimenses

Coef. de correlao
(Spearman - )

Qualidade

Adequao

do

percebida

necessidades pessoais

Valor

Privacidade

percebido

segurana de informaes

de

servio

dados

s Tempo de atendimento

e Confiabilidade

0,711

0,883

Quadro 14 Correlaes entre dimenses.


Por meio de regresses mltiplas e da anlise dos coeficientes (Quadro 15, p. 203),
observou-se que a dimenso que contribuiu mais significativamente para a Qualidade percebida foi
a Usabilidade e para o Valor percebido foi o Tempo de atendimento empatado com a Avaliao
da qualidade geral do meio eletrnico em comparao aos outros canais de prestao dos servios.
Os coeficientes so coeficientes de regresso modificados usados como orientao para
importncia relativa das variveis independentes includas na equao de regresso no intervalo de
valores para o qual os dados amostrais existem (Hair et al., 2005). Quanto maior , maior a
importncia relativa da varivel.
interessante notar que as dimenses que mais contriburam para a Qualidade percebida
no so necessariamente aquelas que obtiveram as maiores mdias (Convenincia, Usabilidade,
Facilidade de localizao do portal web da instituio e Facilidade de localizao do servio e-gov
- Quadro 9, p. 195). O mesmo ocorreu com as dimenses mais significativas do Valor percebido. As
de maiores mdias foram Convenincia, Tempo de atendimento, Avaliao geral da qualidade e
Facilidade de localizao do servio e-gov - Quadro 11, p. 199).

203

Dimenses com maiores coeficientes

Valores (
)

Qualidade percebida
Usabilidade

0,237

Acessibilidade

0,215

Confiabilidade

0,198

Capacidade de resposta a dvidas e reclamaes

0,155

Valor percebido
Tempo de atendimento

0,125

Avaliao da qualidade geral

0,125

Capacidade de resposta a dvidas e reclamaes

0,123

Acessibilidade

0,123

Quadro 15 Dimenses mais significativas da equao de regresso mltipla para ambos construtos.
Os coeficientes de correlao no paramtrica ordinal de Spearman () entre itens
relacionados a construtos diferentes do modelo de avaliao da satisfao (item 3.4, p. 90) variaram
de 0,067 a + 0,376 (faixa de correlao de muito baixa a baixa, segundo Bisquerra et al., 2004), o
que demonstra validade discriminante dos construtos medidos pelos questionrios de satisfao online, ou seja, tais construtos so suficientemente diferentes entre si.
O Quadro 16 (p. 204) apresenta as relaes da Satisfao geral com outros construtos do
2

modelo de avaliao da satisfao (item 3.4, p. 90), os valores , t e R ajustado, obtidos a partir de
regresso mltipla. De acordo com esses resultados, os construtos Qualidade percebida e
Expectativa se mostram estatisticamente significativos na determinao da Satisfao geral, pois
os pesos () das relaes apresentam t > 1,98 (valor tabelado com nvel de significncia de 0,05 e
com 97 graus de liberdade Hair et al., 2005). O construto Valor percebido foi excludo da equao
2

de regresso (t < 1,98), razo pela qual no foi calculado o valor de R ajustado correspondente.
Como o foco da questo de pesquisa so as relaes determinantes da satisfao, j representadas
neste quadro, as relaes intermedirias entre Expectativas, Qualidade percebida e Valor
percebido no foram consideradas relevantes para discusso.

204
Analisando os valores de , pode-se interpretar que satisfao apresentou vnculo mais forte
com a qualidade (= 0,223), isto , quanto maior a percepo de qualidade, maior a satisfao. O
coeficiente entre os construtos Expectativa e Satisfao geral apresentou o valor de 0,092,
indicando um relacionamento conseqencial positivo, porm relativamente baixo. Ao analisar a matriz
de correlao entre os construtos Qualidade percebida e Valor percebido, notou-se certa
correlao entre ambos ( = 0,4), fato que provavelmente fez com que a contribuio do Valor
percebido na equao de regresso para previso da satisfao fosse desprezvel frente
contribuio da Qualidade percebida, j includa na equao. Tomando agora os valores do R

ajustado, observa-se que a Qualidade percebida capaz de explicar 54% da variao total da
Satisfao geral e que, junto com a Expectativa, consegue explicar 61% da variao desse
2

construto. Quanto maior o R ajustado, maior o poder de explicao da equao de regresso e,


portanto, melhor a previso da varivel dependente.
Construtos

Valores (
)

Valores (t)

Valores
(R2 ajustado)

Qualidade percebida Satisfao geral

0,223

7,328

0,54

Expectativa Satisfao geral

0,092

3,001

0,07

Valor percebido Satisfao geral

0,058

1,742

Quadro 16 Resultados da regresso mltipla para previso da satisfao.


A medida da satisfao geral prevista pela equao de regresso mltipla do modelo
67

proposto (SG = 0,710 + 0,596 QP + 0,179 Expec ), derivada do conjunto de questes sobre
expectativa, qualidade percebida e valor percebido, antecedentes da satisfao, igual a 3,201,
portanto comparvel satisfao geral medida a partir de pergunta especfica (SG = 3,20 - Quadro
12, p. 201), o que demonstra validade convergente

68

desse construto.

Com intuito de confirmar a classificao prvia das questes nas dimenses e construtos,
feita com base na literatura pesquisada e na experincia do pesquisador, e melhorar ainda mais a
previso da Satisfao geral, optou-se por realizar anlise fatorial, com componentes principais e

67

SG = Satisfao geral; QP = Qualidade percebida; Expec = Expectativa.

68

Correlao significativa entre duas medidas do mesmo construto, realizada com mtodos diferentes.

205
rotao Varimax, das questes de ambos questionrios de satisfao. Nessa anlise, confirmou-se a
existncia de trs construtos antecedentes da satisfao, coincidentes com os propostos, porm
identificou-se distribuio semelhante, em dois fatores, de cargas fatoriais altas em trs itens (sobre
disponibilidade, confiabilidade e acessibilidade, associados Qualidade percebida). Alm disso,
observou-se baixa comunalidade (0,4) da questo especfica sobre insatisfao ou satisfao com o
servio. Por esse motivo, e tambm pelo fato de que a satisfao geral pode ser prevista pela anlise
de seus construtos antecedentes, decidiu-se eliminar essas quatro questes e realizar nova
regresso mltipla, cujos resultados esto apresentados no Quadro 17. Observa-se que o poder de
explicao da Qualidade percebida em relao variao total da Satisfao geral aumentou para
67%, e que, junto com a Expectativa, consegue explicar 74% da variao desse construto. Com a
retirada da questo especfica sobre satisfao e o resultado dessa ltima regresso, deduz-se que
no necessrio perguntar aos usurios se esto insatisfeitos ou satisfeitos com os servios e-gov;
basta analisar, principalmente, as respostas ao conjunto de perguntas sobre qualidade,
complementadas pelas respostas s perguntas sobre os padres de qualidade esperados. Em
aplicaes futuras dos questionrios on-line, sugere-se, ento, eliminar as questes Q1_4e
(disponibilidade), Q1_4f (acessibilidade) e Q2_4i (confiabilidade), alm das questes Q1_2 = Q2_1
sobre satisfao. Se a inteno for determinar o grau de satisfao dos usurios dos servios e-gov,
sem se preocupar especificamente com a comparao com outros canais de prestao dos servios,
possvel tambm eliminar a questo 5 de ambos os questionrios, que trata do Valor percebido,
sem comprometer o poder de explicao da Satisfao geral a partir dos outros construtos.
Construtos

Valores (
)

Valores (t)

Valores
(R2
2 ajustado)

Qualidade percebida Satisfao geral

0,250

8,240

0,67

Expectativa Satisfao geral

0,089

2,954

0,07

Valor percebido Satisfao geral

0,031

0,909

Quadro 17 Resultado da regresso do novo modelo.


Quanto ao relacionamento entre padro de qualidade atendido e satisfao, construtos
medidos por instrumentos diferentes (avaliao heurstica realizada por dois especialistas e
questionrios respondidos por 4.505 pessoas), a resposta no to direta. Pode-se dizer que,
indiretamente, tomando por base a concluso de que o atendimento a padres no necessariamente

206
leva percepo de qualidade, por depender da dimenso avaliada, tirada a partir da comparao
entre o Quadro 9 (p. 195) e o Quadro 10 (p. 197), e dado que Qualidade percebida e Satisfao
geral indicaram correlao positiva na anlise estatstica desses dois construtos (Quadro 16, p. 204),
o construto Satisfao geral pode ou no apresentar a mesma tendncia positiva ou negativa do
construto Padro de qualidade atendido. Portanto, a resposta questo de pesquisa H relao
direta entre o atendimento aos padres de qualidade adotados e a satisfao do cidado-cliente com
os servios de governo eletrnico? dependente da dimenso, j que tal relao pode ocorrer em
algumas dimenses e em outras no.

5.8 Consideraes finais


A anlise dos dados desta pesquisa compreendeu, alm das fases de anlise de contexto e
avaliao do Programa Governo Eletrnico e servios pblicos eletrnicos especficos, o perfil dos
respondentes das pesquisas on-line, a anlise das tcnicas utilizadas no modelo proposto de
avaliao de governo eletrnico, e a anlise da relao entre construtos do modelo de avaliao da
satisfao. No prximo captulo sero discutidos esses resultados luz da literatura e da experincia
do pesquisador.

207

6 Discusso e concluses
Neste captulo so comentadas as concluses desta tese, em relao s questes e
problema de pesquisa. So tambm apresentadas as contribuies tericas e prticas deste estudo,
assim como suas limitaes e sugestes para pesquisas futuras.

6.1 Discusso e concluses com base nas questes de pesquisa


O problema que esta pesquisa se props a responder foi expresso, no captulo introdutrio (p.
4), por duas questes:
1. Como avaliar os resultados de programas de governo eletrnico sob a tica do cidado-cliente?
2. H relao direta entre o atendimento aos padres de qualidade adotados e a satisfao do
cidado-cliente com os servios de governo eletrnico?
Em relao primeira questo, este estudo, com intuito de definir mtodo de avaliao dos
resultados de programas de governo eletrnico sob a tica dos cidados-clientes, identificou
procedimentos, padres de qualidade (normas, recomendaes) e indicadores nacionais e
internacionais para avaliar resultados de programas de governo eletrnico, assim como aqueles
efetivamente utilizados por rgos governamentais brasileiros para monitorar e avaliar seus servios
e-gov.
Para responder a segunda questo, foram comparadas caractersticas de servios e-gov
brasileiros com padres de qualidade nacionais e internacionais e captada a percepo de cidadosclientes sobre os servios pblicos eletrnicos selecionados, em relao a dimenses de avaliao
especficas, baseadas nesses padres, a partir da aplicao do mtodo de avaliao de e-gov
proposto no item 4.2.2 (p. 109) e descrito no item 4.3 (p. 110). Nos prximos itens, sero discutidos
os resultados desta pesquisa luz da literatura e da experincia do pesquisador, para cada uma
dessas questes.

208

6.1.1 Como avaliar os resultados de programas de governo eletrnico sob a


tica do cidado-cliente?
A questo de auditoria do modelo proposto no item 3.5 (p. 96) que norteou essa etapa da
avaliao foi Como feito o monitoramento e a avaliao da eficcia do Programa Governo
Eletrnico?. Como contribuies significativas desta parte da pesquisa destacam-se:

Os modelos de avaliao de governo eletrnico (item 3.2, p. 87), de avaliao da


satisfao (item 3.4, p. 90) e de avaliao de programas de governo eletrnico (item 3.5,
p. 96);

Os instrumentos de coleta de dados relacionados aos objetivos da pesquisa, disponveis


como apndices deste documento (item 9, p. 241);

Os resultados da aplicao do mtodo proposto (item 4.2.2, p. 109) na avaliao do


Programa E-Gov brasileiro e de cinco servios pblicos eletrnicos selecionados, quanto
ao monitoramento e a avaliao de sua eficcia (itens 5.2, p. 133, e 5.4, p. 154), os quais
foram incorporados a relatrio de auditoria do Tribunal de Contas da Unio com
recomendaes para sua melhoria.

Em termos de enfoque de avaliao, o estudo que mais se aproximou desta pesquisa foi a
avaliao do GOL (Government On-Line), do governo canadense, em 2001, a qual no mediu
atividades e processos internos, nem resultados sociais do programa, mas enfocou, como nesta
pesquisa, os resultados, e as sadas necessrias para atingir esses resultados, sob a tica do cliente
(item 2.2.6.4, p. 40). As dimenses sob avaliao, entretanto, diferiram um pouco, j que o estudo
canadense se limitou a avaliar capacidade de resposta rpida a dvidas e reclamaes,
convenincia, usabilidade, segurana e privacidade, sem se preocupar tambm com a facilidade de
localizao do portal web, facilidade de localizao do servio, acessibilidade, disponibilidade,
confiabilidade, e tempo de atendimento, dimenses que constaram desta pesquisa (item 3.4, p. 90).
J o estudo Top of the Web (Europe - Directorate General Information Society, 2003) usou, como
indicadores, satisfao geral, usabilidade, uso dos servios on-line e benefcios, subdivididos em
outros indicadores que, em alguns casos, coincidiram com dimenses desta pesquisa (item 3.4, p.
90).

209
Outros trabalhos com enfoque semelhante ao desta pesquisa, no que diz respeito avaliao
do Programa E-Gov e das tcnicas de monitoramento e avaliao utilizadas tanto pelos gestores do
Programa quanto pelas agncias prestadoras de servios, foram as auditorias realizadas pelo ANAO
(Australia - Australian National Audit Office, 2003/2004; 2004/2005), que adotaram, como principais
tcnicas de coleta de dados, pesquisa documental, entrevistas, grupo focal e frum de debates.
Alguns achados dessas auditorias foram semelhantes aos encontrados por esta pesquisa, como por
exemplo, inexistncia ou insuficincia de monitoramento e avaliao por parte da coordenao do
Programa e dos gestores de portais e servios e-gov, e ausncia de indicadores de desempenho
(itens 5.2.1, p. 134 e 5.4, p. 154). O relatrio da Organization for Economic Co-operation and
Development (OECD, 2003) tambm aponta a falta de monitoramento e avaliao como uma das
fraquezas dos programas e-gov de seus pases-membro. V-se que a falta de preocupao dos
gestores pblicos com a avaliao do e-gov no prerrogativa brasileira.
O conjunto de tcnicas que comps o mtodo de avaliao, proposto no item 4.2.2 (p. 109) e
descrito no item 4.3 (p. 110), englobou, alm do grupo focal e da avaliao heurstica, vrias das
tcnicas e ferramentas de coleta, anlise de dados e de controle de qualidade geralmente utilizadas
em avaliaes de programa, apresentadas na reviso de literatura (item 2.4, p. 69), e comentadas na
anlise de dados (item 5.6, p. 185): pesquisa documental, entrevista (inclusive por telefone),
levantamento (survey), anlise de grupo de interesse, anlise SWOT, diagrama de verificao de
risco, matriz de planejamento, matriz de achados e painel de referncia. Em relao s tcnicas
utilizadas nesta pesquisa, pode-se destacar os seguintes pontos:

Diferentemente da maioria das avaliaes de resultados sociais de polticas e servios


pblicos, geralmente feita por meio de indicadores quantitativos (nmero de pessoas
atingidas, quantidade de recursos aplicados), o mtodo de avaliao de e-gov proposto
permite avaliao mais ampla e consistente j que alia tcnicas estatsticas a outras que
possibilitam anlise em profundidade das informaes coletadas.

A tcnica de entrevistas por telefone, nica tcnica usada para coletar informaes junto
a usurios no clculo do ndice ACSI (item 2.3.5.2.2, p. 67), que incluiu a avaliao de
portais web do governo eletrnico americano, pela primeira vez, em 2002, foi uma entre
vrias tcnicas utilizadas por esta pesquisa, propiciando, assim, triangulao de

210
resultados (item 5.6.7, p. 191) e, conseqentemente, maior validade. No estudo de
validao do modelo ACSI no mbito do setor de telefonia mvel brasileiro (Moura &
Gonalves, 2005), a tcnica de entrevista por telefone, tambm a nica tcnica adotada,
foi diferente da aplicada nesta pesquisa por ter empregado sistema de entrevista por
telefone assistida por computador, que, sob o ponto de vista dos prprios pesquisadores,
pode ter incorporado vis do entrevistador e, assim, influenciado a qualidade dos dados.

A anlise de contedo web realizada nesta pesquisa foi alm da verificao da


disponibilidade de servios teis ao cidado comum e da classificao em estgios
evolutivos, como a dos estudos comparativos das Naes Unidas (Ronaghan, 2002) e da
firma de consultoria Accenture (item 2.2.6.1, p. 33), pois englobou elaborao de lista de
verificao (Apndice 9.5, p. 248), a partir de normas e padres de qualidade nacionais e
internacionais, e posterior avaliao heurstica por especialistas, complementada por
testes automticos e manuais, descrita no item 4.3.2 (p. 118), e cujos resultados foram
comentados no item 5.4 (p. 154).

O uso de grupos focais nesta pesquisa teve como inteno provocar o confronto de
opinies, percepes, sentimentos, atitudes e idias dos participantes. Os gestores de
portais da APF que integraram trs grupos focais, como comentado no item 5.6.5 (p.
188), receberam muito bem a tcnica a ponto de se expressarem naturalmente,
aparentemente sem reservas, aproveitando a oportunidade para trocar experincias entre
si. Muitos saram dali com a inteno de entrar em contato com outros participantes para
estender a discusso aps a entrevista em grupo. Observou-se que o esforo combinado
do grupo produziu mais informaes, e com maior riqueza de detalhes, do que o
somatrio das respostas individuais, concordando, assim, com a afirmativa de Johnson
(1994) de que os usurios dessa tcnica partem do pressuposto de que a energia gerada
pelo grupo resulta em maior diversidade e profundidade de respostas.

A pesquisa de satisfao adotada neste estudo, realizada com 4.505 usurios de servios e-gov
brasileiros, por sua alta taxa de resposta, comentada no item 5.6.6 (p. 189), contrariou o que a
literatura afirma sobre baixas taxas de resposta em pesquisas na Internet (item 4.3.1.1, p. 112).
Na anlise da qualidade de artigos da rea de Marketing no Brasil, feito por Froemming et al.

211
(2000), identificou-se que o instrumento de coleta de dados mais utilizado era o questionrio
aplicado (39,52%), enquanto que o questionrio eletrnico, quela poca, era pouco utilizado no
Brasil (3,23%). Os motivos que levaram os usurios dos servios e-gov a participarem desta
pesquisa talvez tenha sido a carncia de canais de comunicao do governo com os cidados
que viram, na pesquisa, uma oportunidade para reivindicar, reclamar, elogiar; talvez tenha sido a
facilidade e rapidez que o questionrio de satisfao on-line lhes proporcionou de expressar suas
opinies sobre servios do governo, visando sua melhoria, fazendo com que se sentissem
prestigiados por estarem sendo ouvidos (senso de incluso e importncia).

O fato de parte desta pesquisa ter sido apoiada pelo Tribunal de Contas da Unio pode
ter lhe conferido maior seriedade, aos olhos da coordenao do Programa, dos gestores
de portais, e dos usurios dos servios pblicos eletrnicos avaliados, influenciando
positivamente sua predisposio e compromisso no fornecimento de dados e na
participao nas entrevistas individuais, grupos focais e levantamentos (questionrios).

A tcnica de levantamento on-line (questionrio) desta pesquisa sobre servios e-gov,


tambm usada no estudo comparativo Top of the Web (Europe - Directorate General
Information Society, 2003), seguiu a sugesto de Rossi & Slongo (1998) de aplicao
com clientes que haviam utilizado recentemente os servios, isto , em menos de seis
meses, para que tivessem mais condies de lembrar e opinar sobre seus aspectos
positivos e negativos. Este levantamento teve ainda a vantagem de alcanar, em curto
espao de tempo e a baixo custo, populaes grandes e diversas, em termos de perfis e
de localizao geogrfica (Grficos 39 a 47, p. 182 a 184) diferentemente da pesquisa de
Urdan & Rodrigues (1999) de verificao emprica do modelo ACSI com clientes da
indstria automobilstica brasileira, a qual enviou questionrio pelo correio a 1.400
clientes de Belo Horizonte que tinham adquirido automveis no perodo de seis meses a
trs anos. As 304 respostas recebidas por esses pesquisadores foram remetidas em
papel, tambm pelo correio, em envelope j selado para devoluo, at trs meses aps
o envio do questionrio.

A incorporao de tcnicas de prospeco junto aos cidados-clientes (survey e


entrevistas telefnicas), nesta pesquisa, est de acordo com a recomendao do

212
documento brasileiro Padres de qualidade do atendimento ao cidado: estabelecendo
padres de qualidade do atendimento (Brasil MP, 2000) de monitorar sistematicamente
o desempenho das instituies governamentais em relao a padres, a partir de, por
exemplo, levantamento da opinio dos usurios por meio de pesquisas de satisfao e
entrevistas (item 2.3.5.1, p. 62), alm de ter considerado a afirmao de Zeithaml et al.
(1990), apresentada no item 2.3.3 (p. 46), de que apenas os consumidores podem julgar
a qualidade; todos os demais julgamentos so irrelevantes. Apesar de existir norma
brasileira que determina a realizao de avaliao de satisfao do usurio, pelo menos
anualmente (item 2.3.3.2, p. 51), os resultados desta pesquisa indicaram que este no
um procedimento usual na Administrao Pblica Federal (item 5.4, p. 154).

O grau de triangulao das tcnicas utilizadas nesta pesquisa foi expressivo (item 5.6.7,
p. 191), tanto que as ferramentas de anlise e controle de qualidade de avaliao de
programas percorreram todos os achados de auditoria em aes do Programa E-Gov,
enquanto que as entrevistas, os grupos focais e os questionrios contriburam para a
identificao de quase todos eles. A pesquisa documental e a avaliao heurstica
(incluindo os testes de interface) foram mais significativas em determinados temas. De
uma maneira geral, os achados foram subsidiados por mais de uma tcnica, o que
demonstra um ponto forte do mtodo de avaliao proposto.

O fato de apresentar os resultados de testes de confiabilidade e validade dos


questionrios de satisfao (item 5.7, p. 194), propiciando, assim, a outros
pesquisadores, sua aplicao e confirmao, torna esta pesquisa distinta da maioria
daquelas que tomaram parte do levantamento feito por Froemming et al. (2000) na rea
de Marketing, rea que costuma aplicar questionrios de satisfao com clientes de
produtos e servios. Nesse levantamento, os autores concluram que havia pouca
preocupao em verificar (ou pelo menos descrever) a confiabilidade e validade dos
construtos. Apenas uma pequena parte dos artigos analisados apresentou avaliao da
confiabilidade (24,19%) e das validades convergente (8,06%) e discriminante (5,65%) (p.
212). Tambm diferentemente da maioria dos estudos desse levantamento, que
utilizaram, preferencialmente, estatsticas descritivas, como freqncia e mdia, esta

213
pesquisa utilizou, alm desses, outros tipos de anlise estatstica de dados, tais como
moda, mediana, desvio padro, correlao, regresso mltipla, cruzamento de variveis e
fatorial (item 5.7, p. 194).

6.1.2 H relao direta entre o atendimento aos padres de qualidade


adotados e a satisfao do cidado-cliente com os servios de governo
eletrnico?
As questes de auditoria do modelo apresentado no item 3.5 (p. 96) que nortearam esta
etapa da avaliao foram: Os padres adotados para os servios e-gov so atendidos? e Os
cidados-clientes esto satisfeitos ou insatisfeitos com os servios e-gov?. Como contribuies
significativas desta parte da pesquisa, destacam-se:

a elaborao da lista de verificao para portais e servios e-gov (Apndice 9.5, p. 248);

a confrontao do modelo de avaliao da satisfao (item 3.4, p. 90) com modelos


similares de outros estudos, demonstrando sua validade nomolgica;

os prprios resultados da aplicao do mtodo na avaliao do Programa E-Gov


brasileiro e de cinco servios pblicos eletrnicos selecionados (itens 5.2, p. 133, e 5.4, p.
154), tambm incorporados a relatrio de auditoria do Tribunal de Contas da Unio
encaminhado aos coordenadores do Programa e gestores dos servios participantes.

A avaliao do atendimento aos padres de usabilidade e acessibilidade realizada nesta


pesquisa utilizou vrios dos padres adotados em outros estudos mencionados no item 2.2.6.1 (p.
33), como por exemplo, as recomendaes do W3C sobre acessibilidade de contedo web e critrios
ergonmicos, nas avaliaes heursticas de Dias (2001), no portal do Senado Federal; de Pimenta et
al. (2002), nos portais da Secretaria de Educao Especial do Ministrio da Educao, do Instituto
Nacional de Pesquisas da Amaznia, do Programa Estadual de Defesa do Consumidor seo Rio
Grande do Sul e da Prefeitura Municipal de Porto Alegre; e de New South Wales (2002), em portais
australianos. Os resultados dessas pesquisas demonstraram que mesmo os portais que atenderam a
maiores porcentagens de padres de qualidade precisam dar mais ateno s necessidades dos
usurios e acessibilidade de seu contedo; fornecer informaes sobre questes ligadas
privacidade e segurana; facilitar a comunicao entre governo e cidados; e incluir os usurios no
processo de seu desenvolvimento. Imagina-se que a probabilidade de um portal ou servio web ser

214
mais acessvel e amigvel seja maior quando seu desenvolvimento pautado em padres de
qualidade derivados de consultas a seus usurios. Em relao aos resultados desta parte da
pesquisa, pode-se destacar os seguintes pontos:

Foram observadas as relaes entre os construtos Expectativas, Qualidade percebida,


Valor percebido e Satisfao geral, originalmente definidas no modelo americano ACSI
(item 2.3.4, p. 53) e foi confirmado o maior impacto da Qualidade percebida sobre a
satisfao do cliente (Quadro 17, p. 205), fato tambm identificado nos estudos de Urdan
& Rodrigues (1999) e Moura & Gonalves (2005).

A relao do Valor percebido com a Satisfao geral nesses dois estudos brasileiros
foi menor do que entre Qualidade percebida e Satisfao geral, porm mais
significativo do que nesta pesquisa, provavelmente por tratarem de custos de produtos e
no comparaes com outras formas de prestao de servios, com as mesmas
dimenses avaliadas no construto Qualidade percebida, tal como foi feito nesta
pesquisa (item 5.7, p. 194). Quanto relao entre os construtos Expectativas

Satisfao geral, o resultado desta pesquisa ( = 0,089 - Quadro 17, p. 205) foi
praticamente igual ao do estudo de Urdan & Rodrigues ( = 0,06), o que demonstra que
as expectativas dos usurios no influenciam tanto a satisfao quanto a percepo da
qualidade do servio.

Quanto ao poder de explicao dos construtos Expectativas, Qualidade percebida e


Valor percebido sobre a variao total do construto Satisfao geral, esta pesquisa no
mbito do governo federal brasileiro, com 74% (Quadro 17, p. 205), se nivelou aos
estudos de Urdan & Rodrigues (76%), e Moura & Gonalves (79,4%), em empresas
brasileiras sediadas em Minas Gerais, e de Fornell et al. (75%), mdia nacional de
empresas americanas, mesmo com as diferenas de contextos e de tipos de objetos
avaliados (produtos ou servios).

Os resultados desta pesquisa, em relao ao modelo de avaliao da satisfao, por


serem compatveis aos previstos na teoria e aos de outros estudos de validao do ACSI,
tomado como base para a construo do modelo desta pesquisa (item 3.4, p. 90),

215
demonstram validade nomolgica dos construtos que o compem, complementando,
assim, os testes de confiabilidade e validades convergente e discriminante mencionados
anteriormente (item 6.1.1, p. 208).

Dada a dependncia do tipo de dimenso avaliada no relacionamento entre Padro de


qualidade atendido e Satisfao geral, j comentada no item 5.7 (p. 194), e por no ter
sido encontrado, na literatura, estudo com essa mesma questo de pesquisa, no foi
possvel comparar os resultados desta pesquisa com outros, nem dar resposta a esta
questo que fosse vlida para todas as dimenses sob avaliao, razo pela qual este
assunto foi incorporado lista de sugestes para pesquisas futuras (item 6.4, p. 223).

6.1.3 Outras concluses no associadas diretamente a questes de pesquisa


Aps a aplicao do mtodo de avaliao proposto, observou-se que, de uma maneira geral,
os usurios participantes desta pesquisa esto satisfeitos com a qualidade dos servios pblicos
eletrnicos selecionados (36% satisfeitos e 21% muito satisfeitos, totalizando 57% com avaliao
positiva - Grfico 31, p. 178), porm com porcentagens abaixo das identificadas no estudo Top of the
Web (Europe - Directorate General Information Society, 2003) - 15% satisfeitos e 65% muito
satisfeitos, totalizando 80% com avaliao positiva.
Em relao s dimenses apontadas como mais importantes pelos usurios de servios egov, pode-se dizer que os resultados desta pesquisa se aproximaram mais das concluses de
Zeithaml et al. (1990) de que a confiabilidade a dimenso mais importante para os consumidores
dos servios, enquanto a dimenso da aparncia das instalaes (anloga usabilidade da interface
web) a menos valorizada e paradoxalmente, aquela em que os servios tendem a ser melhor
avaliados, como aconteceu nesta pesquisa (item 5.7, p. 194). A privacidade e segurana, identificada
como a dimenso mais importante para os usurios desta pesquisa e motivo de preocupao de 40%
dos respondentes (834 pessoas) - Grfico 27 (p. 172), tambm foi objeto de preocupao dos
europeus pesquisados pela TNS em 2003 - apenas 25% dos entrevistados (8.000 pessoas)
consideraram segura a troca de informaes com o governo on-line (item 2.2.6.1, p. 33), e de
americanos desconfiados da manipulao de informaes pessoais feita pelo governo (Roy, 2005).
Na pesquisa de Hart-Teeter (2003), 54% dos participantes acharam que o governo deveria proceder
com cautela ao adotar a Internet como meio de comunicao com os cidados. Essa preocupao

216
com a privacidade e a segurana corrobora a afirmao de Shneiderman (2000) de que aumentar a
percepo dos usurios quanto segurana e privacidade de informaes, e inspirar sua confiana
so fatos decisivos para a sustentao do comrcio e governo eletrnicos.
Por outro lado, esta pesquisa diferiu da pesquisa canadense de 2000 por ter identificado a
privacidade e segurana, a disponibilidade e o tempo de atendimento como dimenses mais
importantes (item 5.7, p. 194), enquanto que o estudo canadense destacou aspectos ligados
usabilidade e rapidez (item 2.3.4.2, p. 58). A economia de tempo e a convenincia de escolha do
canal de comunicao com o governo, identificadas como os principais benefcios dos servios e-gov,
em relao aos outros canais, nos estudos Top of the Web (Europe - Directorate General Information
Society, 2003) e da Momentum Research Group (2000), tambm foram bem cotadas nesta pesquisa
(Quadro 11, p. 199).
Por meio de cruzamentos de variveis, observou-se que os usurios que mais valorizaram a
prestao de servios pblicos via internet, em comparao com os outros canais de atendimento,
foram os com ensino superior completo, com boa habilidade no uso de computadores, e que utilizam
a Internet mais de trs vezes por semana. Dentre aqueles que apontaram a privacidade de dados
pessoais e a disponibilidade como as dimenses mais importantes na prestao de servios pblicos
eletrnicos, destacaram-se os especialistas na rea de informtica com curso de ps-graduao
completo e que utillizam a Internet pelo menos trs vezes por semana. Valorizaram mais a dimenso
Usabilidade as pessoas menores de 18 anos e que estavam utilizando a Internet pela primeira vez.
Em relao hiptese de oposio formulada por Saracevic (2005, p. 9) no contexto de
bibliotecas digitais, de que no uso, usurios e bibliotecas digitais, se encontram, com mais
freqncia, em posies antagnicas, esta pesquisa, ao confrontar as respostas dos gestores e dos
clientes dos servios ao mesmo questionrio, evidenciou que gestores e clientes tiveram opinies
diferentes quanto ao grau de importncia das dimenses sob avaliao, provavelmente pelos
gestores no conhecerem as necessidades e expectativas de seus clientes, j que no so usuais as
tcnicas de prospeco junto aos usurios (item 5.4, p. 154). provvel que a aplicao mais
freqente de pesquisas de satisfao, anlise de demanda (expectativas, necessidades) e anlise de
reclamaes, sugestes e crticas diminua as diferenas de opinio ou percepo entre gestores e
clientes de servios e-gov.

217
A carncia de estudos oferta x demanda previamente implementao de servios pblicos
eletrnicos e de monitoramento contnuo e avaliao, alm do parmetro quantidade de acessos,
so as causas mais provveis do desconhecimento do pblico-alvo por parte dos gestores de portais
e servios pblicos eletrnicos. Tal fato pode levar implementao de servios que no atendem s
necessidades e expectativas do pblico-alvo, e sob o ponto de vista administrativo, implementao
de servios sem que se saiba, previamente, se a demanda justifica seus custos.
Compreender quo importantes so as caractersticas da prestao do servio para seus
clientes ajuda a organizao a escolher reas de melhoria que sejam significativas para eles. As
caractersticas da prestao de servios com menores ndices de satisfao (as maiores lacunas) no
sero necessariamente aquelas eleitas pelos clientes como prioritrias para melhoria, como
comentado no item 5.7 (p. 194), e verificado no estudo de Henrique (2001). Dados sobre a
importncia, combinados com avaliaes de satisfao, fornecem, organizao, informaes para a
tomada de deciso (Grfico 48, p. 196 - Grfico 49, p. 197 - Grfico 50, p. 200). Se a organizao
medir apenas os nveis de satisfao e priorizar suas aes com base nos ndices mais baixos de
satisfao, seus esforos para melhoria de desempenho podero ser em vo se as dimenses
escolhidas tiverem pouca importncia para os cidados-clientes.
Em relao s dimenses que proporcionaram mais satisfao, esta pesquisa coincidiu com a
pesquisa de Gomez et al. (2004), ao apontar a usabilidade da interface com as maiores mdias de
qualidade percebida, porm diferiu quanto mdia atingida pela dimenso Confiabilidade (Quadro
9, p. 195). No estudo de Gomez et al. (2004), a confiabilidade obteve grau elevado de qualidade,
enquanto que, nesta pesquisa, tal fato no ocorreu.
Na verdade, no h como haver congruncia entre estudos diversos, em relao s
dimenses mais importantes ou de melhores mdias de satisfao, pois elas dependem diretamente
do tipo de servio avaliado, da imagem que a instituio prestadora do servio tem junto a seus
clientes, entre outros aspectos. Por exemplo, a habilidade dos usurios dos servios e-gov desta
pesquisa, assim como nos estudos de Gomez et al. (2004) e Zeithaml et al. (2002), afetou a
satisfao com a qualidade do servio (item 5.5, p. 182). As organizaes alcanaro maiores
benefcios se identificarem, por meio de consultas aos usurios, como os questionrios de satisfao

218
desta pesquisa, as dimenses mais importantes para os servios que presta e para os clientes que
atende.
Na dimenso Usabilidade que esto inseridas as principais barreiras comunicao,
citadas na reviso de literatura (item 2.1.3, p. 14): presuno enunciada, distrao (excesso de
informaes, poluio visual, apresentao de contedo suprfluo), apresentao confusa de
contedo (linguagem complexa, siglas, jarges tcnicos). Todas essas barreiras foram constatadas,
em maior ou menor grau, na avaliao heurstica dos servios e-gov selecionados para esta
pesquisa, o que confirma a opinio de Gibson et al. (1981) de que as agncias governamentais so
conhecidas por suas comunicaes freqentemente incompreensveis. Porm, tais aspectos parecem
no ter atrapalhado a interao dos usurios com os servios na Internet, j que foram bem avaliados
nesse quesito na pesquisa de satisfao (Quadro 9, p. 195).
O fato de vrios usurios terem comentado, em pergunta aberta do questionrio de
satisfao, sobre o processo de prestao do servio, fora do ambiente eletrnico (item 5.3.1, p. 148),
confirma a concluso de Zeithaml et al. (1990) de que os consumidores de servios no avaliam sua
qualidade apenas em funo do produto final. Sua avaliao incorpora, tambm, sua opinio sobre o
processo de fornecimento do servio.
Uma das causas da no adoo das recomendaes propostas nos documentos gerados
pelo Programa , certamente, o desconhecimento, por parte dos gestores, desses documentos,
constatado nas entrevistas, grupos focais e pesquisa com gestores de servios e portais da APF.
Outra causa provvel a falta de clareza e/ou especificidade de algumas recomendaes desses
documentos, constatada ao realizar a avaliao heurstica dos servios pblicos eletrnicos
selecionados. Como efeitos provveis, podem ser citados a excluso de parcelas do pblico-alvo,
pela no implementao de recomendaes sobre acessibilidade, usabilidade, privacidade e
segurana, no projeto de pginas web; a falta de uniformidade dos portais da APF e a insatisfao do
cidado com a qualidade dos servios pblicos eletrnicos.
Quanto ao estgio de e-gov preponderante, esta pesquisa identificou maior quantidade de
servios no estgio inicial de apresentao de informaes e baixa quantidade de transaes on-line
(Grfico 21, p. 161), como nos estudos feitos pelas Naes Unidas em 2001 (Ronaghan, 2002) e por

219
West (2002) nos Estados Unidos. Alm da dificuldade de integrao dos sistemas legados e
plataformas tecnolgicas heterogneas, e o fato de a Internet ainda no ser vista, pelos dirigentes da
APF, como canal estratgico de prestao de servios ao cidado, j comentados no captulo de
anlise dos dados desta pesquisa, outras provveis causas da baixa porcentagem de servios
transacionais so a maior prioridade dada aos servios eletrnicos internos do Governo, voltados aos
gestores; a necessidade de reestruturao dos processos de prestao dos servios; e a falta de
cultura de e-gov e de foco no cidado na APF. No grupo focal de coordenadores de CT foi dado,
como exemplo, o caso do requerimento do auxlio-doena:
De nada vale a possibilidade de agendamento, via web, de consulta de percia
mdica, para recebimento de auxlio-doena, se a unidade de sade indicada
para o exame no contar com mdico de planto no horrio de atendimento.
O fato de a certificao digital ainda ser incipiente na APF e a inexistncia de plano de ao
do Programa Governo Eletrnico para priorizar o desenvolvimento de novos servios pelos rgos da
APF tambm podem ser considerados fatores que levam baixa porcentagem de servios com foco
no cidado. O grupo focal de coordenadores de CT destacou, ainda, que nem todas as pessoas tm
condies de acessar a Internet. Logo, nem tudo pode ser feito integralmente pela Internet.
Como possveis efeitos dessa baixa porcentagem de servios transacionais, pode-se citar a
falta de aes concretas para implementar diretrizes do Programa que tenham foco no cidado, a
sobrecarga dos canais tradicionais de prestao de servios ao cidado, o no atendimento das
expectativas do pblico-alvo e a conseqente imagem negativa do Governo quanto ao uso incipiente
da tecnologia para beneficiar o cidado. Assim como no levantamento sobre o uso da Internet para
acesso a servios de governo eletrnico (Balboni, 2005), esta pesquisa identificou, como principais
servios pblicos eletrnicos acessados, alm daqueles selecionados, a consulta ao CPF e servios
da Receita Federal (Grfico 23, p. 162).

6.2 Contribuies da pesquisa


Este item destaca as implicaes tericas e prticas desta pesquisa, a qual teve a pretenso
de contribuir para o avano da atividade prtica de avaliao de governo eletrnico, porm com
bases cientficas, ao identificar e validar procedimentos, critrios de avaliao, padres de qualidade
e indicadores em um determinado contexto. Alm disso, esta pesquisa fornece um novo enfoque para

220
a rea de Comunicao da Informao, ao traar, em seu marco terico (captulo 3, p. 83), um
paralelo entre fidelidade do processo de comunicao e qualidade de servios pblicos.

6.2.1 Contribuies tericas da pesquisa


O modelo de avaliao de governo eletrnico (item 3.2, p. 87), derivado da reviso de
literatura e do poder de abstrao e sntese do pesquisador, contribui para o entendimento terico
sobre governo eletrnico, tendo sido reconhecido pela comunidade acadmica, na II Conferncia SulAmericana em Cincia e Tecnologia Aplicada ao Governo Eletrnico Conegov 2005, pela
premiao do artigo que o apresenta (Dias, 2005).
O modelo para medir a satisfao do cliente de servios de governo eletrnico (item 3.4, p.
90) expande o modelo ACSI americano para o contexto de e-gov, ao definir claramente as dimenses
de avaliao desse ambiente. J o modelo de avaliao de programas desta pesquisa (item 3.5, p.
96), associa elementos da avaliao de programas da rea de Administrao Pblica ao contexto de
e-gov, trazendo, para o campo terico, uma viso prtica de avaliao.
Apesar desta pesquisa diferir em vrios aspectos de estudos anteriores sobre satisfao,
seus resultados reforam os achados anteriores no que se refere ao forte impacto da percepo da
qualidade sobre a satisfao, tambm na prestao de servios pblicos eletrnicos, demonstrando,
aos gestores, que investimentos na qualidade se reproduzem em efeitos sobre a satisfao dos
cidados-clientes.
Pode-se dizer que o mtodo de avaliao proposto apresenta maior variedade de tcnicas de
coleta de dados do que os estudos identificados na reviso de literatura, alm de demonstrar a
confiabilidade e a validade de seus intrumentos, seja por testes estatsticos, seja por triangulao. As
dimenses de avaliao desta pesquisa, por sua vez, so ora adaptaes de dimenses do meio
fsico para o ambiente eletrnico, ora reunio de aspectos avaliados em estudos diversos,
reclassificados de acordo com a experincia do pesquisador.

6.2.2 Contribuies prticas da pesquisa


Como os servios e-gov selecionados para esta pesquisa pertencem a setores distintos do
governo brasileiro, de se esperar que os instrumentos e procedimentos aqui utilizados possam ser
aplicados em outros setores sem qualquer comprometimento de seus resultados. Alm disso, a

221
repetio da avaliao desses mesmos servios pblicos eletrnicos pode ser uma oportunidade para
anlise de tendncias e sries temporais a fim de determinar mudanas de longo prazo e padres
cclicos nos dados coletados.
A partir da anlise das tcnicas (item 5.6, p. 185), da descrio dos procedimentos
metodolgicos adotados pelo pesquisador (item 4.3, p. 110) e, tendo em mos, vrios dos
instrumentos utilizados nesta pesquisa (Apndices, p. 241), outros pesquisadores, auditores e
gestores de portais e servios web podero lanar mo deste mtodo para avaliao, sob a mesma
tica adotada nesta pesquisa, de servios e-gov e programas de governo de qualquer esfera
(municipal, estadual, federal) ou pas. importante dizer que a concepo, a formatao grfica, os
mtodos de coleta e anlise de dados da pesquisa de satisfao on-line desenvolvida nesta
pesquisa, alm de um subconjunto de suas perguntas, foram adotados, posteriormente a esta
pesquisa, por equipe da Diretoria de Auditoria de Tecnologia da Informao do Tribunal de Contas da
Unio, em auditoria de conformidade no Sistema Nacional de Integrao de Informaes em Justia e
Segurana Pblica (Infoseg), tendo atingido bons resultados em termos de confiabilidade interna do
instrumento, e participao, acima do esperado, dos usurios desse sistema.
O mtodo de avaliao de programas de governo eletrnico, que combina uma variedade de
tcnicas de coleta e anlise de dados, quantitativas e qualitativas, aplicadas tradicionalmente em
diferentes reas do conhecimento, com a participao de gestores pblicos e cidados, poder ser
aplicado por auditores internos e externos de qualquer pas com programa de governo eletrnico
institudo. Os padres de qualidade reunidos em uma nica lista de verificao para portais e servios
e-gov podero tambm ser utilizados por projetistas de portais de governo eletrnico preocupados
com a acessibilidade e a usabilidade de sua interface, assim como com outros aspectos de qualidade
e segurana de sistemas de tecnologia da informao.
O modelo para medir a satisfao do cliente de servios de governo eletrnico (item 3.4, p.
90), com a definio clara de dimenses e os questionrios dele derivados, constituem critrios e
instrumentos validados estatisticamente, passveis de aplicao em outros servios de governo
eletrnico, e no s naqueles selecionados para esta pesquisa. Tal modelo serve para determinar
no s os nveis correntes de satisfao, mas tambm as expectativas e prioridades de melhoria dos
clientes relacionados a cada um dos servios pblicos identificados. Os questionrios desenvolvidos

222
e validados nesta pesquisa, por sua vez, podem se tornar tambm instrumentos padronizados de
pesquisa para facilitar tanto comparaes confiveis entre servios similares ou do mesmo servio ao
longo do tempo, quanto o desenvolvimento de parmetros normativos, sem necessidade de
converso de pesquisas em uma mtrica comum.
A anlise das dimenses mais importantes para a satisfao com os servios e-gov prov,
aos tomadores de deciso, uma ferramenta para priorizar aes dentre tantas necessrias para
melhorar seus servios. Essa anlise permite identificar quais dimenses necessitam de mais
ateno dos gestores pblicos para o atendimento s expectativas e necessidades dos cidadosclientes.

6.2.3 Consideraes finais


Em suma, para a academia, este trabalho servir como um novo ngulo sobre fidelidade do
processo de comunicao entre governo e sociedade, e de qualidade de servios pblicos; como
fonte de consulta bibliogrfica sobre o estado da arte de avaliao de e-gov sob a tica do cidadocliente; como referncia para a construo de novos instrumentos de coleta de dados; e como fonte
de inspirao para outras pesquisas complementares a esta. Para a comunidade tcnica, esta
pesquisa oferece mtodo de avaliao de governo eletrnico, com lista de verificao para portais e
servios e-gov, instrumentos de coleta de dados validados e procedimentos detalhados, com anlise
crtica de vantagens e desvantagens de cada tcnica, para sua aplicao prtica em avaliao de
programas e servios pblicos eletrnicos, visando a tomada de deciso abalizada para a melhoria
desses programas e servios. A aplicao peridica desse mtodo permitir o acompanhamento e o
controle da qualidade dos servios e-gov oferecidos populao.

6.3 Limitaes da pesquisa


claro que este estudo no responde a todas as perguntas, que certamente so relevantes,
sobre avaliao de governo eletrnico. Esta pesquisa escolheu um ngulo da avaliao para ser
aprofundado, esperando que outros pesquisadores, incentivados pelos seus resultados, se dediquem
a explorar outros ngulos complementares.
Os resultados deste estudo no tm a pretenso de serem universalmente vlidos, mas
vlidos para casos similares ao estudado, podendo ser checados em outros estudos de caso

223
subseqentes. De acordo com Lee (1989), a capacidade de generalizao de uma teoria s pode ser
confirmada a partir da execuo de testes sucessivos em contextos diferentes, seja por meio de
estudos de caso, seja por meio de experimentos de laboratrio.
Alm das limitaes previamente identificadas no projeto desta pesquisa (item 4.1.2, p. 103),
dada sua natureza exploratria e aplicao em estudo de caso, foram identificadas outras limitaes
na anlise de dados: subjetividade da avaliao heurstica realizada pelos especialistas; baixa
participao dos gestores de portais e servios web da APF no levantamento on-line; avaliao das
mesmas dimenses nos dois construtos Qualidade percebida e Valor percebido, fazendo com que
houvesse pouca importncia do Valor percebido sobre a Satisfao geral, em comparao
importncia da Qualidade percebida.

6.4 Sugestes para pesquisas futuras


Por ser uma tecnologia recente, tal como as bibliotecas digitais, e pelo pouco conhecimento
sobre avaliao nesse ambiente, nenhuma avaliao de governo eletrnico capaz de cobrir todos
os seus componentes, nem pode ter a pretenso de fazer isso. Assim como no h avaliao de
bibliotecas digitais (Saracevic, 2000), no h avaliao de governo eletrnico. possvel realizar,
entretanto, avaliaes de alguns elementos envolvidos por essa nova tecnologia, sob determinado
ngulo de viso. Para complementar, reforar ou confrontar os resultados desta pesquisa, so
sugeridos os seguintes temas ou objetivos para pesquisas futuras:
a) Delimitar o construto Padro de qualidade atendido por dimenso, a fim de esclarecer sua
influncia

sobre

Qualidade

percebida

e,

conseqentemente,

sobre

satisfao

unidimensional, isto , relativa a cada dimenso, buscando, ainda, os motivos das diferenas
entre dimenses;
b) Realizar estudos, no ambiente de governo eletrnico, que relacionem satisfao com seus
construtos conseqentes - inteno para retornar ao portal e inteno de recomend-lo;
c) Desenvolver, aplicar e validar mtodos para avaliao de uso, produtividade, reduo de custos e
retorno de investimento, medidas relacionadas avaliao de aplicaes especficas, partes do
modelo de avaliao de governo eletrnico no contempladas nesta pesquisa;

224
d) Desenvolver, aplicar e validar mtodos para classificar programas e-gov em estgios evolutivos,
avaliar seus objetivos estratgicos e prestao de contas, relacionados avaliao da estratgia
central do governo, partes do modelo de avaliao de governo eletrnico no contempladas nesta
pesquisa;
e) Reaplicar o mtodo de avaliao proposto nesta pesquisa no Programa E-Gov brasileiro e nos
mesmo servios selecionados, a fim de identificar sua evoluo no tempo, seja por mudanas
tecnolgicas, seja por atitudes gerenciais motivadas por esta e outras pesquisas subseqentes;
f)

Aplicar o mtodo de avaliao proposto nesta pesquisa em outros programas e servios pblicos
eletrnicos, a fim de testar sua validade no contexto internacional e em servios e-gov diversos
dos selecionados para esta pesquisa, comparando seus resultados;

g) Realizar estudos comparativos (benchmarking) para identificao das melhores prticas


nacionais e internacionais em governo eletrnico.

225

7 Referncias bibliogrficas
1. ACCENTURE. Egovernment leadership: engaging the customer. The government executive
series. 2003. 94p.
2.

ACSI - American Customer Satisfaction Index. ACSI Model. [on-line], novembro de 2004.
http://www.theacsi.org/model.htm.

3. AGUILAR, M. J. & ANDER-EGG, E. Avaliao de servios e programas sociais. 2 ed. Petrpolis:


Vozes, 1995. 199p.
4. ANGELIM, G. P. Sistema nacional de avaliao da satisfao do usurio do servio pblico. VII
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica.
Lisboa, Portugal: CLAD, 2002.
5. ATKINSON, R. D. & ULEVICH, J. Digital Government : the next step to reengineering the Federal
Government. Washington, DC: Progressive Policy Institute, 2000. 27p.
6.

AUSTRALIA. Australian National Audit Office - ANAO. Performance auditing. Canberra: ANAO,
1992.

7. _____. _____. Quality internet services for government clients: Monitoring and evaluation by
government
agencies.
2003/2004.
[on-line],
setembro
de
2005.
http://www.anao.gov.au/website.nsf/Publications/2A51AE59FB11AA5ECA256E40000DCC32/$file/Audit%20Report%2030
.pdf

8. _____. _____. Measuring the efficiency and effectiveness of e-government. 2004/2005. [on-line],
setembro de 2005. http://www.anao.gov.au/website.nsf/Publications/2C3CDF64278872A9CA256FA2007F445E
9. BAILEY, J. E. & PEARSON, S. W. Development of a tool for measuring and analyzing computer
user satisfaction. Management Science, v. 29, n. 5, p. 530-545, 1983.
10. BALBONI. M. CGI.br divulga indicadores inditos sobre a internet no pas. Nov. 2005. [on-line],
novembro de 2005. http://www.cgi.br/releases/2005/rl-2005-07.pdf.
11. BARBOSA, A. F. et al. Governo eletrnico: um modelo de referncia para a sua implementao.
Congresso Anual de Tecnologia da Informao - CATI. So Paulo: FGV-EAESP, 2004. 14p.
12. BAUM, C. & DI MAIO, A. Gartner's four phases of E-government model. Gartner Group, 2000. 2p.
13. BELL, J. Doing your research project: a guide for the first-time researchers in education and social
science. 2. Reimp. Milton Keynes, England: Open University Press, 1989. 145p.
14. BENBASAT, I., GOLDSTEIN, D. K. & MEAD, M. The case research strategy in studies of
information systems. MIS quarterly, v. 11, n. 3, p. 368-386, Sept. 1987.
15. BERLO, D. K. O processo da comunicao: introduo teoria e prtica. 4 ed. So Paulo:
Martins Fontes, 1982. 296p.
16. BISQUERRA, R. et al. Introduo estatstica: enfoque informtico com o pacote estatstico
SPSS. So Paulo: Artmed, 2004. 255p.
17. BRASIL. Decreto, de 18 de outubro de 2000. Cria, no mbito do Conselho de Governo, o Comit
Executivo do Governo Eletrnico, e d outras providncias.
18. _____. Decreto, de 29 de outubro de 2003. Institui Comits Tcnicos do Comit Executivo do
Governo Eletrnico, e d outras providncias.

226
19. _____. Decreto n 1.048, de 21 de janeiro de 1994. Dispe sobre o Sistema de Administrao dos
Recursos de Informao e Informtica, da Administrao Pblica Federal, e d outras
providncias.
20. _____. Decreto n 3.507, de 13 de junho de 2000. Dispe sobre o estabelecimento de padres de
qualidade do atendimento prestado aos cidados pelos rgos e pelas entidades da
Administrao Pblica Federal direta, indireta e fundacional, e d outras providncias.
21. _____. Decreto n 5.233, de 6 de outubro de 2004. Estabelece normas para a gesto do Plano
Plurianual 2004-2007 e de seus Programas e d outras providncias.
22. _____. Decreto n 5.433, de 25 de abril de 2005. Aprova a Estrutura Regimental e o Quadro
Demonstrativo dos Cargos em Comisso e das Funes Gratificadas do Ministrio do
Planejamento, Oramento e Gesto, e d outras providncias.
23. _____. Lei n 10.683, de 28 de maio de 2003. Dispe sobre a organizao da Presidncia da
Repblica e dos Ministrios, e d outras providncias.
24. _____. Lei n 10.933, de 11 de agosto de 2004. Dispe sobre o Plano Plurianual para o perodo
2004/2007.
25. _____. Portaria Interministerial ccivil/MP n 793, de 17 de setembro de 2004. Designa membros
para compor os Comits Tcnicos do Comit Executivo do Governo Eletrnico.
26. _____. Cmara Tcnica de Gesto de Stios e Servios On-line. Relatrio da Oficina de
Planejamento. Braslia: Cmara Tcnica de Gesto de Stios e Servios On-line, 2003. 26p.
27. _____. Casa Civil da Presidncia da Repblica. 2 anos de governo eletrnico: balano de
realizaes e desafios futuros. Braslia: Casa Civil da Presidncia da Repblica, Ministrio do
Planejamento, Oramento e Gesto - MP, Comit Executivo do Governo Eletrnico - CEGE,
2002. 46p.
28. _____. _____. Grupo de Trabalho Novas Formas Eletrnicas de Interao. Proposta de poltica
de governo eletrnico para o Poder Executivo Federal. 2000.
29. _____. Comit Executivo do Governo Eletrnico - CEGE. Regimento Interno do Comit Executivo
do Governo Eletrnico. Braslia: CEGE, 2000.
30. _____. _____. Resoluo n 7, de 29 de julho de 2002. Estabelece regras e diretrizes para os
stios na Internet da Administrao Pblica Federal. Braslia: CEGE, 2002.
31. _____. _____. Padres de Interoperabilidade de Governo Eletrnico. Verso 1.0. Braslia: Comit
Executivo do Governo Eletrnico - CEGE, 2005. 63p.
32. _____. Empresa de Tecnologia e Informaes da Previdncia Social - Dataprev. Requerimento
de auxlio-doena. [on-line], novembro de 2005. www.dataprev.gov.br/servicos/auxdoe/auxdoe.htm.
33. _____.

_____.

Requerimento

de

penso

por

morte.

[on-line],

novembro

de

2005.

maternidade.

[on-line],

novembro

de

2005.

http://www.dataprev.gov.br/servicos/pesmor/pesmor.htm.

34. _____.

_____.

Requerimento

de

salrio

http://www.dataprev.gov.br/servicos/salmat/salmat.htm.

35. _____. Escola Nacional de Administrao Pblica - ENAP. Metodologia para medir a satisfao
do usurio no Canad: desfazendo mitos e redesenhando roteiros. (Cadernos ENAP). Braslia:
ENAP, 2000. 165p.
36. _____. _____. Experincias internacionais voltadas para a satisfao dos usurios-cidados com
os servios pblicos. Braslia: ENAP, 2001. 64p.

227
37. _____. Governo Eletrnico. Cartilha de Usabilidade para Stios e Portais do Governo Federal .
Verso 01. Braslia: Comit Tcnico de Gesto de Stios e Servios On-line, 2004. 11p.
38. _____. Ministrio da Cincia e Tecnologia - MCT. Sociedade da Informao no Brasil Livro
Verde. Org. Tadao Takahashi. Braslia: MCT, 2000.
39. _____. Ministrio da Fazenda. Receita Federal. Declarao Anual de Isento 2005. [on-line],
novembro de 2005. http://www.receita.fazenda.gov.br/pessoafisica/isento/2005/Isento2005servicos.htm.
40. _____. Ministrio do Planejamento, Oramento e Gesto - MP. Primeira pesquisa nacional de
avaliao da satisfao dos usurios dos servios pblicos: uma nova relao do setor pblico
com o cidado. Braslia: MP, Secretaria de Gesto, 2000. 41p.
41. _____. _____. Manual de avaliao de satisfao do usurios do servio pblico. Braslia: MP,
Programa da Qualidade no Servio Pblico - PQSP, 2001. 57p.
42. _____. _____. Oficinas de Planejamento Estratgico Relatrio Consolidado Comits
Tcnicos. Braslia: Ministrio do Planejamento, Oramento e Gesto - MP, Comit Executivo do
Governo Eletrnico - CEGE, 2004. 23p.
43. _____. _____. Portaria n 288, de 04 de novembro de 2004. Institui o Comit de Coordenao
dos Programas Ministrio do Planejamento, Oramento e Gesto com a finalidade de coordenar
os processos de gesto para o alcance de objetivos setoriais.
44. _____. _____. Plano Gerencial 2005. Braslia: MP, Secretaria de Logstica e Tecnologia da
Informao - SLTI, 2005a.
45. _____. _____. Portaria Normativa n 5, de 11 de julho de 2005. Institucionaliza os Padres de
Interoperabilidade de Governo Eletrnico e-PING, no mbito do Sistema de Administrao dos
Recursos de Informao e Informtica SISP, entre outras providncias.
46. _____. _____. Recomendaes de Acessibilidade para a Construo e Adaptao de Contedos
do Governo Brasileiro na Internet:: modelo de acessibilidade. Braslia: MP, Departamento de
Governo Eletrnico - DGE, 2005c. 11p.
47. _____. _____. Recomendaes de Acessibilidade para a Construo e Adaptao de Contedos
do Governo Brasileiro na Internet: cartilha tcnica. Braslia: MP, Departamento de Governo
Eletrnico - DGE, 2005d. 41p.
48. _____. _____. Ofcio n 143/2006, de 31 de janeiro de 2006. Braslia: Departamento de Governo
Eletrnico Secretaria de Logstica e Tecnologia da Informao, 2006.
49. _____. Ministrio do Trabalho e Emprego MTE. PNPE Programa Nacional de Estmulo ao
Primeiro
Emprego.
[on-line],
novembro
de
2005.
http://www.mte.gov.br/futurotrabalhador/primeiroemprego/default.asp.
50. _____. Secretaria de Comunicao de Governo e Gesto Estratgica da Presidncia da
Repblica - Secom. Manual de Identidade Visual do Governo Federal na Internet. [on-line],
setembro de 2005. http://www.presidencia.gov.br/secom/normas/internet.pdf.
51. _____. Tribunal de Contas da Unio - TCU. Manual de auditoria de natureza operacional. Braslia:
TCU, Coordenadoria de Fiscalizao e Controle, 2000a. 116p.
52. _____. _____. Tcnica de auditoria: indicadores de desempenho e mapa de produtos. Braslia:
TCU, Coordenadoria de Fiscalizao e Controle, 2000b. 33p.
53. _____. _____. Tcnicas de auditoria: anlise RECI. Braslia: TCU, Secretaria de Fiscalizao e
Avaliao de Programas de Governo - Seprog, 2001. 25p.

228
54. _____. _____. Roteiro de controle de qualidade de auditorias de natureza operacional. Braslia:
TCU, Secretaria de Fiscalizao e Avaliao de Programas de Governo - Seprog, 2002a. 37p.
55. _____. _____. Tcnicas de auditoria: anlise stakeholder. Braslia: TCU, Secretaria de
Fiscalizao e Avaliao de Programas de Governo - Seprog, 2002b. 20p.
56. _____. _____. Tcnicas de auditoria: anlise Swot e verificao de risco. Braslia: TCU,
Secretaria de Fiscalizao e Avaliao de Programas de Governo - Seprog, 2003a. 24p.
57. _____. _____. Tcnica de auditoria: mapa de processos. Braslia: TCU, Secretaria de
Fiscalizao e Avaliao de Programas de Governo - Seprog, 2003b. 14p.
58. _____. _____. Governo eletrnico no Brasil: mapeamento. Braslia: TCU, Secretaria Adjunta de
Fiscalizao Adfis, 2004. 87p.
59. _____. _____. Estudo de viabilidade: programa governo eletrnico. Braslia: TCU, Secretaria de
Fiscalizao e Avaliao de Programas de Governo Seprog, 2005. 39p.
60. CANADA. Institute for Citizen-Centred Service - ICCS. Common measurements tool: CMT
question bank. ICCS-ISAC, 2003. 65p.
61. _____. Office of the Auditor General - OAG. Information technology : Government On-Line. In:
_____. Report of the Auditor General of Canada to the House of Commons - Nov. 2003. Ottawa,
ON: OAG, 2003. p. 1-29.
62. _____. Treasury Board of Canada Secretariat - TBS. A how-to guide for the Service Improvement
Initiative. TBS, 2001. 87p.
63. CAP GEMINI ERNST & YOUNG. Online availability of public services : how is Europe progressing
- web based survey on electronic public services - report of the fourth measurement. Brussels:
European Commission, DG Information Society, 2004. 52p.
64. CHIN, W. W. & LEE, M. K. O. On the formation of end-user computing satisfaction: a proposed
st
model and measurement instrument. In: Proceedings of the 21 International Conference on
Information Systems, Brisbane, p. 553-563, 2000.
65. COHEN, E. & FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 1993.
66. COMMISSION OF THE EUROPEAN COMMUNITIES. The role of e-government for Europe's
future. Brussels: Commission of the European Communities, 2003. 25p.
67. DALZIEL, D. Government online. Amsterdam: European Society for Opinion and Marketing
Research ESOMAR, 2004. 14p.
68. DAVIS, F. D. Perceived usefulness, perceived ease of use, and user acceptance of information
technology. MIS Quarterly, v. 13, n. 3, p. 319-340, Sept. 1989.
69. DIAS, C. A. Hipertexto : evoluo histrica e efeitos sociais. Cincia da Informao, v. 28, n. 3, p.
267-275, dez. 1999. [on-line], dezembro de 1999. http://www.ibict.br/cionline/artigos/2839905.pdf.
70. _____. Mtodos de avaliao de usabilidade de portais corporativos: um estudo de caso no
Senado Federal. Braslia: Universidade de Braslia, 2001. 229p. (Dissertao de mestrado em
Cincia da Informao).
71. _____. Usabilidade na web: criando portais mais acessveis. Rio de Janeiro: Alta Books, 2003.
285p.
72. _____. Governo eletrnico: definies, caractersticas, potenciais benefcios, desafios e tipos de
avaliao. In: Anais da II Conferncia Sul-Americana em Cincia e Tecnologia Aplicada ao
Governo Eletrnico Conegov 2005, Florianpolis, 11 e 12 de agosto de 2005. p. 101-114.

229
73. DILLMAN, D. A. Mail and Internet surveys: the tailored design method. 2nd. Ed. New York: John
Wiley & Sons, 2000. 464p.
74. DILLMAN, D. A. & BOWKER, D. K. The web questionnaire challenge to survey methodologists.
Dimensions of Internet Science. Ulf-Dietrich Reips & Michael Bosnjak, 2001.
75. DILLMAN, D. A. et al. Principles for constructing web surveys. Washington State University
SESRC, 1998.
76. DINSDALE, G. & MARSON, D. B. Metodologia para medir a satisfao do usurio no Canad:
desfazendo mitos e redesenhando roteiros. 1999. In: BRASIL. Escola Nacional de Administrao
Pblica - ENAP. Metodologia para medir a satisfao do usurio no Canad: desfazendo mitos e
redesenhando roteiros. (Cadernos ENAP). Braslia: ENAP, 2000. p. 14-86.
77. DOLL, W. J. & TORKZADEH, G. The measurement of end-user computing satisfaction. MIS
Quarterly, v. 12, n. 2, p. 259-274, 1988.
78. EUROPE. Directorate General Information Society. Top of the web: survey on quality and usage
of public e-services. DG Information Society, 2003. 38p.
79. EUROPEAN ORGANIZATION OF SUPREME AUDIT INSTITUTIONS EUROSAI. IT Working
Group. E-government in an audit perspective. Eurosai IT Working Group, 2004.
80. FEDERAO DAS INDSTRIAS DO ESTADO DO RIO DE JANEIRO FIRJAN.
Desburocratizao eletrnica nos estados brasileiros. Rio de Janeiro: Firjan, 2002. 49p.
81. FERREIRA, A. Dicionrio Aurlio eletrnico. V. 2.0. Rio de Janeiro: Nova Fronteira, 1996.
82. _____. Novo Aurlio Sculo XXI: o dicionrio da lngua portuguesa. 3. ed. rev. e ampl. Rio de
Janeiro: Nova Fronteira, 1999. 2128p.
83. FIDEL, R. The case study method: a case study. In: GLAZIER, J. D. & POWELL, R. R. Qualitative
research in information management. Englewood, CO: Libraries Unlimited, 1992. 238p. p.37-50.
84. FORESEE RESULTS. American satisfaction index : e-government satisfaction index. Ann Arbor,
MI: Foresee results, 2004. 10p.
85. FORNELL, C. et al. The American customer satisfaction index: nature, purpose, and findings.
Journal of Marketing, v. 60, n. 4, p. 07-18, Oct. 1996.
86. FROEMMING, L. M. S. et al. Anlise da qualidade dos artigos cientficos da rea de marketing no
Brasil: as pesquisas survey da dcada de 90. RAC, v. 4, n. 3, p. 201-219, Set./Dez. 2000.
87. GARTNER GROUP. E-government: assessing the real value. Gartner symposium itxpo 2002.
Florence, Italy, April 2002. Gartner Group, 2002. 23p.
88. GIBSON, J. L. et al. Organizaes: comportamento, estrutura, processos. So Paulo: Atlas, 1981.
477p.
89. GLAZIER, J. D. & POWELL, R. R. Qualitative research in information management. Englewood,
CO: Libraries Unlimited, 1992. 238p.
90. GOMEZ, N. L. et al. Antecentes e conseqncias da satisfao do usurio de informao da
internet. Congresso Anual de Tecnologia da Informao - CATI. So Paulo: FGV-EAESP, 2004.
91. GOODHUE, D. L. et al. Strategic data planning: lessons from the field. MIS Quarterly, v. 16, n. 1,
p. 11-34, Mar. 1992.
92. GRAAFLAND-ESSERS, I. & ETTEDGUI, E. Benchmarking e-government in Europe and the US.
Leiden, Netherlands: RAND Europe, 2003. 79p.

230
93. HAMEL, J. et al. Case study methods. Newbury Park, CA: Sage, 1993. 77p. (Qualitative research
methods series).
94. HAIR J. F. et al. Anlise multivariada de dados. 5 ed. So Paulo: Bookman, 2005. 593p.
95. HART-TEETER RESEARCH. The new e-government equation: ease, engagement, privacy and
protection. A report prepared for the Council for Excellence in Government. 2003. 32p.
96. HARTLEY, J. F. Case studies in organizational research. In: CASSELL, C. & SYMON, G. (Ed.).
Qualitative methods in organizational research: a practical guide. London: Sage, 1994. 253p. P.
208-229.
97. HENRIQUE, J. L. Satisfao do usurio com as tecnologias da informao nos servios
bancrios. Porto Alegre: Universidade Federal do Rio Grande do Sul, 2001. 133p. (Dissertao
de mestrado em Administrao).
98. INSTONE,

K.

Site

usability

evaluation.

Oct.

1997.

[on-line],

junho

de

1999.

http://webreview.com/wr/pub/97/10/10/usability/index.html/.

99. INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS INTOSAI. Standing


Committee on IT Audit. Auditing e-government. Oslo, Norway: Intosai Standing Committee on IT
Audit, 2003. 35p.
100. _____. Implementation guidelines for performance auditing. Intosai Auditing Standards
Committee, 2004. 142p.
101. ISO/IEC 9126. Software product evaluation: Quality characteristics and guidelines for their use.
1991.
102. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ISO. ISO 9241-10: Ergonomic
requirements for office work with visual display terminals (VDT) -- Part 10: Dialogue principles.
1996.
103. _____. ISO 9241-11: Ergonomic requirements for office work with visual display terminals (VDT) - Part 11: Guidance on usability. 1998.
104. INSTITUTO PORTUGUS DA QUALIDADE. European Customer Satisfaction Index ECSI. [online], maro de 2006. http://www.ipq.pt/ecsi/
105. JOHNSON, D. Focus groups. In: ZWEIZIG, D. et al. Tell it! Evaluation sourcebook & training
manual. Madison: SLIS, 1994. p. 161-172.
106. JUSTICE, J. B. et al. E-government, fiscal accountability, and citizen participation in resource
allocation : do the best practitioners engage in best practices?. 2004 Conference of the
Association for Budgeting and Financial Management of the American Society for Public
Administration. Chicago, IL: ABFM, 2004. 31p.
107. LAVRAKAS, P. J. Methods for sampling and interviewing in telephone surveys. In: BICKMAN, L.
& ROG, D. J. (eds.). Handbook of applied social research methods. Thousand Oaks, CA: Sage,
1998. p. 429-472.
108. LEE, A. S. A scientific methodology for MIS case studies. MIS Quarterly, v. 13, n. 1, p. 33-50,
Mar. 1989.
109. LENK, K. & TRAUNMLLER, R. Broadening the concept of electronic government. In: PRINS, J.
E. J. (ed.). Designing e-government: on the crossroads of technological innovation and
institutional change. Boston: Kluwer Law International, 2001. p. 63-71.

231
110. LFFLER, E. Defining quality in public administration. 9th nispacee Annual Conference:
Government, market and the civic sector - the search for a productive partnership. Riga, Latvia:
2001. 14p.
111.

LOIACONO, E. T. et al. Webqual: a measure of web site quality. Working paper, Terry College of
Business. [on-line], maro de 2004. http://www.terry.uga.edu/cisl/includes/pdf/webqual.pdf.

112. MARCONDES, C. H. & JARDIM, J. M. Polticas de informao governamental: a construo de


governo eletrnico na Administrao Federal no Brasil. Datagramazero: Revista de Cincia da
Informao, v.4, n.2, Abril 2003. [on-line], outubro de 2003. http://www.dgz.org.br/abr03/Art_04.htm.
nd

113. MCQUAIL, D. & WINDAHL, S. Communication models: for the study of mass communication. 2
ed. New York: Longman, 1993. 229p.

114. MECHLING, J. & VINCENT, C. Defining and measuring success in Canadian public sector
electronic service delivery. 2001. 56p.
115. MEDEIROS, M. Princpios de justia na alocao de recursos em sade. Rio de Janeiro: Instituto
de Pesquisa Econmica Aplicada - IPEA, 1999. 13p. (Texto para discusso n 687).
116. MEIRELLES, H. L. Direito Administrativo Brasileiro. 19 ed. So Paulo: Malheiros, 1994.
117. MESKELL, D. High payoff in electronic government : measuring the return on e-government
investments. Washington, DC: U.S. General Services Administration - GSA, Intergovernmental
Advisory Board - IAB, 2003. 70p.
118. MOMENTUM RESEARCH GROUP OF CUNNINGHAM COMMUNICATION. Benchmarking the
egovernment revolution : year 2000 report on citizen and business demand. Olathe, KS: NIC,
2000. 36p.
119. MOURA, A. C. & GONALVES, C. A. Modelo de satisfao ACSI modificado no setor de
telefonia mvel. RAE, v. 45, p. 72 85, 2005, Edio especial Minas Gerais.
120. NEW SOUTH WALES. Audit Office. Performance audit report: e-government : user-friendliness
of websites. Sydney, Australia: The Audit Office of New South Wales, 2002. 46p.
121. NIELSEN, J. Usability engineering. Boston, MA: Academic Press, 1993. 362p.
122. _____. Designing web usability. Indianapolis, IN: New Riders, 1999. 420p.
123. ORGANIZATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT OECD. The egovernment imperative. OECD, 2003. 131p.
124. PARRY, J. Psicologia da comunicao humana. So Paulo: Cultrix, 1972. 267p.
125. PATTON, M. Q. Qualitative evaluation methods. Beverly Hills, CA: Sage, 1980. 381p.
126. PFEIFFER, P. & CUNHA, R. E. O quadro lgico: um mtodo para planejar e gerenciar
mudanas. Revista do Servio Pblico, v. 51, n. 1, Jan./Mar. 2000, p. 81-122.
127. PIMENTA, M. S. et al. A (in)acessibilidade de sites governamentais. In: Proceedings of IHC
2002, V Symposium on Human Factors in Computer Systems, Fortaleza, CE, Oct. 2002.
Fortaleza: SBC, 2002. p. 336-347.
128. POLLITT, C. Managerialism and the public services: the anglo-american experience. Cambridge:
Basil Blackwell, 1990.
129. ROBERTS, N. Social considerations towards a definition of information science. The Journal of
Documentation, v. 32, n. 4, Dec. 1976.

232
130. RONAGHAN, S. A. Benchmarking e-government: a global perspective assessing the progress
of the UN member states. New York: United Nations - Division for Public Economics and Public
Administration - UNDPEPA, 2002. 74p.
131. ROSSI, C. A. V. & SLONGO, L. A. Pesquisa de satisfao de clientes: o estado-da-arte e
proposio de um mtodo brasileiro. RAC, v. 2, n. 1, p. 101-125, Jan./Abr. 1998.
132. ROY, J. Service, security, transparency & trust: government online or governance renewal in
Canada? International Journal of Electronic Government Research, v. 1, n. 1, p. 40-58,
Jan./March 2005.
133. SARACEVIC, T. Information science. JASIS, v. 50, n. 12, p. 1051-1063, 1999.
134. _____. Digital library evaluation: toward an evolution of concepts. Library Trends, v. 49, n. 2, p.
350-369, Fall 2000.
135. _____. How were digital libraries evaluated?. Course and Conference Libraries in the Digital Age
(LIDA 2005), 30 May - 3 June, Dubrovnik, Croatia.
136. SCHMIDT, B. V. et al. Pesquisa de construo de metodologias de avaliao dos cursos de
formao profissional. Braslia: DataUnb, 2000. 41p.
137. SCHMIDT, F. & STRICKLAND, T. Satisfao do usurio: guia para o gerente pblico no Canad.
1999. In: BRASIL. Escola Nacional de Administrao Pblica - ENAP. Metodologia para medir a
satisfao do usurio no Canad: desfazendo mitos e redesenhando roteiros. (Cadernos ENAP).
Braslia: ENAP, 2000. p. 87-141.
138. SEIFERT, J. A primer on e-government : sectors, stages, opportunities, and challenges of online
governance. The Library of Congress, Congressional Research Service, 2003. 21p.
139. SHNEIDERMAN, B. Designing trust into online experiences. Communications of the ACM, v. 43,
n. 12, 2000, p. 34-40.
140. SPEARS, G. & SEYDEGART, K. Citizens first 2000. Institute of Public Administration of Canada,
2001. 87p.
141. SPEARS, G. et al. Citizens first 3. Institute for Citizen Centred Service & Institute of Public
Administration of Canada, 2003. 96p.
142. SPRENG, R. A. et al. A reexamination of the determinants of consumer satisfaction. Journal of
Marketing, v. 60, n. 3, p. 15-32, July 1996.
143. STOWERS, G. N. L. The state of federal websites : the pursuit of excellence. E-government
series. Arlington, VA: The Pricewaterhouse-Coopers endowment for the business of government,
2002. 40p.
144. STUTZ, O. et al. Quality criteria for a public-user-friendly and secure website. In: GERMANY.
Bundesamt fr Sicherheit in der Informationstechnik BSI. E-government manual. Bonn: BSI,
2002. 106p.
th

145. TUBBS, S. L. & MOSS, S. Human communication: principles and contexts. 9 ed. New York:
McGraw-Hill, 2003. 577p.
146. UNITED KINGDOM. National Audit Office - NAO. Comptroller and Auditor General. Government
on the web II. HC 764 session 2001-2002. London: The Stationary Office, 2002. 85p.
147. UNITED NATIONS. Department for Economic and Social Affairs UNDESA. UN Global egovernment survey 2003. UNDESA, Division for Public Administration and Development
Management, 2003.

233
148. _____. _____. UN Global e-government survey 2004. UNDESA, Division for Public
Administration and Development Management, 2004.
149. URDAN, A. T. & RODRGUEZ, A. R. O modelo do ndice de satisfao do cliente norteamericano: um exame inicial no Brasil com equaes estruturais. RAC, v. 3, n. 3, p. 109-130,
Set./Dez. 1999.
150. USA. Congress. Act H.R. 2458. Dec 17, 2002. Washington, DC : Senate and House of
Representatives of the United States of America, 2002. 71p.
151. _____. General Audit Office GAO. Case study evaluations. Washington, DC: GAO, 1990.
152. _____. _____. Electronic government: initiatives sponsored by the Office of Management and
Budget have made mixed progress. GAO, 2004. 68p.
153.

VANDERDONCKT, J. Towards a corpus of validated web design guidelines. Proceedings of the


4th ERCIM Workshop on User Interfaces for All, 1998, p. 16-31. [on-line], janeiro de 2000.
http://citeseer.ist.psu.edu/vanderdonckt98towards.html.

154. VILLELA, R. M. Contedo, usabilidade e funcionalidade: trs dimenses para avaliao de


portais estaduais de governo eletrnico na Web. Belo Horizonte: Universidade Federal de Minas
Gerais, 2003. 262p. (Dissertao de Mestrado em Cincia da Informao).
155. WEISS, C. H. Evaluation research: methods for assessing program effectiveness. Englewood
Cliffs: Prentice - Hall, 1992. 160p.
156. WEST, D. M. State and Federal E-Government in the United States, 2004. Providence, RI: Brown
University, Center for Public Policy, 2004. 17p.
157. W. K. KELLOGG FOUNDATION. Evaluation handbook. Battle Creek, MI: W. K. Kellogg
Foundation, 1998. 62p.
158. _____. Logic model development guide. Battle Creek, MI: W. K. Kellogg Foundation, 2001. 110p.
159. WORLD WIDE WEB CONSORTIUM W3C. Web content accessibility guidelines 1.0. W3C
Recommendation 5 May 1999. 34p. [on-line], outubro de 2001. http://www.w3.org/TR/1999/WAIWEBCONTENT-19990505/.
160. YIN, R. K. Case study research: design and methods. 2.ed. Thousand Oaks: Sage, 1994. 171p.
161. ZEITHAML, V. et al. Delivering quality service. New York: Free Press, 1990.
162. _____. A conceptual framework for understanding e-service quality: implications for future
research and managerial practice. Working paper, Marketing Science Institute, 2000.
163. _____. Service quality delivery through web sites: a critical review of extant knowledge. Journal of
the Academy of Marketing Science, v. 30, n. 4, p. 362-375, 2002.

234

8 Glossrio
Acessibilidade - capacidade do portal web da instituio ser flexvel o suficiente para atender s
necessidades e preferncias do maior nmero possvel de pessoas, alm de ser compatvel com
tecnologias assistivas

69

usadas por pessoas com necessidades especiais.

Articulao institucional - nesta pesquisa, a coordenao necessria entre o governo central


(gestor do programa governo eletrnico) e as agncias governamentais prestadoras de servios
pblicos eletrnicos, com vistas a alcanar o objetivo de melhorar a qualidade desses servios.
Avaliaes de programas estudos sistemticos individuais conduzidos para verificar se um
programa est funcionando adequadamente. Avaliaes de programa tipicamente examinam uma
gama maior de informaes sobre o desempenho do programa e o contexto do que vivel monitorar
em bases correntes. Assim, uma avaliao de programa permite fazer uma ampla verificao do
funcionamento do programa e do que pode ser feito para melhorar os seus resultados (Intosai
Audit Standards Committee, 2004, p. 23).
Avaliao de programas de governo eletrnico - nesta pesquisa, restringe-se avaliao de seus
resultados (eficcia) em relao ao objetivo de fornecer melhores servios aos cidados-clientes.
Avaliao heurstica - mtodo de inspeo sistemtico da usabilidade de sistemas interativos, cujo
objetivo identificar problemas de usabilidade de sistemas informatizados. Esse mtodo envolve a
participao de um pequeno grupo de avaliadores na anlise do fluxo de interao necessrio para
iniciar e completar tarefas reais, e no julgamento dos elementos interativos do sistema, em relao a
princpios reconhecidos de usabilidade, designados tambm como "heursticas".
Benchmarking tcnica voltada para identificao e implementao de boas prticas de gesto.
Capacidade de resposta a dvidas e reclamaes - capacidade de auxiliar os clientes durante o
processo de prestao do servio de e-gov, demonstrando competncia, cortesia, respeito,
compreenso e interesse em resolver a questo.
Cidado-cliente - nesta pesquisa, o beneficirio direto dos servios pblicos eletrnicos.
70

Confiabilidade - garantia de que o servio de e-gov produz, consistentemente , os mesmos


71

72

resultados, corretos , atualizados e precisos , em conformidade com o que foi solicitado pelo cliente.

69

Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficincias a executarem
atividades do cotidiano. Exemplos: cadeiras de rodas, dispositivos de impresso, leitores e ampliadores de tela, sintetizadores
de voz, teclados e dispositivos apontadores alternativos.

70

De forma a produzir sempre os mesmos resultados, dados os mesmos parmetros de entrada.

71

Isento de erros.

235
Controle social - pressupe participao da populao na gesto pblica, no processo de definio,
implementao e avaliao da ao pblica, e a possibilidade do cidado em controlar instituies e
organizaes governamentais para verificar o bom andamento das decises tomadas em seu nome.
Convenincia - capacidade de ser adequado
comodidade

75

73

74

ou oportuno , de tal forma a proporcionar

e vantagens ao cliente do servio pblico eletrnico.

Cookies programas cujo principal objetivo identificar o usurio e preparar pginas web
personalizadas.
Disponibilidade - garantia de que as informaes, e o prprio servio de governo eletrnico, esto
prontos para serem acessados pelos clientes, quando necessrios.
Eficcia - nesta pesquisa, o grau de alcance do objetivo de melhorar a qualidade dos servios
pblicos eletrnicos, no perodo de 2004 a 2007, independentemente dos custos implicados.
Eventos da vida agrupamento dos servios eletrnicos de acordo com as necessidades das
pessoas nas diversas fases da vida, desde o nascimento at a morte (exs: ter filhos, requerer
aposentadoria). Essa linha da vida tambm considerada no caso de servios eletrnicos para
empresas desde a criao da empresa at o seu fechamento.
Expectativas atendidas - correlao entre o que se esperava do servio de governo eletrnico e o
que se percebeu dele, em uma determinada situao de uso. Em outras palavras, a expectativa o
que o cliente espera do servio, baseado em suas necessidades pessoais, experincias pessoais ao
utilizar este ou outros servios pblicos via Web em ocasies anteriores, e em informaes recebidas
de terceiros sobre o servio. Na definio de Spreng et al. (1996), expectativas so crenas sobre as
caractersticas e desempenho de um produto em um momento futuro.
Facilidade de localizao do portal web da instituio capacidade do portal web da instituio
76

de facilitar a identificao e localizao, por parte do cliente, com pouco ou nenhum esforo , de seu
endereo eletrnico.
Facilidade de localizao do servio de governo eletrnico - capacidade do portal web da
instituio de facilitar a identificao e localizao, por parte do cliente, com pouco ou nenhum
esforo, do servio pblico nele disponvel.

72

Exato, inequvoco, claro o suficiente para no suscitar diferentes interpretaes.

73

Suficiente para atender a determinado objetivo ou necessidade.

74

Em momento propcio ou vantajoso para atender a determinado objetivo ou necessidade.

75

Bem-estar, conforto.

76

Mobilizao de foras fsicas e/ou intelectuais para atingir determinado objetivo ou resultado.

236
Fidelidade do processo de comunicao durante a prestao de servios pblicos via Internet
- nesta pesquisa, a capacidade do Governo em reproduzir, ao cidado-cliente, perfeitamente o
contedo necessrio prestao do servio, codificado em palavras, smbolos, imagens, e sons, e
transmiti-lo, por meio de canal livre de interferncias, de tal forma que o cidado-cliente seja capaz de
perceber, com exatido, o mesmo contedo originalmente idealizado. Tal capacidade deve existir
tambm por parte do cidado-cliente, ao responder s solicitaes do Governo, para completar a
prestao do servio pblico eletrnico solicitado.
Frames - subdivises da tela em quadros, cujos contedos provm de pginas web diferentes;
subdivises da estrutura de uma pgina web em quadros e documentos independentes.
G2B abreviatura da expresso inglesa Government to Business.
G2C abreviatura da expresso inglesa Government to Citizen.
G2E abreviatura da expresso inglesa Government to Employee.
G2G abreviatura da expresso inglesa Government to Government.
Governo eletrnico - nesta pesquisa, restringe-se troca on-line bidirecional de informaes na
prestao de servios por parte do Governo aos cidados-clientes.
Grupo de interesse traduo do termo stakeholder, em ingls. Conjunto de pessoas ou instituies
com interesse em algum programa, incluindo no s os tomadores de deciso, beneficirios e
excludos, mas tambm quaisquer pessoas que exeram alguma influncia sobre o sucesso do
programa ou sejam por ele afetadas.
Hardware equipamento fsico do computador e os dispositivos a ele diretamente relacionados
(Ferreira, 1996).
Heurstica - regra ou mtodo analtico para o descobrimento de verdades cientficas. Conjunto de
regras e mtodos que conduzem descoberta, inveno e resoluo de problemas (Ferreira,
1996). Em se tratando de avaliao de usabilidade de sistemas interativos, as heursticas so regras
gerais ou princpios que tentam descrever propriedades tpicas de interfaces com boa usabilidade
(Dias, 2001).
Homepage - pgina principal de um site ou portal. "Pgina de entrada em um site da web, ou de
outro sistema de hipertexto ou de um ndice, com elos de hipertexto que remetem s principais
sees de contedo do site, visando facilitar a navegao pelo sistema. " (Ferreira, 1999).
HTML - sigla correspondente a Hypertext Markup Language, linguagem composta por um conjunto de
comandos de formatao e utilizada na criao de documentos hipertexto, visualizados nas pginas
web (Dias, 1999).

237
Internet - termo derivado da palavra inglesa Internetworking, que significa interconexo de redes. A
Internet, na verdade, composta por uma infra-estrutura computacional e de telecomunicaes que
propicia a transferncia de informaes por redes espalhadas por diversos pases (Dias, 1999).
"Rede mundial de computadores" (Ferreira, 1999).
Link - forma reduzida de hyperlink. Ligao ou relacionamento que aponta e conecta pginas web.
Essa ligao ou conexo feita entre ns de um hipertexto, os quais podem ser trechos, palavras,
figuras, imagens ou sons no mesmo documento ou em outro documento hipertexto (Dias, 1999).
Metatags - comandos HTML (Hypertext Markup Language) especiais para associar metadados
pgina web codificada, sem alterar sua formatao, mas fornecendo informaes sobre seu
contedo. Vrios portais de busca na Internet utilizam tais comandos como ndices de busca,
facilitando, assim, a localizao do contedo de tais pginas.
Monitoramento - coleta sistemtica de informaes com o objetivo de fornecer indicativos sobre
como um programa ou servio executado (Australia - ANAO, 2004), relacionada a ciclos curtos e a
problemas imediatos.
Navegador web - software que interpreta e apresenta na tela do computador as pginas web (Dias,
2001).
On-line diz-se da possibilidade do usurio desenvolver uma ao recproca ou interao com o
computador; dispositivo perifrico que pode operar sob o controle do computador ou em
comunicao direta com ele; estado de um equipamento ou terminal quando este efetua
transmisso de dados diretamente pels linhas de comunicao de um rede; conectado linha
(Ferreira, 1996).
Padro de qualidade de servios pblicos eletrnicos nesta pesquisa, conjunto de regras,
normas, recomendaes ou boas prticas, relativas s seguintes dimenses: facilidade de localizao
do portal web; facilidade de localizao do servio; acessibilidade; usabilidade; disponibilidade;
confiabilidade; privacidade de dados pessoais e segurana de informaes; convenincia;
capacidade de resposta a dvidas e reclamaes; e tempo de atendimento.
Pgina web - pgina hipertextual disponvel na Internet ou na Intranet. O termo web usado para
designar a prpria rede Internet/Intranet ou a tecnologia que nela utilizada (Dias, 2001).
Padres de qualidade atendidos - correlao entre caractersticas ou elementos do servio pblico
prestado ao cliente via Web e um conjunto de regras, normas, recomendaes ou boas prticas, de
cada uma das dimenses do modelo, avaliado por especialista.
Privacidade de dados pessoais e segurana de informaes - direito de controle das situaes
em que dados pessoais so coletados, acessados e usados por terceiros, baseado em relao de
confiana entre as partes, e com a expectativa de no serem divulgados de forma incompatvel com o

238
que foi previamente acordado (privacidade de dados); e observncia de padres relacionados
77

78

79

autenticidade , confidencialidade , disponibilidade , integridade

80

de informaes, com vistas

proteo contra ocorrncias indesejveis, tais como invaso de privacidade, roubo, corrupo de
informaes (segurana de informaes).
Programas de governo - programas sociais idealizados com a meta de melhorar as condies de
vida de uma populao (Weiss, 1992).
Qualidade - nesta pesquisa, o grau em que o servio pblico eletrnico prestado atende s
expectativas dos usurios e aos padres previamente definidos.
Qualidade percebida - julgamento do cliente sobre a superioridade ou excelncia de um servio de
governo eletrnico, fruto da comparao entre os servios esperados e a percepo dos servios
recebidos.
RECI - acrnimo formado pelas palavras: responsvel, executor, consultado e informado.
Resultados de um programa de governo - benefcios esperados em funo de um novo
comportamento ou prtica; efeitos desejados, que explicitam o propsito do programa, mas que
fogem do controle e da responsabilidade direta da gerncia (Pfeiffer & Cunha, 2000).
Sadas de um programa de governo - bens ou servios produzidos pelo programa, sob escopo
gerencivel pelo responsvel pelo programa, descritos em termos de metas fsicas e temporais
(quantidade, qualidade e prazo). (Pfeiffer & Cunha, 2000).
Satisfao - conforto e aceitabilidade do produto, medidos por meio de mtodos subjetivos e/ou
objetivos. As medidas objetivas de satisfao podem se basear na observao do comportamento do
usurio (postura e movimento corporal) ou no monitoramento de suas respostas fisiolgicas. As
medidas subjetivas, por sua vez, so produzidas pela quantificao das reaes, atitudes e opinies
expressas subjetivamente pelos usurios (Dias, 2001).
Satisfao geral sensao de prazer ou descontentamento com o servio de governo eletrnico
recebido, face s expectativas e exigncias pessoais do cliente.
Servidor web - computador integrante de uma rede cliente-servidor, responsvel pelos servios
relacionados com a Internet/Intranet (Dias, 2001).

77

Garantia de que a fonte ou o destino de uma informao, em um processo de comunicao, realmente quem diz ser.

78

Garantia de que a informao acessada apenas por pessoas explicitamente autorizadas, da forma previamente autorizada.

79

Garantia de que as informaes e os servios prestados por um sistema esto prontos para serem acessados por usurios
autorizados, sempre que necessrios, ou dentro do perodo previamente acordado.

80

Garantia de que as informaes no foram alteradas ou corrompidas por pessoas no autorizadas.

239
Site - "qualquer servidor da web, ou o endereo em que pode ser acessado. Conjunto de documentos
apresentados ou disponibilizados na web por um indivduo, instituio, empresa etc., E que pode ser
fisicamente acessado por um computador e em endereo especfico da rede" (Ferreira, 1999). O
mesmo que stio.
Software aquilo que pode ser executado por um equipamento (o hardware); um produto
comercializado que consiste em um sistema de rotinas e funes (Ferreira, 1996).
Survey - expresso inglesa traduzida para o portugus, por alguns autores, como levantamento; por
outros, como simplesmente pesquisa quantitativa.
SWOT - acrnimo formado pelas palavras inglesas: Strengths (foras), Weaknesses (fraquezas),
Opportunities (oportunidades) e Threats (ameaas).
Tecnologia assistiva - software ou hardware especificamente concebido para ajudar pessoas com
incapacidades ou deficincias a executarem atividades do cotidiano. Esse novo termo, apesar de no
existir nos dicionrios de lngua portuguesa, nem to pouco nos de lngua inglesa, tem se incorporado
ao vocabulrio tcnico e popular de vrios idiomas, sendo classificado como todo e qualquer item,
equipamento, produto ou sistema que propicia, ao portador de deficincia, uma vida mais
independente, produtiva, agradvel e bem sucedida, por meio do aumento, manuteno ou devoluo
das capacidades funcionais dessa pessoa.
Tempo de atendimento - durao do processo de prestao do servio de governo eletrnico, desde
a primeira solicitao (ou acesso) at o recebimento final do resultado esperado.
URL - Endereo global de documentos e recursos na Internet.
81

Usabilidade - capacidade do portal web da instituio ser usado por seus clientes com eficcia ,
eficincia

82

83

e satisfao , durante a prestao do servio pblico via Web, tambm definida como

qualidade de uso.
Usurio - pessoa que interage com o produto (Dias, 2001).
Valor percebido - relaciona qualidade percebida pelo cliente do servio (benefcio percebido) e
recurso gasto (tempo, dinheiro, esforo). No modelo proposto, o valor percebido do servio pblico

81

Preciso e completeza com que os usurios atingem objetivos especficos, acessando a informao correta ou gerando os
resultados esperados. A preciso uma caracterstica associada correspondncia entre a qualidade do resultado e o critrio
especificado, enquanto a completeza a proporo da quantidade-alvo que foi atingida (ISO 9241, 1998).

82
Preciso e completeza com que os usurios atingem seus objetivos, em relao quantidade de recursos gastos.
Capacidade de evitar desperdcio de tempo, dinheiro e esforo (ISO 9241, 1998).
83

Conforto e aceitabilidade do portal web, medidos por meio de mtodos subjetivos e/ou objetivos. As medidas objetivas de
satisfao podem se basear na observao do comportamento do usurio (postura e movimento corporal) ou no
monitoramento de suas respostas fisiolgicas. As medidas subjetivas, por sua vez, so produzidas pela quantificao das
reaes, atitudes e opinies expressas subjetivamente pelos usurios (ISO 9241, 1998).

240
via Web medido em relao aos outros canais de prestao do mesmo servio, tais como telefone,
fax, correio, e-mail e atendimento presencial nas agncias governamentais.
Web - termo usado para designar a prpria rede Internet/Intranet ou a tecnologia que nela utilizada.
"Recurso ou servio oferecido na Internet (rede mundial de computadores), e que consiste num
sistema distribudo de acesso a informaes, as quais so apresentadas na forma de hipertexto, com
elos entre documentos e outros objetos (menus, ndices), localizados em pontos diversos da rede"
(Ferreira, 1999).

241

9 Apndices
9.1 Lista de documentos internos solicitados gerncia do
Programa
a) Relao dos indicadores utilizados e relatrios de superviso e monitoramento do
Programa;
b) Relao das atividades do programa, seus responsveis e executores;
c) Norma interna ou documentos, contendo dados sobre a definio dos responsveis pelo
programa, suas atribuies e os meios de divulgao interna das informaes sobre o
Programa;
d) Documentos, contendo dados sobre o desenho do programa, se houve, e seus objetivos;
e) Levantamento dos riscos do programa, levando em conta as suas peculiaridades (forma de
execuo, experincias similares) e as do rgo (disponibilidade de pessoal, infraestrutura, sistemas de informao);
f)

Documento contendo as atividades de controle desenvolvidas para o acompanhamento


dos riscos identificados (ex: relatrios gerenciais de execuo e acompanhamento do
programa);

g) Descrio do acompanhamento e tratamento dado s informaes recebidas (sugestes,


crticas e denncias) por meio de canais de comunicao com o pblico-alvo e a sociedade
civil;
h) Atas de reunio dos Comits Executivo e Tcnicos;
i)

Lista dos responsveis pela gerncia dos portais web da Administrao Pblica Federal,
participantes ou no do Comit Tcnico de Gesto de Stios e Servios On-Line, com
endereos de correio eletrnico e telefones, se possvel;

j)

Lista de endereos de correio eletrnico dos Coordenadores Gerais de Modernizao e


Informtica CGMI.

242

9.2 Roteiro de entrevista com gestores do Programa84


1. Desde quando existe o Programa Governo Eletrnico? Algum programa/ao antecedeu o
atual?
2. Existem regras que definam o papel e as atribuies do gerente do Programa, dos Comits
Executivo e Tcnicos, e das unidades administrativas responsveis pela gesto de
informao e informtica?
3. Foi realizada anlise dos riscos do Programa levando em conta suas peculiaridades (forma
de execuo, experincias similares) e as do rgo (disponibilidade de pessoal, infraestrutura, sistemas de informao)?
4. O Comit Gestor do Programa Governo Eletrnico, previsto na Portaria n 155, de
julho/2005, se rene periodicamente? O que j foi deliberado/discutido no Comit?
5. Com que freqncia a SLTI/Diretoria de Governo Eletrnico se
coordenadores e parceiros do Programa E-Gov?

rene com gerentes,

6. A ata mais recente do CEGE a de 14/05/2003? E de reunies dos coordenadores


tcnicos, a de 20/09/2004? H datas definidas para as reunies do CEGE e dos Comits
Tcnicos? Ou so extraordinrias?
7. Como avalia a participao dos representantes dos rgos nas reunies dos Comits
Tcnicos e como se d a interao com o prprio Departamento e a SLTI?
8. Qual a participao dos Comits Tcnicos no processo de tomada de deciso dos servios
de informao?
9. Quais os meios de divulgao interna das informaes sobre o Programa?
10. Como so divulgadas as pautas das reunies do CEGE e dos Comits Tcnicos?
11. Qual a sistemtica para aprovao e divulgao das decises dos Comits?
12. Como as atas so comunicadas aos gestores dos stios e participantes das reunies dos
Comits?
13. Qual o tratamento dado s informaes recebidas (sugestes, crticas e denncias) por
meio dos canais de comunicao com o pblico-alvo e a sociedade civil?
14. Cada rgo destina recursos do seu prprio oramento para o desenvolvimento e a
execuo de projetos de seu interesse?
15. Existem coordenaes do E-Gov no mbito de cada Ministrio? Caso no existam, h o
comprometimento da formulao e da implementao de projetos?
16. Existem avaliaes recentes (desempenho operacional, resultados) feitas pela Gerncia do
Programa?
17. Comentar foras e oportunidades (pontos fortes) do Programa.
18. Comentar fraquezas e ameaas (aspectos negativos) do Programa.

84
As perguntas foram divididas por assunto e aplicadas em datas diferentes e, por vezes, dirigidas a pessoas
diferentes, de acordo com sua responsabilidade em relao gesto do Programa E-Gov.

243
19. Quais os principais indicadores de desempenho construdos que iro permitir monitorar e
avaliar as aes do Governo Eletrnico?
20. De que forma esto sendo implementados os instrumentos para medio e pesquisas
sobre a qualidade dos servios e das informaes prestadas e, ainda, da satisfao dos
usurios? (controle e monitoramento dos stios)
21. H propostas de definio de mecanismos de monitoramento e avaliao dos portais e
servios e-gov a ser utilizado pela Administrao?
22. Quais as principais ferramentas de anlise de melhores prticas desenvolvidas?
23. De que maneira a coordenao do Programa vem promovendo a melhoria da prestao de
servios ao cidado?
24. Quais servios pblicos on-line ofertados ao cidado, na sua opinio, apresentam melhor
desempenho? Citar um de cada setor: sade, educao, assistncia social, trabalho,
outros.
25. Quanto oferta de servios pblicos on-line ao cidado (no estgio de transao
eletrnica), quais envolvem maior materialidade ($)? Quais os de maior relevncia (agenda
poltica)? Quais abrangem maior pblico-alvo? Quais atingem camadas mais pobres da
populao (eqidade)?
26. H mapeamento/catalogao de todos os servios oferecidos pelos diversos rgos? Na
elaborao das pginas da rede governo, os servios disponibilizados foram selecionados
pelos tcnicos do Departamento ou foram solicitados para os rgos responsveis?
27. Em que passo est o estudo e a implementao das solues baseadas na Linha da
Vida? H Plano de Ao estabelecendo cronograma? J h uma definio de adoo
desse padro pela Administrao? Nesse caso, como a aceitao dos diversos gestores
responsveis pelos portais nos diversos rgos?
28. H alguma avaliao do descompasso entre os rgos do ritmo de implantao das
solues de governo eletrnico baseadas nos padres definidas pelo Comit Executivo?
Tm sido adotadas medidas para diminuir o descompasso (alocao de recursos
financeiros e humanos, elaborao de planos de ao)? Quais so, na sua avaliao, os
rgos mais adiantados e quais os mais atrasados (no ritmo de implantao dos padres e
da adequao da apresentao dos stios segundo uma disposio lgica orientada aos
segmentos cidado, empresas e outros)?
29. Que medidas tm sido adotadas em relao capacitao dos responsveis pela alterao
dos contedos e da apresentao dos portais, nos diversos rgos, em relao aos
padres definidos para o governo eletrnico?

244

9.3 Roteiro de entrevista para seleo dos servios eletrnicos


a) Quais os servios pblicos prestados pela instituio por meio eletrnico (via portal e-gov)?
Favor indicar, para cada um:


Sua prioridade em relao aos demais;

Seu oramento;

Sua disponibilidade on-line;

Seus responsveis e executores;

Seu pblico-alvo;

Se existe cadastro/registro dos beneficirios atendidos;

Sua taxa de utilizao em relao ao pblico-alvo;

Se foi realizada anlise de necessidades do pblico-alvo para sua implementao;

Se foi realizada avaliao (pesquisa de satisfao; controle de qualidade; anlise de


reclamaes, sugestes e crticas recebidas);

Se foram definidos indicadores de acompanhamento do servio;

Seu estgio de evoluo como portal de governo eletrnico (apresentao de


informao, busca de informao, interao limitada ou transao eletrnica).

b) Quais os departamentos ou setores internos, assim como outras instituies e parceiros,


envolvidos na implementao e manuteno dos servios pblicos eletrnicos prestados
pela instituio?

c) Qual a participao dos Comits Tcnicos do E-Gov no processo de tomada de deciso de


implantao dos servios de informao?

d) De que forma esto sendo implementados os instrumentos para medio e pesquisas


sobre a qualidade dos servios e das informaes prestadas e, ainda, da satisfao dos
usurios? Como monitorada a segurana dos stios? (controle e monitoramento dos
stios).
e) Quais as normas, manuais e recomendaes que nortearam o desenvolvimento e a
gerncia dos servios pblicos eletrnicos?
f)

H alguma restrio tcnica ou de pessoal para a realizao da pesquisa no perodo de


29/08 a 25/11?

245

9.4 Modelos de diagramas e matrizes de avaliao de


programas
9.4.1 Anlise grupo de interesse (stakeholder)
Grupo
Stakeholder
(pessoas-chave
na
Primrio ou
implementao Secundrio
85
do Programa)

Papel do
Stakeholder na
implementao
das aes do
Programa

Interesse
do
Stakeholder
no
Programa

Grau de
interesse

Impacto
Prioridade
(se o
(interesse
Programa
para a
++; + ; 0; -;-- no atender avaliao de
os
programas)
interesses
do
stakeholder)

9.4.2 Anlise SWOT


Ambiente Interno

Ambiente Externo

Foras

Oportunidades

Fraquezas

Ameaas

85

Primrio diretamente afetado; Secundrio intermedirio.

246

9.4.3 Diagrama de verificao de risco

Alto

Impacto
potencial
no alcance
dos objetivos
Baixo

Baixa

Probabilidade de ocorrncia

Alta

9.4.4 Matriz de planejamento


Contexto:
PROBLEMA:
Questo
Informaes Fontes de
Estratgias
de
requeridas informao metodolgicas
auditoria

Mtodos
de
obteno
de dados

Mtodos
O que a
de
anlise vai
anlise Limitaes
permitir
de dados
dizer

247

9.4.5 Matriz de achados


Questo de auditoria:
Achados
principais

Anlises e
evidncias

Causas

Efeitos

Boas
prticas

Recomendaes

Benefcios
esperados

248

9.5 Lista de verificao para portais e servios e-gov86


Facilidade de localizao do portal web da instituio (FLI)
N

Recomendao

Documento consultado

Utilizar apenas o nome do rgo no ttulo da pgina inicial Cart. Usab. (acessib. 7)
do stio (no incluir os termos stio, site, pgina,
homepage, entre outros).

Metatags apropriados so oferecidos, por exemplo: ttulo, Vilella (contedo metad. 1)


autor, descrio, palavras-chave.
Cart. Usab. (acessib. 16)
Dias (flexib. e eficincia de uso)

A URL clara ou no apresenta dificuldade de digitao Vilella (usab. operacional. 9)


para o usurio.
Stutz et al. (8.1.1.1)

possvel encontrar o portal da instituio nos primeiros


20 resultados de mecanismos de busca populares.

possvel encontrar o portal da instituio no portal Rede Stutz et al. (8.1.1.1)


Governo.

Stutz et al. (8.1.1.1)

Facilidade de localizao do servio eletrnico (FLS)


N

Recomendao

Norma/documento consultado

Os stios disponibilizaro seu contedo agrupado por Resoluo n 7 (art. 4, IV)


assunto, ficando vedado o seu agrupamento segundo a
Cart. Usab. (navegab. 8)
estrutura organizacional do rgo ou entidade;
Vilella (funcional. acurcia 6)
Dias (compatib. Com contexto)

Os stios sero estruturados de modo a privilegiar a Resoluo n 7 (art. 4, V)


prestao de servio ao cidado;
Vilella (funcional. adequao 1)

Os stios alocaro o contedo de maior valor para o Resoluo n 7 (art. 4, VIII)


usurio na parte superior da pgina;
Vilella (usab. operacional. 2)
Dias (projeto esttico, flexib. e
eficincia de uso)

Esto disponveis recursos para facilitar a navegao, por Cart. Usab. (navegab. 1, 3, 7)
exemplo: mapas do stio, indicadores de novas
Vilella (usab. apreensib. 1;
informaes disponveis, ferramentas de busca etc., Esto
funcional. interoperab. 2)
disponveis e so facilmente identificveis.
Cart. Acessib. 2.17
Criar mecanismos para que o usurio possa encontrar as
informaes sem a necessidade de seguir apenas um W3C 13.3
caminho.
Dias (flexib. e eficincia de uso)

86

Lista elaborada ao longo desta pesquisa a partir de documentos produzidos pelo Governo brasileiro e por
pesquisadores independentes, enumerados ao final deste apndice.

249

Facilidade de localizao do servio eletrnico (FLS)


N

Recomendao

A arquitetura da informao deve seguir os seguintes Cart. Usab. (navegab. 8)


parmetros:
Dias (compatib. Com contexto)
- Definir menus
(principal
e secundrios)
e
nomenclaturas, visando ao agrupamento de itens
relacionados ou similares, evitando redundncias;
-

Norma/documento consultado

Preservar a distribuio uniforme da quantidade de


itens nos menus secundrios buscando o equilbrio
desses menus.

O mapa do stio/portal deve privilegiar a estrutura dos Cart. Usab. (navegab. 10)
menus principais e secundrios.

Metatags apropriados so oferecidos, por exemplo: ttulo, Vilella (contedo metad. 1)


autor, descrio, palavras-chave.
Cart. Usab. (acessib. 16)
Dias (flexib. e eficincia de uso)

Cada pgina recebe ttulo corretamente.

Vilella (contedo metad. 2)


Dias (preveno de erros)

O acesso direto s tarefas de alta prioridade oferecido Vilella (usab. operacional. 8)


na homepage.

10

A URL clara ou no apresenta dificuldade de digitao Vilella (usab. operacional. 9)


para o usurio.
Stutz et al. (8.1.1.1)

11

O portal estruturado de acordo com perfis de usurios.

Vilella (funcional. acurcia 7)


Stutz et al. (8.2.1)

12

O portal estruturado de acordo com a linha da vida.

Vilella (funcional. acurcia 8)


Stutz et al. (8.2.1)

13

possvel encontrar o servio nos primeiros 20 resultados Stutz et al. (8.1.1.1)


de mecanismos de busca populares.

14

possvel encontrar o servio no portal Rede Governo.

15

possvel encontrar o servio na homepage da Stutz et al. (8.2.1)


instituio.

Stutz et al. (8.1.1.1)

Acessibilidade (AC)
N

Recomendao

Norma/documento consultado

Os stios disponibilizaro verso alternativa compatvel Resoluo n 7 (art. 4, X)


com programas de uso consagrado, quando utilizada
tecnologia nova na construo de pgina;

Os stios utilizaro padres tcnicos que no exijam Resoluo n 7 (art. 4, XI)


equipamentos de grande performance ou programas
Cart. Usab. (acessib. 1, 9)
pouco difundidos;

250

Acessibilidade (AC)
N

Recomendao

Norma/documento consultado

As pginas dos stios devero apresentar os contedos Resoluo n 7 (art. 5, II, III)
com clareza, simplicidade, objetividade, organicidade;
Cart. Acessib. 1.10
As pginas dos stios devero usar linguagem simples e
W3C 14.1
direta, especialmente nas pginas iniciais;
Cart. Usab. (acessib. 6)
Vilella (contedo objetiv. 3)
Dias (compatib. Com contexto)

Fornecer um equivalente textual a cada imagem (isso


abrange: representaes grficas do texto, incluindo
smbolos, GIF animados, imagens utilizadas como
sinalizadores de pontos de enumerao, espaadores e
botes grficos). Isso se resolve utilizando alt ou
longdesc em cada imagem.

Cart. Acessib. 1.1


W3C 1.1
Cart. Usab. (acessib. 8, padron.
Visual 7)
Dias (visib., Conduo usurio)

Fornecer meios para ignorar e explicar inseres de arte Cart. Acessib. 1.2
ASCII com vrias linhas, tais como links de ncora ou
W3C 13.10
pginas alternativas.

Identificar o principal idioma utilizado nos documentos.

Cart. Acessib. 1.3


W3C 4.3

Assegurar que todas as informaes veiculadas com cor Cart. Acessib. 1.4
estejam tambm disponveis sem cor.
W3C 2.1

Assegurar que a combinao de cores entre o fundo e o Cart. Acessib. 1.5


primeiro plano seja suficientemente contrastante para
W3C 2.2
poder ser vista por pessoas com cromodeficincias, bem
como pelas que utilizam monitores de vdeo
monocromticos.

Identificar claramente quaisquer mudanas de idioma no Cart. Acessib. 1.6


texto de um documento, bem como nos equivalentes
W3C 4.1
textuais (por ex., Legendas de imagens).

10

Organizar os documentos de tal forma que possam ser Cart. Acessib. 1.7
lidos sem recurso a folhas de estilo. Por exemplo, se um
W3C 6.1
documento em HTML for reproduzido sem as folhas de
estilo que lhe esto associadas, deve continuar a ser
possvel l-lo.

11

No usar concepes que possam provocar intermitncia Cart. Acessib. 1.8


da tela, at que os leitores de tela ou navegadores do
W3C 7.1
usurio possibilitem o seu controle.

12

Criar uma seqncia lgica de tabulao para percorrer Cart. Acessib. 1.9
links, controles de formulrios e objetos.
W3C 9.4

13

Utilizar os mecanismos de navegao de maneira Cart. Acessib. 1.11


coerente, consistente e sistemtica.
W3C 13.4

251

Acessibilidade (AC)
N

Recomendao

Norma/documento consultado

14

Fornecer links de texto redundantes relativos a cada Cart. Acessib. 1.12


regio ativa de um mapa de imagem armazenado tanto no
W3C 1.2, 9.1
cliente quanto no servidor.

15

Fornecer resumos das tabelas, utilizando o atributo Cart. Acessib. 1.13


summary, caso seja criada uma tabela para dados. Se a
W3C 5.5
tabela foi criada para efeito de design, deixar o summary
em branco.

16

Em tabelas de dados com dois ou mais nveis lgicos de Cart. Acessib. 1.14, 1.15
cabealhos, seja de linha ou de coluna, utilizar marcaes
W3C 5.2
para associar as clulas de dados s clulas de
cabealho.

17

Assegurar que os equivalentes de contedo dos frames Cart. Acessib. 1.16


(dinmico ou no) sejam atualizados sempre que esse
~W3C 6.2
contedo mudar. Mantendo a origem do frame sempre
ligada a um arquivo HTML, no a uma imagem.

18

Assegurar a acessibilidade do contedo de frames, Cart. Acessib. 1.17


fornecendo uma pgina alternativa atravs do elemento
~W3C 6.5
noframes.

19

Dar, a cada frame, um ttulo que facilite a identificao dos Cart. Acessib. 1.18
frames e sua navegao.
W3C 12.1

20

Descrever a finalidade dos frames e o modo como se Cart. Acessib. 1.19


relacionam entre si, se isso no for bvio a partir
W3C 12.2
unicamente dos ttulos, fornea uma descrio mais
detalhada.

21

Assegure a acessibilidade de objetos programados, tais Cart. Acessib. 1.20


como, programas interpretveis e applets, garantindo que
W3C 6.4, 9.2
a resposta a eventos seja independente do dispositivo de
entrada e que qualquer elemento dotado de interface
prpria possa funcionar com qualquer leitor de tela ou
navegador que o usurio utilize.

22

Assegurar que todas as pginas possam ser utilizadas Cart. Acessib. 1.21
mesmo que os programas interpretveis, os applets ou
W3C 6.3
outros objetos programados tenham sido desativados ou
no sejam suportados.

23

Fornecer equivalentes textuais para sons (reproduzidos Cart. Acessib. 1.22


ou no com interao do usurio), arquivos de udio
W3C 1.1
independentes, trilhas udio de vdeo e trechos de vdeo.

24

Em apresentaes multimdia baseadas em tempo (filme Cart. Acessib. 1.23


ou animao), fornecer ou sincronizar as alternativas
W3C 1.4
equivalentes (legendas ou descries sonoras dos trechos
visuais) e a apresentao.
Cart. Usab. (acessib. 10)

25

Evitar pginas contendo movimento, at que os agentes Cart. Acessib. 1.24


do usurio possibilitem o controle e a imobilizao do
W3C 7.3
contedo.

252

Acessibilidade (AC)
N

Recomendao

26

Se no for possvel deixar as pginas de seu stio Cart. Acessib. 1.25


acessveis, momentaneamente, criar uma pgina
W3C 11.4
alternativa (juntamente com uma justificativa apropriada)
que utilize tecnologias em conformidade com este
documento, acessvel, que contenha informaes (ou
funcionalidade) equivalentes e seja atualizada to
freqentemente quanto a pgina original, considerada
inacessvel.

27

Ao publicar
parmetros:

28

documentos,

Norma/documento consultado

observar

os

seguintes Cart. Usab. (acessib. 2)


Cart. Acessib. 3.10

Informar previamente formato e tamanho do arquivo;

Utilizar um tamanho de arquivo que viabilize seu


acesso. Se necessrio oferecer a opo de arquivo
dividido.

W3C 13.19

Oferecer contedo com possibilidade de visualizao e de Cart. Usab. (acessib. 3)


interao, com o uso de ferramentas gratuitas.
Usabilidade (U)

Recomendao

Norma/documento consultado

Os stios usaro obrigatoriamente o idioma portugus, Resoluo n 7 (art. 4, I)


podendo
haver
verses
em
outros
idiomas,
Cart. Usab. (acessib. 6, 21)
preferencialmente o espanhol e o ingls;

Os stios usaro, obrigatoriamente, diagramao Resoluo n 7 (art. 4, II)


dinamicamente ajustvel na produo do leiaute das
Cart. Acessib. 2.2
pginas, sendo que a barra de rolagem horizontal
somente se far visvel em configuraes de vdeo W3C 3.4
inferiores a 800 x 600 pontos de tela;
Cart. Usab. (padron. Visual 6)
Vilella (usab. operacional. 1, 3)
Dias (flexib. e eficincia de uso)

Os stios contero, em sua pgina inicial, informao Resoluo n 7 (art. 4, III)


sobre todo o seu contedo;

Os stios harmonizaro elementos de funo semelhante Resoluo n 7 (art. 4, VI)


de modo que sejam apresentados com forma e
localizao anlogas;

Os stios foraro a abertura de nova janela sempre que Resoluo n 7 (art. 4, IX)
houver ligaes para pginas externas ao domnio;
Cart. Usab. (navegab. 6)

Os stios contero, caso seja disponibilizado servio Resoluo n 7 (art. 4, XIII)


executvel em outro domnio, as informaes mnimas
necessrias para que o servio seja acessado,
processado e consumado.

253

Usabilidade (U)
N

Recomendao

Norma/documento consultado

As pginas dos stios devero ser de fcil legibilidade;

Resoluo n 7 (art. 5, I)
Cart. Usab. (padron. Visual 4)
Vilella (usab. inteligib. 2)
Dias (projeto esttico)

As pginas dos stios devero utilizar imagens apenas Resoluo n 7 (art. 5, IV)
quando associadas diretamente com o rgo ou entidade
Cart. Usab. (padron. Visual 5)
ou, ainda, com o servio;

As pginas dos stios devero manter todo o ciclo de Resoluo n 7 (art. 5, V)


transio do servio dentro do prprio stio quando ele for
disponvel por meio de formulrios.

10

Cabe Secretaria de Comunicao de Governo da Resoluo n 7 (art. 13)


Presidncia da Repblica a definio da identidade visual
Cart. Usab. (padron. Visual 1, 2)
dos stios dos rgos e entidades da Administrao
Pblica Federal.

11

Os elementos visuais das pginas (textos, imagens e Cart. Usab. (padron. Visual 3)
espaos) devem ser organizados de acordo com os
princpios de design para web: contraste, repetio,
alinhamento e proximidade. O uso desses elementos deve
orientar o usurio, facilitando a localizao da informao
desejada.

12

Ao utilizar cores, observar os seguintes parmetros:

13

Contraste entre os elementos visuais, facilitando a


legibilidade;

Uso de cores que mantenham a integridade visual em


qualquer tipo de monitor;

Preservar a utilizao uniforme das cores em todo o


stio;

Fidelidade de cores associada identidade visual da


instituio ou s cores da bandeira nacional;

Fcil identificao da hierarquia da


(contedo), por meio das cores.

Ao publicar
parmetros:

animaes,

observar

os

Cart. Usab. (padron. Visual 4)

informao
seguintes Cart. Usab. (padron. Visual 5)

Ser funcional a fim de contribuir com o contedo do


stio.

Apresentar contedo compatvel com a linha da


misso do rgo.

Respeitar a hierarquia das informaes no stio,


contribuindo para que o usurio encontre contedos
sem perda da referncia da navegao global.

Evitar animaes nos elementos de identificao


institucional, como: marca e logotipo, entre outros.

254

Usabilidade (U)
N

Recomendao

14

Ao publicar textos, observar os seguintes parmetros:

Norma/documento consultado

Cart. Usab. (padron. Visual 8)


Manter o mesmo alinhamento de texto em todo o Dias (consistncia)
stio/portal, preferencialmente esquerda;

Evitar grande quantidade de texto em maisculas


(caixa-alta);

Utilizar fontes no serifadas;

Manter padro de fontes em todo o stio;

Contrastar cor de fundo e texto, facilitando a leitura;

Em textos longos, evitar o uso de contraste negativo;


(ex. Texto em cor clara aplicado sobre fundo em cor
escura).

15

Diferenciar cores de hiperlinks e hiperlinks visitados. Essa Cart. Usab. (padron. Visual 9)
diferenciao deve ser uniforme e consistente em todo o
stio.

16

Na utilizao de imagens, respeitar o direito


propriedade de uso, bem como o crdito autoral.

17

A terminologia de navegao deve ser padronizada para Cart. Usab. (padron. Visual 11)
proporcionar unidade visual e textual.
Cart. Acessib. 2.9

de Cart. Usab. (padron. Visual 10)

W3C 14.3
18

Todas as pginas devem apresentar os seguintes Cart. Usab. (navegab. 1)


elementos:
Dias (visib., Conduo usurio)
- Opo de volta pgina anterior sem a necessidade
de sair do stio/portal.

19

Na identificao do rgo, fazer link para a pgina inicial Cart. Usab. (navegab. 2)
do stio.

20

Garantir ao usurio o controle da navegao, evitando-se Cart. Usab. (navegab. 4)


aes no solicitadas; (ex.pop up)
Cart. Acessib. 2.6
W3C 10.1
Dias (controle do usurio)

21

Ao oferecer links externos; observar os seguintes Cart. Usab. (navegab. 6)


parmetros:
-

Ser adequado ao pblico-alvo;

Enviar a contedo compatvel com a pgina que o


contm;

Informar previamente o nome do stio de destino.

22

Arquivos cuja visualizao dependa de outros aplicativos Cart. Usab. (navegab. 9)


devem ser executados em nova janela do navegador.

23

Instrues essenciais aparecem antes que os links Vilella (usab. apreensib. 4)


requeiram a interao do usurio.

255

Usabilidade (U)
N

Recomendao

Norma/documento consultado

24

Os logotipos so utilizados criteriosamente.

Vilella (usab. operacional. 4)

25

Itens esto agrupados na rea de navegao, de modo Vilella (usab. operacional. 5)


que as categorias semelhantes ou relacionadas esto
prximas entre si.

26

O portal prov acesso a fontes de dados heterogneas, Vilella (funcional. interoperab.


de forma transparente para o usurio.
3)
Disponibilidade (D)

Recomendao

Norma/documento consultado

O ambiente da rede do stio do rgo ou entidade conta Resoluo n 7 (art. 25)


com planos de contingncia implementados e atualizados,
visando ao pronto restabelecimento do ambiente e dos
servios, assim como o no comprometimento da imagem
da Administrao Pblica Federal.

Os planos de contingncia so periodicamente testados Resoluo n 7 (art. 26)


para que seja verificada a sua eficcia ou necessidade de
adequao.

Foram estabelecidas diretrizes que orientam a realizao Resoluo n 7 (art. 27)


de cpias de segurana peridica das informaes crticas
dos ambientes dos stios governamentais.

O portal pode ser acessado na maior parte do tempo, sem Vilella (usab. operacional. 10)
que esteja fora do ar.
Confiabilidade (CONF)

Recomendao

Norma/documento consultado

As pginas dos stios devero apresentar os contedos Resoluo n 7 (art. 5, II)


com atualidade e veracidade;
Vilella (contedo - atualidade 1)
Dias (preveno de erros)

Todas as pginas devem apresentar os seguintes Cart. Usab. (navegab. 1)


elementos:
-

No canto superior esquerdo: Identificao do rgo e


ou logomarca, quando houver; nos casos de stios de
rgos da Administrao Direta, a identificao ser o
nome do Ministrio, de acordo com o Manual de
Identidade Visual do Governo Federal na Internet;

O rodap deve conter o smbolo , o ano e a


identificao (sigla ou nome) do rgo/instituio;

Somente inserir links internos com a garantia de seu pleno Cart. Usab. (navegab. 5)
funcionamento e que no remetam a paginas Em
Construo ou sem contedo.

As datas da ltima atualizao aparecem nas pginas de Vilella (contedo - atualidade 2)


contedo mais substantivo.

256

Confiabilidade (CONF)
N

Recomendao

Norma/documento consultado

O responsvel pela pgina est claramente identificado.

Vilella
(contedo
autoridade/copyright 3)

O contedo da pgina (homepage) est de acordo com o Vilella (contedo objetiv. 1)


propsito/misso.

Tom positivo e profissional: evita jarges, humor, Cart. Usabilidade (acessib. 6)


acusaes, abreviaes e siglas sem o seu significado por
Vilella (contedo objetiv. 4)
extenso.

A linguagem no mostra preconceitos: racial, cultural, Vilella (contedo objetiv. 5)


poltico, comercial.
Privacidade e segurana (PS)

Recomendao

Norma/documento consultado

Os servios Web so providos por equipamentos Resoluo n 7 (art. 15)


dedicados com acessos fsico e lgico controlados.

As infra-estruturas computacionais e de rede dedicadas Resoluo n 7 (art. 16)


prestao dos servios Web so isoladas da rede interna
do rgo ou entidade.

As pginas Web so providas e atualizadas de modo a Resoluo n 7 (art. 17)


no comprometer a segurana das redes internas do
rgo ou entidade.

O servidor Web configurado de modo seguro tanto no Resoluo n 7 (art. 18)


que se refere segurana fsica, quanto aos sistemas
operacionais e aplicativos instalados.

A segurana do stio permanentemente atualizada de Resoluo n 7 (art. 19)


modo
a
resistir
aos
ataques
que
exploram
vulnerabilidades para as quais j existem correes.

So implementados mecanismos de registro de eventos e Resoluo n 7 (art. 20)


acessos ao stio e ao seu ambiente de funcionamento.

Os relatrios produzidos pelos mecanismos de registro de Resoluo n 7 (art. 21)


eventos e acessos ao stio e ao seu ambiente de
funcionamento so armazenados de modo seguro por
perodo compatvel com o carter da informao.

Quando da ocorrncia de ataques bem sucedidos, Resoluo n 7 (art. 22)


preservada a maior quantidade possvel de evidncias
digitais relevantes.

Os registros de eventos e acessos so monitorados Resoluo n 7 (art. 23)


regular e freqentemente, objetivando a identificao de
falhas relevantes.

10

Para o ambiente do stio, so utilizados mecanismos de Resoluo n 7 (art. 24)


sincronizao automtica de tempo por meio das fontes
oficiais de tempo.

11

H pelo menos um responsvel tcnico para atuar como Resoluo n 7 (art. 28)
contato no que se refere segurana do ambiente do
stio.

257

Privacidade e segurana (PS)


N

Recomendao

Norma/documento consultado

12

So estabelecidas rotinas de programas de treinamento e Resoluo n 7 (art. 29)


atualizao especficos aos responsveis tcnicos pela
segurana do ambiente do stio.

13

So
estabelecidas
rotinas
de
programas
conscientizao de todos os envolvidos.

14

Sempre que necessrio, os servidores Web so Resoluo n 7 (art. 30)


configurados para usar tecnologias de autenticao e
criptografia, visando a garantir a integridade, o sigilo e a
autenticidade das informaes.

15

O responsvel tcnico se certifica de que entende todas Resoluo n 7 (art. 31)


as funcionalidades de qualquer programa externo a ser
utilizado e suas possveis vulnerabilidades.

16

So adotados conceitos e procedimentos de auditoria Resoluo n 7 (art. 32)


interna que permitem anlise do ambiente computacional.

17

Toda a documentao tcnica referente aos componentes Resoluo n 7 (art. 33)


e configuraes do ambiente do stio conservada para
eventuais verificaes.

18

Todos os documentos normativos elaborados e Resoluo n 7 (art. 34)


implementados pelo rgo ou entidade, que versam sobre
o ambiente do stio, so mantidos atualizados e em
condies de sofrer auditorias.

19

No so utilizados provedores externos para prestar Resoluo n 7 (art. 35)


servios considerados sigilosos, bem como aqueles que
possam expor a privacidade dos usurios.

20

Caso os servios Web estejam sendo prestados por Resoluo n 7 (art. 36)
provedores externos, foram estabelecidas clusulas no
contrato de prestao de servio que estipulam a
observncia s normas sobre segurana de stios
aplicveis Administrao Pblica Federal.

21

O servio de certificao dos stios dos rgos ou Resoluo n 7 (art. 37)


entidades feito por Autoridades Certificadoras
integrantes da ICP-Brasil, observado o disposto no
Decreto no 3.996, de 31 de outubro de 2001.

22

O rgo ou entidade adota medidas necessrias para Resoluo n 7 (art. 38)


preservar
a
segurana
dos
stios
sob
sua
responsabilidade, inclusive se hospedados por provedores
externos, e estipula de forma clara as responsabilidades
da unidade que gerencia o stio.

23

O portal especifica uma poltica de privacidade e Vilella (funcional. segurana de


acesso 1)
segurana dos dados fornecidos pelos usurios.
Cart. Usab. (navegab. 11)

24

O portal utiliza recursos de criptografia e site seguro.

de Resoluo n 7 (art. 29)

Vilella (funcional. segurana de


acesso 2)

258

Privacidade e segurana (PS)


N

Recomendao

Norma/documento consultado

25

O usurio informado se e como a instituio usa Stutz et al. (8.5.2.7)


cookies.
Convenincia (CONV)

Recomendao

Norma/documento consultado

O contedo se adapta s necessidades do pblico-alvo.

Vilella (contedo objetiv. 2)

Capacidade de resposta a dvidas (RD)


N

Recomendao

Os stios disponibilizaro ligao para pgina com Resoluo n 7 (art. 4, VII)


respostas aos questionamentos mais freqentes dirigidos Cart. Usab. (acessib. 20)
Vilella (usab. apreensib. 2)
ao rgo ou entidade;
Stutz et al. (8.2.1.5)
Os rgos e entidades da Administrao Pblica Federal Resoluo n 7 (art. 8, I)
implementaro, obrigatoriamente, servio de comunicao Cart. Usab. (acessib. 4, navegab.
direta do usurio com o rgo ou entidade denominado 1)
"Fale Conosco".
Stutz et al. (8.3.2.1)
Oferecer, pelo menos, um meio de atendimento auxiliar ao Cart. Usab. (acessib. 5)
Vilella (contedo
usurio como endereo fsico, telefone ou fax.
autoridade/copyright 4)
Recursos para facilitar a apreenso do funcionamento da Vilella (usab. apreensib. 2)
aplicao, como sees de ajuda, so facilmente Stutz et al. (8.2.1.5)
Dias (preveno de erros)
identificveis.

3
4

Norma/documento consultado

Tempo de atendimento (T)


N

Recomendao

Norma/documento consultado

Os stios adotaro estratgia de navegao que Resoluo n 7 (art. 4, XII)


economize toques, propiciando rapidez de acesso e o uso
Stutz et al. (8.2.1.4)
intuitivo dos comandos e opes;
Dias (flexib. e eficincia de uso)
O nmero de cliques para encontrar o servio, a partir da
homepage menor do que 4.

Os stios utilizaro padres tcnicos que no exijam Resoluo n 7 (art. 4, XI)


equipamentos de grande performance ou programas
Cart. Usab. (acessib. 9)
pouco difundidos;

possvel carregar a pgina em menos de oito segundos. Stutz et al. (8.1.1.3)

O tamanho mximo, por pgina, de 60 a 70KB.

H verses alternativas (mais leves) de pginas para Stutz et al. (8.1.1.3)


usurios com conexo Internet lenta.

Stutz et al. (8.1.1.3)

Os textos da coluna Recomendao foram transcritos das normas e/ou documentos consultados. As recomendaes
marcadas com fundo cinza no foram consideradas na avaliao heurstica realizada nesta pesquisa, por limitaes da
tcnica de inspeo utilizada ou da falta de preciso das normas e documentos consultados.

259
Documentos consultados para elaborao dessa lista
1. BRASIL. Comit Executivo do Governo Eletrnico - CEGE. Resoluo n 7, de 29 de julho
de 2002. Estabelece regras e diretrizes para os stios na Internet da Administrao Pblica
Federal. Braslia: CEGE, 2002.
2. _____. Governo Eletrnico. Cartilha de Usabilidade para Stios e Portais do Governo
Federal . Verso 01. Braslia: Comit Tcnico de Gesto de Stios e Servios On-line,
2004. 11p.
3. _____. Ministrio do Planejamento, Oramento e Gesto - MP. Recomendaes de
Acessibilidade para a Construo e Adaptao de Contedos do Governo Brasileiro na
Internet: cartilha tcnica. Braslia: MP, Departamento de Governo Eletrnico - DGE, 2005.
41p.
4. DIAS, C. A. Mtodos de avaliao de usabilidade de portais corporativos: um estudo de
caso no Senado Federal. Braslia: Universidade de Braslia, 2001. 229p. (Dissertao de
mestrado em Cincia da Informao).
5. STUTZ, O. et al. Quality criteria for a public-user-friendly and secure website. In:
GERMANY. Bundesamt fr Sicherheit in der Informationstechnik BSI. E-government
manual. Bonn: BSI, 2002. 106p.
6. VILLELA, R. M. Contedo, usabilidade e funcionalidade: trs dimenses para avaliao de
portais estaduais de governo eletrnico na Web. Belo Horizonte: Universidade Federal de
Minas Gerais, 2003. 262p. (Dissertao de Mestrado em Cincia da Informao).
7.

WORLD WIDE WEB CONSORTIUM W3C. Web content accessibility guidelines 1.0. W3C
Recommendation 5 May 1999. 34p. [on-line], outubro de 2001. http://www.w3.org/TR/1999/WAIWEBCONTENT-19990505/.

260

9.6 Questionrio sobre segurana dos portais governamentais


Por favor, assinale as medidas de segurana que j foram adotadas em seu rgo ou entidade,
aquelas que esto em fase de implantao e as que ainda no foram adotadas, de acordo com
a legenda abaixo:
A medida adotada.
I medida em fase de implantao.
N medida ainda no adotada.

( ) Os servios Web so providos por equipamentos dedicados com acessos fsico e lgico
controlados.
( ) As infra-estruturas computacionais e de rede dedicadas prestao dos servios Web so
isoladas da rede interna do rgo ou entidade.
( ) As pginas Web so providas e atualizadas de modo a no comprometer a segurana das
redes internas do rgo ou entidade.
( ) O servidor Web configurado de modo seguro tanto no que se refere segurana fsica,
quanto aos sistemas operacionais e aplicativos instalados.
( ) A segurana do stio permanentemente atualizada de modo a resistir aos ataques que
exploram vulnerabilidades para as quais j existem correes.
( ) So implementados mecanismos de registro de eventos e acessos ao stio e ao seu
ambiente de funcionamento.
( ) Os relatrios produzidos pelos mecanismos de registro de eventos e acessos ao stio e ao
seu ambiente de funcionamento so armazenados de modo seguro por perodo compatvel
com o carter da informao.
( ) Quando da ocorrncia de ataques bem sucedidos, preservada a maior quantidade
possvel de evidncias digitais relevantes.
( ) Os registros de eventos e acessos so monitorados regular e freqentemente, objetivando
a identificao de falhas relevantes.
( ) Para o ambiente do stio, so utilizados mecanismos de sincronizao automtica de tempo
por meio das fontes oficiais de tempo.
( ) O ambiente da rede do stio do rgo ou entidade conta com planos de contingncia
implementados e atualizados, visando ao pronto restabelecimento do ambiente e dos servios,
assim como o no comprometimento da imagem da Administrao Pblica Federal;
( ) Os planos de contingncia so periodicamente testados para que seja verificada a sua
eficcia ou necessidade de adequao.
( ) Foram estabelecidas diretrizes que orientam a realizao de cpias de segurana peridica
das informaes crticas dos ambientes dos stios governamentais.

261
( ) H pelo menos um responsvel tcnico para atuar como contato no que se refere
segurana do ambiente do stio.
( ) So estabelecidas rotinas de programas de treinamento e atualizao especficos aos
responsveis tcnicos pela segurana do ambiente do stio.
( ) So estabelecidas rotinas de programas de conscientizao de todos os envolvidos.
( ) Sempre que necessrio, os servidores Web so configurados para usar tecnologias de
autenticao e criptografia, visando a garantir a integridade, o sigilo e a autenticidade das
informaes.
( ) O responsvel tcnico se certifica de que entende todas as funcionalidades de qualquer
programa externo a ser utilizado e suas possveis vulnerabilidades.
( ) So adotados conceitos e procedimentos de auditoria interna que permitem anlise do
ambiente computacional.
( ) Toda a documentao tcnica referente aos componentes e configuraes do ambiente do
stio conservada para eventuais verificaes.
( ) Todos os documentos normativos elaborados e implementados pelo rgo ou entidade,
que versam sobre o ambiente do stio, so mantidos atualizados e em condies de sofrer
auditorias.
( ) No so utilizados provedores externos para prestar servios considerados sigilosos, bem
como aqueles que possam expor a privacidade dos usurios.
( ) Caso os servios Web estejam sendo prestados por provedores externos, foram
estabelecidas clusulas no contrato de prestao de servio que estipulam a observncia s
normas sobre segurana de stios aplicveis Administrao Pblica Federal.
( ) O servio de certificao dos stios dos rgos ou entidades feito por Autoridades
Certificadoras integrantes da ICP-Brasil, observado o disposto no Decreto no 3.996, de 31 de
outubro de 2001.
( ) O rgo ou entidade adota medidas necessrias para preservar a segurana dos stios sob
sua responsabilidade, inclusive se hospedados por provedores externos, e estipula de forma
clara as responsabilidades da unidade que gerencia o stio.
As questes acima foram elaboradas a partir dos artigos 14 a 38 da Resoluo n 7, de 29 de
julho de 2002, do Comit Executivo do Governo Eletrnico CEGE, que estabelece regras e
diretrizes para os stios na Internet da Administrao Pblica Federal.

262

9.7 Roteiro para realizao de grupo focal com coordenadores


de comits tcnicos
1. INTRODUO
Este roteiro constitui instrumento de auxlio no desenvolvimento de Grupo Focal junto aos coordenadores
de Comits Tcnicos, tendo por objetivo analisar questes relevantes pesquisa sobre avaliao de
Governo Eletrnico.
2. OBJETO DO ESTUDO
Implementao de Servios Pblicos Eletrnicos nos rgos da APF e atuao dos Comits Tcnicos
3. OBJETIVOS DO GRUPO FOCAL
Conhecer o ponto de vista dos coordenadores de Comits Tcnicos sobre a gesto do Programa e o grau
de implementao de e-gov pelos rgos da APF.
4. COMPOSIO DO GRUPO
** Nmero de Participantes: ______________
5. APRESENTAO
APRESENTAO DO MODERADOR + ASSISTENTES
FALAR SOBRE A PESQUISA (TCNICAS DE PESQUISA UTILIZADAS) E SOBRE O CORTE TEMPORAL
DA PESQUISA: AES DE E-GOV PLANEJADAS/REALIZADAS CONSIDERANDO A ATUAL
ESTRUTURA DO PROGRAMA GOVERNO ELETRNICO (CEGE + cts OUT./2003)
ANONIMATO DAS OPINIES INDIVIDUAIS (OPINIO DO GRUPO)
6. INFORMAES REQUERIDAS
6.1. No mbito do Programa Governo Eletrnico, quais so, atualmente, as principais aes do Governo
Federal na perspectiva G2C?
OPCIONAL: Como devem ser priorizadas essas aes do Programa Governo Eletrnico?
6.2. Qual sua avaliao da organizao do Programa? (Comit Executivo; Comits Tcnicos; Secretaria
Executiva na SLTI; rgos da Administrao Pblica Federal)
OPCIONAL
6.3. Como se d a interao entre os Comits Tcnicos (CT) e o Comit Executivo (CEGE)? Como so
discutidos, deliberados e normatizados os resultados das discusses dos Comits Tcnicos?
OPCIONAL
6.3. Como funciona o processo de implementao das medidas oriundas dos Comits Tcnicos e/ou do
CEGE nos rgos da Administrao Pblica Federal (APF)?
6.4. Qual sua avaliao sobre o grau de implementao das recomendaes do Programa Governo
Eletrnico pelos rgos da APF em seus stios?
OPCIONAL: Quais as principais barreiras para implementao dessas recomendaes pelos rgos da
APF?

263
6.5. Quais os principais avanos na atuao dos Comits Tcnicos e do CEGE?
6.6. Quais as maiores dificuldades, na perspectiva G2C, para a implantao do Programa Governo
Eletrnico?
7. OBSERVAES

8. RESPONSVEIS PELA APLICAO DA TCNICA


Nome:
Matrcula:

Telefone:

E-mail:

Lotao:

Matrcula:

Telefone:

E-mail:

Lotao:

Local:

Data:

Nome:

Horrio

N. Fita:

264

9.8 Roteiro para realizao de grupo focal com gestores de


portais
1. INTRODUO
Este roteiro constitui instrumento de auxlio no desenvolvimento de Grupo Focal junto aos responsveis por
portais da APF, tendo por objetivo analisar questes relevantes pesquisa sobre avaliao de Governo
Eletrnico
2. OBJETO DO ESTUDO
Implementao de Servios Pblicos Eletrnicos nos rgos da APF
3. OBJETIVOS DO GRUPO FOCAL
Avaliar se os responsveis por domnios tm sido orientados e estimulados pela coordenao do Programa
de Governo Eletrnico para a proposio e implementao de servios eletrnicos e com orientao
primordial para o atendimento das necessidades dos cidados, potencialmente beneficirios dos servios.
Alm disso, avaliar se a forma de organizao na administrao dos portais tem sido eficaz e quais so as
principais dificuldades na implantao da poltica de governo eletrnico.
4. COMPOSIO DO GRUPO
** Nmero de Participantes: ______________
rea de Comunicao:_________
rea de TI:_________
rea de Gesto: __________
Outras reas: _____________

5. APRESENTAO
APRESENTAO DO MODERADOR + ASSISTENTES
FALAR SOBRE A PESQUISA (TCNICAS DE PESQUISA UTILIZADAS) E SOBRE O CORTE TEMPORAL
DA PESQUISA: AES DE E-GOV PLANEJADAS/REALIZADAS CONSIDERANDO A ATUAL
ESTRUTURA DO PROGRAMA GOVERNO ELETRNICO (CEGE + cts OUT./2003)
ANONIMATO DAS OPINIES INDIVIDUAIS (OPINIO DO GRUPO)
APRESENTAO DOS PARTICIPANTES:
1) NOME
2) RGO/ENTIDADE
3) CARGO/FUNO
4) REA (GESTO/COMUNICAO/TI)
5) FORMA DE GESTO DO PORTAL (rea responsvel pelo portal, quem publica o qu, com autorizao
de quem)

265
6. INFORMAES REQUERIDAS
AVALIAO SOBRE AS DIRETRIZES DO PROGRAMA GOVERNO ELETRNICO
6.1. Como voc avalia as diretrizes da poltica de governo eletrnico oriundas dos Comits Tcnicos e do
Comit Executivo do Governo Eletrnico e a divulgao destas?
AVALIAO SOBRE A ATUAO DA SLTI E DO DEPARTAMENTO DE GOVERNO ELETRNICO
6.2. Quanto atuao da SLTI e do Departamento de Governo Eletrnico:
-

Considera que esto exercendo o papel de orientao e coordenao relativamente implementao


de aes nos diversos rgos da APF?
Exercem articulao quando h necessidade de implementao de servios que requerem
interoperabilidade entre stios, estruturas e processos de distintos rgos da APF?
Vm realizando divulgao de boas prticas de governo eletrnico?

OPCIONAL: ESTRUTURA DO PROGRAMA GOVERNO ELETRNICO


6.3. A estrutura do Programa Governo Eletrnico (CEGE + Comits Tcnicos + SLTI) adequada? Tem
sugestes para seu aprimoramento?
DIFICULDADES ENFRENTADAS PELOS RGOS PARA IMPLEMENTAR SERVIOS E PORTAIS NA
INTERNET
6.4. Considerando os servios e portais de responsabilidade do seu rgo, quais as dificuldades
encontradas em tempos recentes para desenvolv-los ou reformul-los?
Os recursos que seu rgo obtm para disponibilizar servios na Internet contam com apoio da
SLTI/MPOG para serem adquiridos?
DESCOMPASSO NO ESTGIO DE DESENVOLVIMENTO EM E-GOV DOS DIVERSOS RGOS DA
APF
6.5. Quais as principais razes para o descompasso existente entre os rgos da APF no tocante
quantidade de servios pblicos oferecidos na Internet e ao estgio de desenvolvimento desses servios?
Como solucionar esse problema?
PARTICIPAO DO RGO NOS COMITS TCNICOS DO PROGRAMA GOVERNO ELETRNICO.
6.6. Seu rgo convidado e participa das discusses dos Comits Tcnicos e/ou dos grupos de trabalho
por eles institudos? (DISCUSSES PRESENCIAIS/VIRTUAIS)
OPCIONAL: Quais as maiores dificuldades para uma participao mais efetiva nessas reunies com vistas
formulao da poltica?
AVALIAO E MONITORAMENTO A CARGO DA COORDENAO DO PROGRAMA GOVERNO
ELETRNICO
6.7. Voc j participou de discusses sobre modelos de avaliao e de monitoramento dos servios
eletrnicos propostos pela coordenao do Programa Governo Eletrnico?
DEFINIO DE PAPIS NO STIO
6.8. Como a interao entre as trs funes envolvidas no portal do seu rgo: gesto, provimento de
contedo e infra-estrutura tecnolgica?
AVALIAO DA ATUAO DO GESTOR DO STIO
6.9. Aps a oferta do servio na Internet, este avaliado com relao sua taxa de utilizao em relao a
outros meios de prestao do mesmo servio (balco de atendimento, telefone)?

266

ESQUECEMOS DE COMENTAR ALGUM ASPECTO IMPORTANTE SOBRE O PROGRAMA GOVERNO


ELETRNICO OU SOBRE SUA INTERAO COM OS RGOS DA ADMINISTRAO PBLICA
FEDERAL?
ALGUM TEM MAIS ALGUM COMENTRIO A FAZER?
7. OBSERVAES

8. RESPONSVEIS PELA APLICAO DA TCNICA


Nome:
Matrcula:

Telefone:

E-mail:

Lotao:

Matrcula:

Telefone:

E-mail:

Lotao:

Local:

Data:

Nome:

Horrio
Incio:
/

Trmino:

N. Fita:

267

9.9 Questionrio 1 da pesquisa de satisfao com usurios

268

269

270

9.10 Questionrio 2 da pesquisa de satisfao com usurios

271

272

273

274

9.11 Questionrio para gestores de portais

275

276

277

278

279

280

281

282

Potrebbero piacerti anche