Avaliao de Processos

Mariano Montoni
COPPE/UFRJ Programa de Engenharia de Sistemas e Comp tao

S m!rio

Motivao para Avaliar Processos Funes Principais de Avaliao de Processos Mtodos de Avaliao Metodologia do SCAMPI

Motivao para Avaliar Processos

Mercados competitivos Necessidade de melhorar continuamente os processos Importante identificar pontos fracos e fortes dos processos atravs da an lise do neg!cio" ger#ncia e processos Avaliaes so instrumentos para mudanas organi$acionais

Motivao para Avaliar Processos

Avaliaes focam na estrutura de tra%alho organi$acional Avaliaes a&udam a transformar a organi$ao de forma funcional

Motivao para Avaliar Processos

Avaliaes de processos so apenas ferramentas de melhoria de processo ' modelo mais compacto e completo dos est gios de melhoria de processo o modelo I()A* para melhoria organi$acional ' modelo I()A* fornece um guia para a iniciali$ao" plane&amento e implementao de atividades de um programa de melhoria de processos

Modelo "#EA$

F n%es Principais da Avaliao

Analisar como uma organi$ao tra%alha Avaliaes representam a forma como as empresas realmente tra%alham An lise de uma avaliao depende de critrios esta%elecidos por um modelo de refer#ncia

Se voc no sabe onde se encontra, um mapa no vai lhe ajudar. Watts Humphrey

F n%es Principais da Avaliao

Motivar a organi$ao em reali$ar mudanas positivas Avaliaes estimulam culturas tcnicas e organi$acionais a evoluir Avaliaes re+uerem participao ampla para distri%uir e limitar e,posies ' foco das mudanas nos processos e no nas pessoas

F n%es Principais da Avaliao

&rans'ormar as organi$aes atravs de procedimentos esta%elecidos Avaliaes treinam e ha%ituam organi$aes a fa$erem auto-cr.tica de forma no-defensiva Avaliaes mudam a perspectiva das pessoas so%re seu am%iente de tra%alho local e glo%al ' envolvimento da alta ger#ncia no processo de melhoria se perpetua ap!s a avaliao

F n%es Principais da Avaliao

Ed car a organi$ao atravs da e,posio de %oas pr ticas da ind/stria Avaliaes no apenas motivam empresas a melhorar" mas tam%m as ensina como melhorar

M(todos de Avaliao

CMM C0A IPI IS' 1222-3 0ootstrap SPIC) 4IS' 566278 SCAMPI

CMM C0A IPI

Inicialmente e,istiam dois tipos de avaliaes do CMM9 SPA 4Soft:are Process Assesment8
;tili$ado por organi$aes para o%ter conhecimento

so%re sua pr!pria capacidade de desenvolvimento de soft:are e para priori$ar aes de melhoria de processo

SC) 4Soft:are Capa%ilit< )valution8

;tili$ado em avaliaes e,ternas do processo de

soft:are de uma organi$ao

Mtodo oficial de avaliao do CMM

C0A IPI 4CMM !ased "ppraisals #or $nternal %rocess $mprovement8

CMM C0A IPI

=e+uisitos do C0A IPI Presena de um l.der +ualificado Constituio de uma e+uipe de avaliao Foco na organi$ao como um todo Concentrao em uma hierar+uia de n.veis de maturidade Import>ncia de entrevistas pessoais Confidencialidade Corro%orao de informaes Identificao do n.vel de maturidade da organi$ao avaliada 4ratin&s8 =ecomendaes Apresentao de resultados

IS' 1222

)m 51?@" a IS' consolidou os padres de manufatura para incluir entre outros um padro para desenvolvimento de soft:are )sse con&unto formado de 6 padres relacionados" +ue com%inados constituem um sistema de +ualidade ' padro de soft:are corresponde A IS' 1222-3

A idia principal da IS' 1222-3 +ue os ciclos de vida de desenvolvimento de soft:are devem ser documentados cuidadosamente como processos de manufatura

IS' 1222

A certificao segundo a IS' 1222-3 no trata n.veis de maturidade nem incentivos para melhoria de processos ' foco no controle de no-conformidades de produtos e recomendao de aes corretivas e preventivas A tcnica de auditoria da IS' 1222-3 chamada de BicCIB ;ma verso simplificada do SPA 4So#t'are %rocess "ssessment8 do S)I

0ootstrap

Pro&eto )SP=IB conclu.do em 5113 A e+uipe do pro&eto era formada por empresas e institutos de pes+uisa da Dustria" 0lgica" Finl>ndia" Alemanha e It lia Aplicou o Modelo S)I A ind/stria europia de soft:are Adotou e estendeu o +uestion rio original do S)I com +uestes %aseadas na IS' 1222 e no modelo de processo da )uropean Space Agenc<

0ootstrap

Aumentar a aplicao da tecnologia de )ngenharia de soft:are na ind/stria de soft:are europia (esenvolveram uma metodologia para acesso ao processo tendo o modelo S)I como refer#ncia % sica" com os seguintes o%&etivos9 (eterminar e apresentar um perfil anal.tico da +ualidade de Eunidades produtoras de soft:areF e seus pro&etos
A partir da an lise" traar um plano de ao para melhoria

a curto e longo pre$o Bransformar o plano de ao em uma srie de mini pro&etos para implementao das melhorias recomendadas

0ootstrap

(escreve como avaliar o processo (etermina o n.vel de maturidade de uma organi$ao Identifica seus pontos fortes e fracos 4capacidade8 'ferece diretri$es para melhoria 4planos de ao8

0ootstrap

A metodologia tem tr#s passos9 Preparao9 apresentao da metodologia para a ger#ncia e e+uipe tcnica da organi$ao Plane)amento9 seleo" com os representantes da organi$ao" das Eunidades produtoras de soft:areF e dos pro&etos a serem avaliados Avaliao no local

0ootstrap
Guestion rio

As +uestes esto divididas em tr#s grupos9 Guestes so%re a organi$ao Guestes so%re o processo e (no' ho' em )ngenharia de Soft:are Guestes so%re tecnologia e sua transfer#ncia

As respostas so em cinco n.veis9 Ausente" Fraco" Satisfat!rio" ),tensivo" No Aplic vel

SPIC)
5115 - Comit# de )ngenharia de Soft:are da IS' aprovou a reali$ao de estudos para analisar as necessidades de um padro para avaliao de processo de desenvolvimento de soft:are estudo apontou um consenso internacional so%re necessidade de um padro e a import>ncia de se implementar melhorias no processo de desenvolvimento 5113 - foi criado o pro&eto SPIC) 4So#t'are %rocess $mprovement and Capability d)termination8" um acordo internacional de coordenao mundial9 Austr lia" );A" Inglaterra e Canad

SPIC)
'%&etivo9 produ$ir normas +ue orientem a avaliao de processo de soft:are visando melhoria cont.nua do processo e determinao da capacitao %aseou-se no +ue havia de melhor de modelos pr-e,istentes" principalmente no CMM

SPIC) prov# uma estrutura para a avaliao de processos de soft:areH )sta estrutura pode ser usada por organi$aes envolvidas em plane&amento" gerenciamento" monitoramento" controle e melhoria da a+uisio" fornecimento" desenvolvimento" operao" evoluo e suporte de soft:areH

SPIC)

A%ordagem

)ntender o estado dos processos da organi$ao para a melhoria do processo (eterminar a ade+uao dos processos da organi$ao a um re+uisito particular ou classe de re+uisitos (eterminar a ade+uao dos processos de outra organi$ao para um contrato particular ou classe de contratos

SPIC)

)m 511?" SPIC) foi convertido em um modelo e partes de avaliao de processos da norma IS'II)C 56627

SCAMPI

' SCAMPI 4Standard CMM$ "ppraisal Method #or %rocess $mprovement 8 foi desenvolvido para prover indicadores de +ualidade relativos ao CMMI 4Capability Maturity Model $nte&ration8 Aplic vel a v rios modos de avaliaes de processos Melhoria interna de processos (eterminao e,terna de n.vel de capacidade

Atende aos re+uisitos de avaliaes para o CMMI e ap!iam a reali$ao de avaliaes IS'II)C 56627

SCAMPI

' o%&etivo do SCAMPI 9

'%ter informao so%re a capacidade de engenharia de uma organi$ao atravs da identificao de pontos fracos e fortes dos processos =elacionar os pontos fracos e fortes com o modelo CMMI Priori$ar planos de melhoria Focar em melhorias mais urgentes da organi$ao (erivar indicador do n.vel de capacidade e maturidade Identificar riscos de desenvolvimento I a+uisio relativos a determinaes de capacidade I maturidade

SCAMPI

' SCAMPI" por ser um mtodo de avaliao de benchmar(in&" depende de agregao de evid#ncias coletada atravs de instrumentos" apresentaes" documentos e entrevistas A e+uipe de avaliao o%serva" ouve" e l# informao +ue transformada em9 Notas
(eclaraes de falhas na implementao de pr ticas

ou pontos fortes J Achados preliminares

SCAMPI

's achados preliminares so avaliados pela unidade organi$acional antes de se tornarem achados 'inais )ssas transformaes so aplic veis a dados +ue refletem os processos e,ecutados na unidade organi$acional e no CMMI" formando a %ase para ratin&s e outros resultados da avaliao Plane&amento da avaliao essencial

Metodologia do SCAMPI

Consiste em tr#s fases e 55 processos essenciais Fase 59 Plane&ar e Preparar para a Avaliao Fase K9 Condu$ir a Avaliao Fase 39 =elatar =esultados

Processos do SCAMPI
1: Planejar e Preparar para a Avaliao 1.1 Analisar Requisitos 1.2 Desenvolver Plano da Avaliao 1.3 Selecionar e Preparar a Equipe 1.4 !ter e Analisar Evid"ncias !jetivas #niciais 1.$ Preparar para a %oleta de Evid"ncias !jetivas 2: %ondu&ir a Avaliao 2.1 E'a(inar Evid"ncias !jetivas 2.2 )eri*icar e )alidar Evid"ncias !jetivas 2.3 Docu(entar Evid"ncias !jetivas 2.4 +erar Resultados da Avaliao 3: Relatar Resultados 3.1 Entre,ar Resultados da Avaliao 3.2 E(pacotar e Arquivar Ativos da Avaliao

Fase *+ Plane)ar e Preparar para a Avaliao

A fase 5 do SCAMPI envolve o seguinte9

)scolher a data da Avaliao Identificar um coordenador da unidade organi$acional Plane&ar a avaliao (efinir uma e+uipe de avaliao (efinir os produtos finais da avaliao Selecionar os pro&etos a serem avaliados Selecionar as pessoas a serem entrevistadas (istri%uir +uestion rios Breinar a e+uipe da avaliao

Fase *+ Plane)ar e Preparar para a Avaliao

Antes de iniciar a avaliao" mem%ros da organi$ao avaliada devem preparar as evid#ncias o%&etivas para agili$ar o processo Isto difere do C0A IPI" onde a e+uipe avaliadora deveria procurar todas as evid#ncias desde o in.cio

)vid#ncias o%&etivas so informaes +ualitativas ou +uantitativas" registros ou afirmaes so%re um fato pertencentes a uma caracter.stica de um item ou servio ou a e,ist#ncia e implementao de um elemento de processo

Fase *+ Plane)ar e Preparar para a Avaliao

(urante a avaliao onsite a e+uipe avaliadora verifica e valida as evid#ncias diretas fornecidas pela organi$ao avaliada para identificar os pontos fortes e fracos relativos ao modelo de refer#ncia CMMI ' processamento da informao agili$ado devido ao fornecimento das evid#ncia previamente Lanha-se tempo e esforo ao no se e,ecutar o processo de Edesco%ertaF

Fase *+ Plane)ar e Preparar para a Avaliao

An lise das evid#ncias o%&etivas preliminares crucial Se dados su%stanciais no esto presentes" ento os passos seguintes da avaliao podem ser postergados ou mesmo cancelados

Fase *+ Plane)ar e Preparar para a Avaliao

A coleta prvia de evid#ncias prov# os seguintes %enef.cios9

Melhoria na acur cia dos resultados das avaliaes )ntendimento detalhado so%re a forma de implementao das pr ticas do modelo de refer#ncia Facilidade em monitorar a conformidade com o processo e o progresso da melhoria de processo =es.duos de avaliaes podem ser reutili$adas em avaliaes su%se+Mentes" minimi$ando o esforo de preparao

Fase ,+ Cond -ir a Avaliao

A fase K do SCAMPI envolve o seguinte9

=eali$ar a reunio de *ic( +## e outras apresentaes Coletar e gerenciar os dados a partir de9 Guestion rios (ocumentos )ntrevistas Apresentaes

Consolidar os dados

Fase ,+ Cond -ir a Avaliao

A idia fundamental por tr s dos Indicadores de Implementao de Pr ticas 4PIIs J %ractice $mplementation $ndicators8 +ue a conduo de uma atividade ou implementao de uma pr tica resulta em uma Eimpresso digitalF J evid#ncia +ue prov# a %ase para a verificao das pr ticas ou atividades

Fase ,+ Cond -ir a Avaliao

' conceito principal da fase K a Eco%erturaF o +ue implica

Coletar dados suficientes para cada componente do modelo dentro do escopo selecionado pelo patrocinador da avaliao '%ter uma amostra representativa dos processos em andamento

Fase ,+ Cond -ir a Avaliao

's ratings so gerados ap!s a confirmao de +ue foi o%tida suficiente co%ertura do modelo de refer#ncia e da unidade organi$acional 's &oal ratin&s so determinados para cada rea de processo" os +uais so usados coletivamente para determinar o ratin& para as reas de processo individuais" assim como o ratin& da maturidade do processo para a unidade organi$acional como um todo

Fase .+ Relatar Res ltados

A fase 3 do SCAMPI envolve o seguinte9 Consolidar achados preliminares =eali$ar reunies para relatar os achados preliminares Consolidar os achados finais e esta%elecer os ratin&s Apresentar informalmente os achados finais ao patrocinador da avaliao =eali$ar apresentao dos achados finais =eali$ar reunio e,ecutiva para discutir os achados finais Fechamento da e+uipe da avaliao

&empo e Es'oro de ma Avaliao SCAMP"

So necess rios K a 3 meses para reali$ar as atividades de plane&amento da avaliao e para treinar a e+uipe de avaliao Atividades de plane&amento geralmente iniciam entre N e ? semanas antes da avaliao onsite ' treinamento dos mem%ros da e+uipe da avaliao re+uer 6 a N dias9 K"6 a 3 dias no treinamento do modelo de refer#ncia K"6 a 3 dias no treinamento da e+uipe de avaliao

&empo e Es'oro de ma Avaliao SCAMP"

' treinamento da e+uipe pode ser com%inada com outras atividades do plane&amento 4an lise da resposta dos +uestion rios" reviso de documentos e desenvolvimento de scripts de entrevistas8 )stas atividades devem ser conclu.das entre K a 3 semanas antes do per.odo onsite

A avaliao onsite leva em torno de 52 dias

&empo e Es'oro de ma Avaliao SCAMP"

M#s 5 e K J Breinamento da e+uipe da avaliao e plane&amento M#s 3 J Avaliao onsite M#s 7 J =eviso do plano de ao Meses 6-K7 J Implementao do plano de ao M#s 5K J Avaliao interna Meses 5?-32 J SCAMPI de acompanhamento

Avaliao de Processos
Mariano Montoni
COPPE/UFRJ Programa de Engenharia de Sistemas e Comp tao