Avalia

1
Avaliação de Processos
Mariano Montoni

• COPPE/UFRJ
• Programa de Engenharia de Sistemas e Computação

2
Sumário

• Motivação para Avaliar Processos
• Funções Principais de Avaliação de Processos
• Métodos de Avaliação
• Metodologia do SCAMPI

3
Motivação para Avaliar Processos

• Mercados competitivos
• Necessidade de melhorar continuamente os
  processos
• Importante identificar pontos fracos e fortes dos
  processos através da análise do negócio, gerência
  e processos
• Avaliações são instrumentos para mudanças
  organizacionais

4
Motivação para Avaliar Processos

• Avaliações focam na estrutura de trabalho
  organizacional
• Avaliações ajudam a transformar a organização de
  forma funcional

5
Motivação para Avaliar Processos

• Avaliações de processos são apenas ferramentas de
  melhoria de processo
• O modelo mais compacto e completo dos estágios de
  melhoria de processo é o modelo IDEAL para
  melhoria organizacional
• O modelo IDEAL fornece um guia para a
  inicialização, planejamento e implementação de
  atividades de um programa de melhoria de processos

6
Modelo IDEAL
7
Funções Principais da Avaliação

• Analisar como uma organização trabalha
• Avaliações representam a forma como as empresas
  realmente trabalham
• Análise de uma avaliação depende de critérios
  estabelecidos por um modelo de referência

Se você não sabe onde se encontra, um mapa não
vai lhe ajudar. Watts Humphrey
8
Funções Principais da Avaliação

• Motivar a organização em realizar mudanças
  positivas
• Avaliações estimulam culturas técnicas e
  organizacionais a evoluir
• Avaliações requerem participação ampla para
  distribuir e limitar exposições
• O foco das mudanças é nos processos e não nas
  pessoas

9
Funções Principais da Avaliação

• Transformar as organizações através de
  procedimentos estabelecidos
• Avaliações treinam e habituam organizações a
  fazerem auto-crítica de forma não-defensiva
• Avaliações mudam a perspectiva das pessoas sobre
  seu ambiente de trabalho local e global
• O envolvimento da alta gerência no processo de
  melhoria se perpetua após a avaliação

10
Funções Principais da Avaliação

• Educar a organização através da exposição de boas
  práticas da indústria
• Avaliações não apenas motivam empresas a
  melhorar, mas também as ensina como melhorar

11
Métodos de Avaliação

• CMM CBA IPI
• ISO 9000-3
• Bootstrap
• SPICE (ISO 15504)
• SCAMPI

12
CMM CBA IPI

• Inicialmente existiam dois tipos de avaliações do
  CMM
• SPA (Software Process Assesment)
• Utilizado por organizações para obter
  conhecimento sobre sua própria capacidade de
  desenvolvimento de software e para priorizar
  ações de melhoria de processo
• SCE (Software Capability Evalution)
• Utilizado em avaliações externas do processo de
  software de uma organização
• Método oficial de avaliação do CMM
• CBA IPI (CMM-Based Appraisals for Internal
  Process Improvement)

13
CMM CBA IPI

• Requisitos do CBA IPI
• Presença de um líder qualificado
• Constituição de uma equipe de avaliação
• Foco na organização como um todo
• Concentração em uma hierarquia de níveis de
  maturidade
• Importância de entrevistas pessoais
• Confidencialidade
• Corroboração de informações
• Identificação do nível de maturidade da
  organização avaliada (ratings)
• Recomendações
• Apresentação de resultados

14
ISO 9000

• Em 1987, a ISO consolidou os padrões de
  manufatura para incluir entre outros um padrão
  para desenvolvimento de software
• Esse conjunto é formado de 5 padrões
  relacionados, que combinados constituem um
  sistema de qualidade
• O padrão de software corresponde à ISO 9000-3
• A idéia principal da ISO 9000-3 é que os ciclos
  de vida de desenvolvimento de software devem ser
  documentados cuidadosamente como processos de
  manufatura

15
ISO 9000

• A certificação segundo a ISO 9000-3 não trata
  níveis de maturidade nem incentivos para melhoria
  de processos
• O foco é no controle de não-conformidades de
  produtos e recomendação de ações corretivas e
  preventivas
• A técnica de auditoria da ISO 9000-3 é chamada de
  TickIT
• Uma versão simplificada do SPA (Software Process
  Assessment) do SEI

16
Bootstrap

• Projeto ESPRIT concluído em 1993
• A equipe do projeto era formada por empresas e
  institutos de pesquisa da Áustria, Bélgica,
  Finlândia, Alemanha e Itália
• Aplicou o Modelo SEI à indústria européia de
  software
• Adotou e estendeu o questionário original do SEI
  com questões baseadas na ISO 9000 e no modelo de
  processo da European Space Agency

17
Bootstrap

• Aumentar a aplicação da tecnologia de Engenharia
  de software na indústria de software européia
• Desenvolveram uma metodologia para acesso ao
  processo tendo o modelo SEI como referência
  básica, com os seguintes objetivos
• Determinar e apresentar um perfil analítico da
  qualidade de unidades produtoras de software e
  seus projetos
• A partir da análise, traçar um plano de ação
  para melhoria a curto e longo prezo
• Transformar o plano de ação em uma série de mini
  projetos para implementação das melhorias
  recomendadas

18
Bootstrap

• Descreve como avaliar o processo
• Determina o nível de maturidade de uma
  organização
• Identifica seus pontos fortes e fracos
  (capacidade)
• Oferece diretrizes para melhoria (planos de ação)

19
Bootstrap

• A metodologia tem três passos
• Preparação apresentação da metodologia para a
  gerência e equipe técnica da organização
• Planejamento seleção, com os representantes da
  organização, das unidades produtoras de
  software e dos projetos a serem avaliados
• Avaliação no local

20
Bootstrap

• Questionário
• As questões estão divididas em três grupos
• Questões sobre a organização
• Questões sobre o processo e know-how em
  Engenharia de Software
• Questões sobre tecnologia e sua transferência
• As respostas são em cinco níveis Ausente, Fraco,
  Satisfatório, Extensivo, Não Aplicável

21
SPICE

• 1991 - Comitê de Engenharia de Software da ISO
  aprovou a realização de estudos para analisar as
  necessidades de um padrão para avaliação de
  processo de desenvolvimento de software
• estudo apontou um consenso internacional sobre
  necessidade de um padrão e a importância de se
  implementar melhorias no processo de
  desenvolvimento
• 1993 - foi criado o projeto SPICE (Software
  Process Improvement and Capability
  dEtermination), um acordo internacional de
  coordenação mundial Austrália, EUA, Inglaterra e
  Canadá

22
SPICE

• Objetivo produzir normas que orientem a
  avaliação de processo de software visando
  melhoria contínua do processo e determinação da
  capacitação
• baseou-se no que havia de melhor de modelos
  pré-existentes, principalmente no CMM
• SPICE provê uma estrutura para a avaliação de
  processos de software. Esta estrutura pode ser
  usada por organizações envolvidas em
  planejamento, gerenciamento, monitoramento,
  controle e melhoria da aquisição, fornecimento,
  desenvolvimento, operação, evolução e suporte de
  software.

23
SPICE

• Abordagem
• Entender o estado dos processos da organização
  para a melhoria do processo
• Determinar a adequação dos processos da
  organização a um requisito particular ou classe
  de requisitos
• Determinar a adequação dos processos de outra
  organização para um contrato particular ou classe
  de contratos

24
SPICE

• Em 1998, SPICE foi convertido em um modelo e
  partes de avaliação de processos da norma ISO/IEC
  15504

25
SCAMPI

• O SCAMPI (Standard CMMI Appraisal Method for
  Process Improvement ) foi desenvolvido para
  prover indicadores de qualidade relativos ao CMMI
  (Capability Maturity Model Integration)
• Aplicável a vários modos de avaliações de
  processos
• Melhoria interna de processos
• Determinação externa de nível de capacidade
• Atende aos requisitos de avaliações para o CMMI e
  apóiam a realização de avaliações ISO/IEC 15504

26
SCAMPI

• O objetivo do SCAMPI é
• Obter informação sobre a capacidade de engenharia
  de uma organização através da identificação de
  pontos fracos e fortes dos processos
• Relacionar os pontos fracos e fortes com o modelo
  CMMI
• Priorizar planos de melhoria
• Focar em melhorias mais urgentes da organização
• Derivar indicador do nível de capacidade e
  maturidade
• Identificar riscos de desenvolvimento / aquisição
  relativos a determinações de capacidade /
  maturidade

27
SCAMPI

• O SCAMPI, por ser um método de avaliação de
  benchmarking, depende de agregação de evidências
  coletada através de instrumentos, apresentações,
  documentos e entrevistas
• A equipe de avaliação observa, ouve, e lê
  informação que é transformada em
• Notas
• Declarações de falhas na implementação de
  práticas ou pontos fortes
• Achados preliminares

28
SCAMPI

• Os achados preliminares são avaliados pela
  unidade organizacional antes de se tornarem
  achados finais
• Essas transformações são aplicáveis a dados que
  refletem os processos executados na unidade
  organizacional e no CMMI, formando a base para
  ratings e outros resultados da avaliação
• Planejamento da avaliação é essencial

29
Metodologia do SCAMPI

• Consiste em três fases e 11 processos essenciais
• Fase 1 Planejar e Preparar para a Avaliação
• Fase 2 Conduzir a Avaliação
• Fase 3 Relatar Resultados

30
Processos do SCAMPI
1 Planejar e Preparar para a Avaliação 1.1 Analisar Requisitos
1 Planejar e Preparar para a Avaliação 1.2 Desenvolver Plano da Avaliação
1 Planejar e Preparar para a Avaliação 1.3 Selecionar e Preparar a Equipe
1 Planejar e Preparar para a Avaliação 1.4 Obter e Analisar Evidências Objetivas Iniciais
1 Planejar e Preparar para a Avaliação 1.5 Preparar para a Coleta de Evidências Objetivas
2 Conduzir a Avaliação 2.1 Examinar Evidências Objetivas
2 Conduzir a Avaliação 2.2 Verificar e Validar Evidências Objetivas
2 Conduzir a Avaliação 2.3 Documentar Evidências Objetivas
2 Conduzir a Avaliação 2.4 Gerar Resultados da Avaliação
3 Relatar Resultados 3.1 Entregar Resultados da Avaliação
3 Relatar Resultados 3.2 Empacotar e Arquivar Ativos da Avaliação
31
Fase 1 Planejar e Preparar para a Avaliação

• A fase 1 do SCAMPI envolve o seguinte
• Escolher a data da Avaliação
• Identificar um coordenador da unidade
  organizacional
• Planejar a avaliação
• Definir uma equipe de avaliação
• Definir os produtos finais da avaliação
• Selecionar os projetos a serem avaliados
• Selecionar as pessoas a serem entrevistadas
• Distribuir questionários
• Treinar a equipe da avaliação

32
Fase 1 Planejar e Preparar para a Avaliação

• Antes de iniciar a avaliação, membros da
  organização avaliada devem preparar as evidências
  objetivas para agilizar o processo
• Isto difere do CBA IPI, onde a equipe avaliadora
  deveria procurar todas as evidências desde o
  início
• Evidências objetivas são informações qualitativas
  ou quantitativas, registros ou afirmações sobre
  um fato pertencentes a uma característica de um
  item ou serviço ou a existência e implementação
  de um elemento de processo

33
Fase 1 Planejar e Preparar para a Avaliação

• Durante a avaliação onsite a equipe avaliadora
  verifica e valida as evidências diretas
  fornecidas pela organização avaliada para
  identificar os pontos fortes e fracos relativos
  ao modelo de referência CMMI
• O processamento da informação é agilizado devido
  ao fornecimento das evidência previamente
• Ganha-se tempo e esforço ao não se executar o
  processo de descoberta

34
Fase 1 Planejar e Preparar para a Avaliação

• Análise das evidências objetivas preliminares é
  crucial
• Se dados substanciais não estão presentes, então
  os passos seguintes da avaliação podem ser
  postergados ou mesmo cancelados

35
Fase 1 Planejar e Preparar para a Avaliação

• A coleta prévia de evidências provê os seguintes
  benefícios
• Melhoria na acurácia dos resultados das
  avaliações
• Entendimento detalhado sobre a forma de
  implementação das práticas do modelo de
  referência
• Facilidade em monitorar a conformidade com o
  processo e o progresso da melhoria de processo
• Resíduos de avaliações podem ser reutilizadas em
  avaliações subseqüentes, minimizando o esforço de
  preparação

36
Fase 2 Conduzir a Avaliação

• A fase 2 do SCAMPI envolve o seguinte
• Realizar a reunião de Kick-Off e outras
  apresentações
• Coletar e gerenciar os dados a partir de
• Questionários
• Documentos
• Entrevistas
• Apresentações
• Consolidar os dados

37
Fase 2 Conduzir a Avaliação

• A idéia fundamental por trás dos Indicadores de
  Implementação de Práticas (PIIs Practice
  Implementation Indicators) é que a condução de
  uma atividade ou implementação de uma prática
  resulta em uma impressão digital evidência
  que provê a base para a verificação das práticas
  ou atividades

38
Fase 2 Conduzir a Avaliação

• O conceito principal da fase 2 é a cobertura o
  que implica
• Coletar dados suficientes para cada componente do
  modelo dentro do escopo selecionado pelo
  patrocinador da avaliação
• Obter uma amostra representativa dos processos em
  andamento

39
Fase 2 Conduzir a Avaliação

• Os ratings são gerados após a confirmação de que
  foi obtida suficiente cobertura do modelo de
  referência e da unidade organizacional
• Os goal ratings são determinados para cada área
  de processo, os quais são usados coletivamente
  para determinar o rating para as áreas de
  processo individuais, assim como o rating da
  maturidade do processo para a unidade
  organizacional como um todo

40
Fase 3 Relatar Resultados

• A fase 3 do SCAMPI envolve o seguinte
• Consolidar achados preliminares
• Realizar reuniões para relatar os achados
  preliminares
• Consolidar os achados finais e estabelecer os
  ratings
• Apresentar informalmente os achados finais ao
  patrocinador da avaliação
• Realizar apresentação dos achados finais
• Realizar reunião executiva para discutir os
  achados finais
• Fechamento da equipe da avaliação

41
Tempo e Esforço de uma Avaliação SCAMPI

• São necessários 2 a 3 meses para realizar as
  atividades de planejamento da avaliação e para
  treinar a equipe de avaliação
• Atividades de planejamento geralmente iniciam
  entre 6 e 8 semanas antes da avaliação onsite
• O treinamento dos membros da equipe da avaliação
  requer 5 a 6 dias
• 2,5 a 3 dias no treinamento do modelo de
  referência
• 2,5 a 3 dias no treinamento da equipe de avaliação

42
Tempo e Esforço de uma Avaliação SCAMPI

• O treinamento da equipe pode ser combinada com
  outras atividades do planejamento (análise da
  resposta dos questionários, revisão de documentos
  e desenvolvimento de scripts de entrevistas)
• Estas atividades devem ser concluídas entre 2 a 3
  semanas antes do período onsite
• A avaliação onsite leva em torno de 10 dias

43
Tempo e Esforço de uma Avaliação SCAMPI

• Mês 1 e 2 Treinamento da equipe da avaliação e
  planejamento
• Mês 3 Avaliação onsite
• Mês 4 Revisão do plano de ação
• Meses 5-24 Implementação do plano de ação
• Mês 12 Avaliação interna
• Meses 18-30 SCAMPI de acompanhamento

44
Avaliação de Processos
Mariano Montoni

• COPPE/UFRJ
• Programa de Engenharia de Sistemas e Computação