Ferramentas para Avalia

1
Ferramentas para Avaliação de Software

• Palestrante Karin Cristina Siqueira Ramos
• Local GEIAAM
• Data 20.09.2001

2
Estágios do Desenvolvimento e Avaliação de
Software
3
Que ferramenta usar para avaliar?

• Questionários
• Entrevistas
• Testes
• Observações
• ...
• Uma combinação destes.

4
Ferramentas de Avaliação(http//mime1.marc.gate
ch.edu/MM_Tools/evaluation.html)
5
Anedoctal Record (Relatório de Ocorrência)

• Captura histórias importantes e incidentes
  ocorridos
• Gravar a descrição verbal do incidente
  (testemunhado ou ouvido)
• Separar a descrição da interpretação do incidente

6
Anedoctal Record (Relatório de Ocorrência)

• Exemplo
• Data ____
• Local ____
• Nome Observador ______
• Descrição do Incidente ...
• Interpretação ....

7
Checklist para Revisão do Especialista

• Usar na formativa (como o software multimídia
  pode ser melhorado?) e também na somativa (qual
  efetividade e utilidade do software?)
• Preferencialmente para ser usado por designer
  instrucionais
• Diferenciar o checklist para o especialista no
  conteúdo do checklist para o especialista em
  interface

8
Checklist para Revisão do Especialista

• Exemplo
• Nome do revisor ____ Data ____
• a) Revisão do Design Instrucional
• (clareza dos objetivos e do feedback, velocidade
  e dificuldade apropriadas)
• b) Revisão do Design Estético
• (bom desenho da tela, cores apropriadas, displays
  fáceis de entender)
• c) Revisão da Funcionalidade Geral
• (operação sem falhas)

9
Relatório de Revisão Formativa

• Qualquer pessoa pode fazer essa revisão do
  software em seus estágios iniciais (inclusive
  futuro usuário)
• Tabela identificação da tela
• observações (erros, questionamentos, dúvidas)
• ações a serem tomadas por projetistas

10
Relatório de Revisão Formativa

• Exemplo
• Nome _____ Quando _____
• Tela Comentários Ação Tomada

Menu Principal
A palavra portfolio é soletrada errado
Soletrar corretamente
11
Protocolo de Entrevistas

• Para coletar dados sobre as reações dos
  aprendizes e instrutores
• Servem para identificar as questões mais
  importantes relativas ao software
• Selecionar uma amostra para aplicar
• As perguntas geralmente são dissertativas

12
Protocolo de Entrevistas

• Exemplo de Questões
• Qual sua especialidade?
• Descreva sua 1a. reação com o IMM.
• Descreva sua opinião atual sobre o IMM.
• Quais problemas você experimentou?
• Que melhorias você sugere?
• Você necessitou de treinamento extra para usar?

13
Questionário

• Tipo de instrumento mais freqüentemente usado
  para avaliação
• Podem ser apresentados de várias formas (questões
  abertas, múltipla escolha, checklists)
• Cuidar para que o questionário não tome muito
  tempo da pessoa
• Dele podemos tirar muitas informações, não
  somente se usuário gostou do software.

14
Questionário

• Exemplo
• Nome curso ___
• Local ____
• Nome (opcional) ____
• Data ____

• Conteúdo
• Design
• Instrutor
• Ambiente
• Resultados
• Alcance Individualizado
• (20 tipo N/A 1 2 3 4 5)

15
Questionário

• Como você melhoraria o curso?
• (múltipla escolha)
• Que outras melhorias recomendaria a esse curso?
• O que foi menos válido nesse curso?
• O que foi mais válido nesse curso?

16
Formulário de Julgamento de Qualidade da
Interface (Rating)

• Interface com o Usuário (UI) é um elemento
  crítico que deve ser cuidadosamente avaliado
• Formulário com 10 critérios para julgar a UI
• Nem todos os critérios são relevantes em todo
  tipo de software
• Não se deve fazer esta avaliação com usuários
  novatos em software interativos

17
Formulário de Julgamento de Qualidade da
Interface (Rating)(Desenvolvida por Reeves e
adotada por Campos)

• Facilidade de uso Difícil Fácil
• Navegação Difícil Fácil
• Carga Cognitiva Confusa Intuitiva
• Mapeamento Nenhum Poderoso
• Desenho Tela Viola Segue Princípios
• Compatibilidade Espaço Conhecimento
  Incompatível Compatível

18
Formulário de Julgamento de Qualidade da
Interface (Rating)(Desenvolvida por Reeves e
adotada por Campos)

• Apresentação Informação Obtusa Clara
• Integração Mídias Descoordenada
  Coordenada
• Estética Desagradável Agradável
• Funcionalidade Geral
• Disfuncional Altamente Funcional

19
Conclusão

• Existem várias ferramentas que podem ser usadas
  para avaliar um software, cada uma com diferentes
  abordagens e facilidades.
• Deve-se então escolher aquela(s) mais
  apropriada(s) e possível de ser(em) usada(s).

20
Conclusão

• Por exemplo
• Um questionário pode ser usado para coletar
  informações sobre as reações globais com um
  software. Depois, podem ser usadas entrevistas
  para coletar informações mais detalhadas.