9. Usability and Learning in a Speech-Enabled Reading Tutor: A Field Study

Com o artigo "Usability and Learning in a Speech-Enabled Reading Tutor: A Field Study", as autoras Paula M. Bach e Jennifer Lai dão a conhecer o seu estudo que permitiu avaliar a usabilidade e os resultados da aprendizagem através de um tutor (agente activo) interactivo de leitura com reconhecimento de voz. Este agente inteligente denomina-se "Reading Companion".
Foram avaliadas duas versões do software: uma versão antiga no ambiente de trabalho e outra mais recente através da Internet (que esteve disponível em versão beta uns meses antes da avaliação). Os estudantes que realizaram os testes faziam parte de um programa de bem-estar laboral designado "Job Readiness" e frequentam o 1º grau de "English as a Second Language" (ESL).

Reading Companion

Resumidamente, o Reading Companion consiste num componente de reconhecimento de voz, um modelo para estudantes e um cliente Flash que disponibiliza os e-Books na Internet e que controla uma personagem/educador que interage com os leitores.
Os utilizadores usam este software para praticar a leitura e recebem feedback dessa mesma personagem que os guia ao longo do livro.
As respostas do tutor são registos de voz humana pré-gravados. "You sound great!" é a expressão chave, caso a leitura de determinada palavra esteja correcta, senão, a personagem pede para o utilizador repetir.
O sistema inclui vários tipos de acentuação de Inglês.

O grande objectivo da avaliação foi testar se a aprendizagem ou a usabilidade sofreram consequências, quer sejam positivas ou negativas, com a passagem da versão antiga para a recente e comparar a inovadora forma de ensino com a tradicional da sala de aula.

Methodology and Results

Foi adoptada uma lista de directrizes de usabilidade para avaliar o desempenho do programa, tendo em conta o número de erros e o tempo de realização das tarefas. Os testes prestavam especial atenção à interacção com o agente, à evidência dos ícones (funções) e à navegação. Utilizaram um questionário com pontuação baseada na escala de Likert que incluía, também, três perguntas abertas sobre o que os utilizadores mais tinham gostado, o que menos tinham gostado ou o que mudariam no sistema.

O Reading Companion é usado nas aulas para ler e-books. Enquanto alguns e-books são estruturados para acrescentar vocabulário, outros são elaborados de forma a apoiar os estudantes no que toca à aprendizagem de assuntos específicos, tais como procura de emprego ou responder a uma entrevista. Foi utilizado um e-book sobre procura de emprego porque os alunos estão motivados em relação ao conteúdo.

O teste foi realizado por 20 participantes: 18 mulheres e 2 homens, todos de raça latina; cujas idades variavam entre os 22 e os 51, com uma média de 33 anos.

• Results - Performance - Em 88% das tarefas, os utilizadores consideraram o sistema através da Internet melhor em termos de confiança, divertimento, facilidade de uso e inferior confusão;
• Results - Learning - Quanto à mudança do sistema antigo para o recente, não houve alterações significativas;
• Comparando a leitura através do Reading Companion com a tradicional forma de ensino (professor-aluno), os resultados mais altos de aprendizagem se deviam à interacção com o agente inteligente;
• O novo sistema funciona melhor que o antigo em termos de usabilidade e aprendizagem.

Discussion

No estudo de campo surgiram diversos desafios.

• Em 88% das tarefas, os utilizadores não consideraram problemáticos os erros e os tempos de espera mais longos. Várias explicações podem justificar esta situação:
• Os investigadores subestimaram os objectivos definidos nas directrizes de usabilidade;
• Os utilizadores não se importavam de cometer erros, uma vez que a experiência de interagir com o agente é suficientemente divertida para contrabalançar o tempo despendido na realização da tarefa.
  
• Ao clicar num ícone, o software acciona um modo em que qualquer palavra em que o utilizador clique será lida para ele mesmo. Houve dificuldades em entrar e sair deste modo, pois os utilizadores consideravam tão divertida esta função, que não referiam esta dificuldade como problemática;
• A língua constituiu uma barreira - alguns alunos não conseguiram compreender as instruções para a realização da tarefa, o questionário e as perguntas;
• Os utilizadores não estavam familiarizados com a escala de Likert;
• Alguns utilizadores tiveram receio de criticar demasiado por pertencerem a um programa de bem-estar laboral e poderem vir a perder os seus benefícios na escola.
  

Conclusions

• Articular os desafios da avaliação da aprendizagem e da usabilidade no campo é o primeiro passo para redefinir metodologias para que os resultados possam ser úteis;
• A leitura com o Reading Companion é mais positiva em relação à tradicional da sala de aula, embora os desafios encontrados exijam uma melhor interpretação dos resultados.