3.1 O Sigarra e a Usabilidade

Durante a aula do dia 2 de Outubro de 2012, o professor propôs que a turma fizesse um teste de usabilidade ao Sigarra da Faculdade de Letras da Universidade do Porto (http://sigarra.up.pt/flup). Sendo assim, devíamos escolher três alunos da turma que seriam os utilizadores testados e, se quiséssemos, poderíamos testar, a posteriori, mais dois utilizadores.

Deste modo, será descrita a  avaliação de usabilidade feita por meio empírico. Os testes de natureza empírica consistem nos testes com utilizadores, fundamentados na experimentação e participação dos mesmos. Este método tem diversas vantagens embora não seja recomendado em casos de confidencialidade do protótipo ou quando é difícil encontrar pessoas com perfil apropriado às tarefas que serão pedidas (questão que não se colocava na análise da usabilidade do Sigarra da FLUP). Alguns destes processos têm as suas raízes em áreas como a Psicologia e o Marketing, sendo que outros foram concebidos tendo em vista a avaliação da usabilidade.

Os testes de usabilidade feitos através de métodos experimentais e empíricos podem ser feitos de diversas formas:

a) Private Camera Conversations: os participantes falam para uma câmara de vídeo num local isolado, descrevendo a forma como utilizam um determinado produto; enquanto isso, o analista vai tomando notas;

b) Co-Discovery: dois utilizadores exploram um produto, interagindo e dialogando, enquanto o investigador tira notas. Por norma, as duas pessoas são amigas ou conhecidas, com vista a estimular o diálogo;

c) Focus Groups: envolve várias pessoas e é liderado pelo analista que lança, para debate, temas pré-definidos. O objetivo é que as pessoas, gradualmente, direcionem o assunto da discussão;

d) User Workshops: envolve um grupo de participantes que discutem assuntos relacionados com o design e a utilização de um produto. Por hábito, os participantes são convidados a conceber um novo produto em conjunto com os designers, tendo em conta a usabilidade e a funcionalidade;

e)  Think Aloud Protocols: aliciam o participante a falar sobre o que faz e o que pensa quando utiliza uma dada interface;

f) Incident Diaries: os utilizadores indicam, num mini questionário, os problemas que vão encontrando no manuseamento do produto. Os participantes são convidados a descrever o problema e a sugerir alterações para a sua resolução;

g) Feature Checklists: os participantes apontam, numa checklist, somente as funcionalidades que utilizam. Assim, no ciclo de desenvolvimento do produto, tem-se conhecimento das funcionalidades que, eventualmente, podem retiradas ou alteradas;

h) Logging Use: é utilizado um software capaz de detetar e gravar os movimentos do utilizador, assim como os comandos e as funções mais utilizadas;

i) Field Observation: observa-se o utilizador a interagir com o sistema no seu ambiente natural. Por vezes não há quaisquer tarefas determinadas, deixando o utilizador interagir com o sistema em total liberdade, enquanto o analista tira notas;

j) Questionnaires: convida o utilizador a responder a uma lista de questões sobre o grau de satisfação na utilização de um produto. É normalmente utilizado na fase inicial de um projeto no sentido de averiguar as necessidades dos potenciais utilizadores;

k) Interviews: o investigador elabora uma série de perguntas que serão diretamente colocadas aos participantes;

l) Valuation method: usado para avaliar a importância que os utilizadores dão a determinadas particularidades de um produto.

O método adotado para a elaboração dos testes de usabilidade (de forma empírica e experimental, como já foi previamente referido) foi o Field Observation; portanto, os utilizadores encontravam-se no seu contexto natural, tendo plena de que estavam a ser observados e que os seus passos e procedimentos estavam a ser registados, avaliados e testados. Neste caso concreto, os participantes tinham idades compreendidas entre os 19 e os 23 anos que estavam familiarizadas com o sistema mas que se deparavam com dificuldades no mesmo, no seu dia-a-dia.

Deste modo, foram colocadas três tarefas aos cinco utilizadores selecionados (três eram estudantes de Ciências da Comunicação e os outros dois eram estudantes da Universidade do Porto, sendo que foram inquiridos num momento posterior). As tarefas pedidas foram as seguintes:

1. Encontrar o número de telefone do Pólo de Ciências da Comunicação;

2. Encontrar o plano de estudos da licenciatura em Arqueologia;

3. Simular o envio de um e-mail dinâmico para todos os estudantes da Faculdade de Letras da Universidade do Porto

Esta última não foi escolhida por mim de forma inocente dado que já me tinha deparado com vários problemas a fazê-la, no meu quotidiano, precisando mesmo de recorrer a ajuda de alguns colegas.

A métrica usada nesta avaliação foi:

1 – Número de cliques que cada utilizador deu até atingir o objetivo final;

2 – Tempo médio que o utilizador demora a atingir o objetivo;

3 – Quantidade de vezes que o utilizador erra (por cada 5 cliques desviados do

objetivo final que o utilizador der é considerado um erro e o utilizador é colocado

no passo que tentava encontrar, sendo-lhe pedido que continue a pesquisa a partir

desse ponto).

No que diz respeito às técnicas de monitorização (observação e registo) utilizadas, as ações dos participantes foram anotadas a lápis num papel que continha várias tabelas auxiliares de registo; posteriormente, essas tabelas foram passadas para o computador e encontram-se abaixo representadas.

Objetivo 1: Encontrar o número de telefone do Pólo de Ciências da Comunicação

Tabela correspondente ao objetivo 1

Tabela correspondente ao objetivo 1

Nesta tarefa a maioria dos utilizadores encontrou algumas dificuldades, sendo que dois utilizadores cometeram dois erros e um deles clicou, erradamente, três vezes. O utilizador que cumpriu a tarefa demorou significativamente até atingir o objetivo final.

Objetivo 2: Encontrar o plano de estudos da licenciatura em Arqueologia

Tabela correspondente ao objetivo 2

Tabela correspondente ao objetivo 2

Apesar de um utilizador ter errado uma vez, penso que, no geral, esta tarefa foi cumprida com êxito por todos os participantes.

Objetivo 3: Simular o envio de um e-mail dinâmico para todos os estudantes da Faculdade de Letras da Universidade do Porto

Tabela correspondente ao terceiro objetivo

Tabela correspondente ao terceiro objetivo

Esta tarefa não foi levada a cabo por nenhum utilizador, tendo estes cometido vários erros. No geral, foi adotada uma postura de desistência e foram ditas frases como “não faço a mínima ideia”. Os participantes ficaram curiosos pois, no final do teste, perguntaram como deviam ter procedido.

Após a elaboração dos testes com utilizadores importa então traçar algumas conclusões e sugerir algumas melhorias ao sistema. Penso que os participantes demoraram um pouco ou não conseguiram encontrar facilmente o número de telefone do Pólo de Ciências da Comunicação por este estar inserido, no menu, no item correspondente aos “Departamentos”. Como as pessoas associam Ciências da Comunicação a um pólo e não a um departamento, a pesquisa revela-se difícil. É, por isso, comum encontrar estudantes no quotidiano que perguntam, via facebook, como é possível encontrar o número supra referido no Sigarra.

No que diz respeito ao e-mail dinâmico, a questão é ainda mais grave; não faz sentido algum que, para que seja possível enviar um e-mail para todos os estudantes da Faculdade, se tenha que ir à pesquisa de alunos. Poucas coisas devem ser menos intuitivas do que isto. Depois, não se devem inserir dados na pesquisa e simplesmente clicar em “pesquisar”, o que faz ainda menos sentido. Além disso, existe uma imagem na página inicial, no canto superior direito, que diz “EMAIL FLUP” e que leva os estudantes a pensar que talvez seja aí que devam clicar; mas não, apenas têm acesso a um link com informações totalmente desnecessárias.

Após a conclusão dos testes com utilizadores, importa fazer uma análise heurística (Nielsen and Molich, 1990; Nielsen, 1994). Esta consiste num método de avaliação da usabilidade que permite ao analista encontrar problemas neste âmbito; para a fazer, basta averiguar se a interface cumpre os 10 princípios preconizados ou não.

1. Visibilidade do estado do sistema: penso que esta heurística é cumprida pois o Sigarra dá informações claras, imediatas e constantes sobre o estado do sistema;

2. Correspondência entre o sistema e o mundo real: os conceitos, os termos, os procedimentos e as tarefas nem sempre vão ao encontro da realidade do utilizador; um exemplo simples e prático disso é o facto de incluírem Ciências da Comunicação em conjunto com outros departamentos, no sistema, causando alguma confusão a quem quer saber o número de telefone do local. Na realidade, Ciências da Comunicação é visto como um pólo, não como um departamento, algo praticamente (e ilusoriamente) autónomo;

3. Controlo e liberdade do utilizador: em caso de erro, o sistema permite que o utilizador use os comandos de retrocesso ou de avanço,    dando-lhe liberdade e total controlo;

4. Consistência e standards: como já se viu anteriormente nos testes com utilizadores, o sistema não é consistente, tanto a nível de vocabulário e de terminologias como nas ligações do mesmo. Um bom exemplo disso pode ser o caso que se viu previamente em que existe uma imagem que diz “EMAIL FLUP” no lado superior direito da homepage e que não direciona para e-mail nenhum; apenas fornece informações desnecessárias aos estudantes;

5. Prevenção de erros: o sistema não previne erros de forma eficaz, pois leva o utilizador a clicar em locais errados, que não convergem com as tarefas que este tem em mente;

6. Ajuda no reconhecimento, no diagnóstico e na solução de erros: o sistema não envia mensagens claras que indiquem ao utilizador formas de resolver o erro e/ou de encontrar a solução pretendida, deixando-o perdido. Muitas vezes as soluções de problemas deste âmbito envolvem telefonemas, e-mails e, em muitas das vezes, o deslocamento do estudante ao Gabinete de Informática da FLUP;

7. Reconhecer é melhor do que relembrar: infelizmente, a interface exige ao utilizador que memorize o caminho para completar determinadas tarefas. Um exemplo disso é o envio de um webmail para todos os estudantes da Faculdade, como já foi referido anteriormente;

8. Flexibilidade e eficiência no uso: normalmente, existe apenas uma forma de conseguir concluir uma tarefa e não várias, o que faz com que a plataforma não cumpra esta heurística;

9. Design estético e minimalista: o design da plataforma tem a quantidade de informação necessária; apesar de não ser nada de especial, é agradável aos olhos do utilizador;

10. Ajuda e documentação: o sistema não oferece ajuda ao utilizador em todas as suas ações e atividades; não tem um sistema de ajuda online como se vê em muitas plataformas atualmente, o que, uma vez mais, dificulta a resolução de erros e leva a perdas de tempos excessivas.

Deste modo, é possível concluir que o sistema apenas cumpre, a meu ver, duas heurísticas das 10 propostas por Jakob Nielsen, o que é claramente mau. A urgência de uma remodelação do Sigarra é um lugar comum para todos os estudantes que, no seu quotidiano, se deparam com inúmeros problemas na execução de tarefas básicas, o que leva a uma excessiva e desnecessária perda de tempo com algo onde deveria imperar conceitos/valores como a acessibilidade, a intuitividade e a usabilidade.

Bibliografia:
ERGONOMIA DAS APLICAÇÕES MULTIMÉDIA, (página consultada a 18 de Janeiro de 2013). “Usabilidade WEB – Avaliação Heurística & Testes com Utilizadores” [em linha]. Disponível em: URL: http://moodle.up.pt/pluginfile.php/34744/mod_resource/content/1/Avaliacao-Usabilidade.pdf

LAVERY, Darryn et al., Heuristic Evaluation, Usability Evaluation Materials, University of Glasgow, 1996. Disponível em: URL: http://moodle.up.pt/mod/resource/view.php?id=10537

Anúncios

About luisasilvagomes

"Nothingness, non-existence, black emptiness."

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão / Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão / Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão / Alterar )

Google+ photo

Está a comentar usando a sua conta Google+ Terminar Sessão / Alterar )

Connecting to %s

%d bloggers like this: