Home » Mobile » Saiba identificar uma propaganda tentando se passar por teste de usabilidade

Saiba identificar uma propaganda tentando se passar por teste de usabilidade

Empresa realiza testes de usabilidade massacrando o robô do Google, mas descobre-se fácil qual foi a motivação para tal relatório.

6 anos atrás

dont-believe-the-truth-4e7570335abe0

Muitas pessoas me enviaram hoje um link de um suposto teste de usabilidade que, textualmente, dizia que o iOS 7 >> espancava << o Android da Samsung em termos de experiência de uso. Dado vários fatores conhecidos, achei estranho e resolvi investigar a credibilidade da avaliação. E a coisa ficou feia.

Bom, primeiramente preciso contextualizar os que não me conhecem: eu sou formado em Ciências da Computação pela FEI, nome de ponta da Engenharia no Brasil, possuo diversos artigos publicados, e destaco aqui um que fala justamente de usabilidade, que você pode acessar neste link. Nele você pode estudar sobre como conhecer e escolher melhores heurísticas, quais são testes bacanas pra cada plataforma, como documentar os erros descobertos e como propor possíveis soluções. Além disso, sou um usuário diário de Android e do iOS, sendo um dos poucos dos meus amigos que de fato gostaram do iOS 7. Gostei ué, me agradou, achei que evoluiu a plataforma, tenho meus motivos, não me crucifiquem.

Ainda assim, tanto em meus testes (lembre-se, eu uso as duas plataformas e gosto das duas), quanto em testes de pessoas que eu confio (Como a nossa colega Stella Dauer em seu excelente "Eu Testei"), quanto em outras avaliações que não são pautadas em parcialidade, fanatismo ou qualquer outra coisa que o valha, notamos que o iOS possui leves falhas de design, consistência de ícones (Jonathan Ive que o diga), liberdade e controle do usuário, flexibilidade, ajude aos usuários para reconhecer, diagnosticar e sanar erros, integração com aplicativos e, de forma geral, tarefas simples como compartilhar conteúdo e personalizações que otimizam o uso, demoram um pouco mais pra serem feitas nesta plataforma. Principalmente para usuários que não estão imersos no ecossistema da Apple (para estes, existem mil outras vantagens bacanas que acabam valendo a pena na soma geral).

Destes problemas, nenhum é um verdadeiro absurdo, nem vai atrapalhar a vida da pessoa. Para alguns usuários mais antigos, algumas coisas sequer são problemas pois eles já estão habituados com os passos necessários. Mas são anti-padrões conhecidos e foi por conhecer este background que eu liguei o costumeiro desconfiômetro ao ler uma notícia destas, mesmo em se tratando do iOS 7. Já falei que gostei dele? 🙂

Vamos então verificar a imparcialidade da avaliação feita pela Pfeiffer Consulting. Ela começa com o título "Como se sai o iOS 7". Um teste de usabilidade cuja ênfase é um dos aparelhos? Mas tudo bem, é o sistema atual da Apple, continuemos.

02_apresentacao

O documento deixa claro quais são as versões do iOS, do Windows Phone, do Blackberry mas não fala modelo nem versão do Android da Samsung testado. Isso pode render resultados muito diferentes. Por que será que isso foi omitido? Por que é que não utilizaram um Android puro, como do Nexus que é do Google e que, além de representar melhor o sistema operacional, possui um ótimo market share também?

Vamos ao teste cognitivo. Logo de cara, notamos que a página do teste dá um destaque gigantesco ao iOS 7. Neste destaque, o texto exalta todas as qualidades que fazem deste sistema algo novo, melhorado, bonito. Estranho. Por outro lado, o espaço dado aos concorrentes é bem menor. E o texto que descreve o conceito cognitivo do Android da Samsung, por exemplo, faz menções à grande quantidade de apps e widgets que o sistema tem, incitando que isso é um problema que pode atrapalhar o uso do aparelho por confundir o usuário. Sim, normalmente mais é menos, só que estes apps e widgets não estão ativos ao mesmo tempo. O usuário tem a opção de ativar ou desativar aquele que ele quiser. E mesmo na configuração de fábrica, o que aparece na tela é pouco e bem simples. Pessoalmente eu não gosto nada dos bloatwares da Samsung, mas toda vez que precisei usar um aparelho do fabricante, percebi que os "acessórios" indesejados poderiam ser removidos em um clique, limpando a interface. Logo, não existem "104 apps e widgets" como elementos da interface. Veja:

03_cognitive

Bizarríssimo. Mas vamos continuar a ver o teste...

Eficiência e Integração: Novamente, notamos um destaque muito maior ao iOS 7. Aí tem coisa! O relatório não deixa claro como eles optaram ou validaram as heurísticas, quais motivos feriram suas regras, mas deixam de lado algo que é muito utilizado nos smartphones atuais que é o compartilhamento de conteúdo. No iOS, depende do app ficar monitorando o que está acontecendo para que ele se "ofereça" como um meio para que a ação seja realizada. Nem todos os programas, mesmo os mais usados no mercado, estão prontos para isso. Já no Android, a integração é mais eficiente, pois é o OS quem controla isso e faz a chamada de uma coleção enorme de aplicativos à disposição do usuário. Mais eficiente, maior integração.

Além disso, eles alegam que o Android da Samsung não tem acesso à câmera diretamente pelo lock screen. Só que ele tem, e desde o Galaxy S3!

2012-07-12_09.42.20

04_cognitive

Então, que versão eles utilizaram para os testes? Algo ainda mais antigo que o S3? Qual o sentido de fazer uma comparação entre sistemas assim? Quanto ao resultado, deram empate. Ok... Estranho, mas vamos lá...

UFX ou "O que pode atrapalhar a experiência do usuário": aqui é que eu parei tudo. Além do já notado destaque para o sistema da Apple, nas críticas aos sistemas Windows Phone e Android da Samsung, o "relatório" (à esta altura, entre aspas propositalmente) afirma que os sistemas possuem aspectos que CONTINUAM irritando mesmo os usuários mais avançados, alegando pra isso as faltas de maneiras intuitivas e consistentes de deletar aplicativos, chegando a dizer que algumas das interfaces são opressivas (??) e possuem ícones que mais se parecem banners publicitários, interferindo negativamente na experiência de uso. Quão tangível é isso? Qual o critério pra fazer uma avaliação destas, mesmo em comparação com os tão criticados ícones do iOS 7? De onde veio a informação de que usuários avançados se irritam com o sistema? Quanto tempo leva para deletar um programa no Android? Para quem conhece o sistema (mesmo com a interface da Samsung), é sabido que isso pode ser feito em poucos cliques, de forma intuitiva. No Windows Phone também é bem prático. No Blackberry nem tanto. Mas veja, para os sistemas da Apple, mesmo com alguns problemas minimizados pelo documento, a pontuação é a melhor possível. No final, o score da Apple foi agressivamente melhor que dos concorrentes, de uma forma surreal, nada clara, questionável e explicitamente parcial.

Se você já trabalhou com testes de usabilidade, ou avaliação de produtos de tecnologia, você percebe imediatamente que tem alguma coisa muito errada. Por que é que o documento daria tanta ênfase a algo que não faz sentido, tanto destaque para um dos produtos, tanta defesa de um e ataque ao outro (invariavelmente em uma só ordem)? Como ele chegaria a conclusões estranhas pautadas em critérios duvidosos colocando sua credibilidade em risco?

Por que é que uma empresa que diz ter renome em testes assim pode fazer um relatório como este?

Então:

06_clients

Acontece que a Pfeiffer Consulting tem como um de seus clientes a Apple. Ok, agora tudo faz sentido.

Se tem uma coisa que aprendi nestes anos todos de indústria vital é que devemos desconfiar de tudo o que lemos. Tudo. Quando possível, testarmos nós mesmos. Tirarmos a limpo, ir a fundo, conhecer, estudar e buscarmos a verdade mesmo que a gente não goste dela.

Algumas pessoas preferem acreditar só no que lhes agradam. Para todas as outras, procurem as fontes, as motivações, os critérios. Assim fica mais fácil identificar quando é que uma notícia é falsa ou não é. Quando se trata de um hoax ou não. E quando um "teste de usabilidade" não passa de publicidade. Não acredite na ~verdade~ só porque você concorda com ela.

Pra finalizar, queria reiterar que a escolha do aparelho e do sistema é pessoal. Você é quem deve decidir qual melhor funciona pra você. Um Android pode te atender melhor, um Windows Phone, um iPhone, o que você quiser. Teste todos, sem preconceito de tecnologia e descubra qual melhor te serve. Mas lembre-se, é ele quem deve se dedicar e atender perfeitamente a você, não o inverso.

Fonte: The Register.

relacionados


Comentários