Você ainda confia em Benchmarks artificiais?

Não sei quanto a vocês, mas há muito eu parei de considerar benchmarks artificiais como um dado seguro no momento de escolher investir em algum equipamento. O motivo é simples e já ocorreu há bastante tempo os fabricantes de placas de vídeo acharam que era uma boa idéia realizar "ajustes finos" nos drivers das placas de vídeo, ativando ou desativando recursos do equipamento para "otimizar" a performance dos testes.
Eles detectavam qual o executável estava realizando os testes e mudava a configuração da placa de acordo.

Isso foi muito ruim para os programas em si, mas ainda hoje eles servem como um guia de performance, mas sempre há desconfiança de que eles podem estar trapaceando os testes. Quando vou ler os resultados de testes, pulo direto para o primeiro jogo. As otimizações feitas para engines gráficos são muito mais honestas, pois um driver otimizado para Crytech ou Unreal está automaticamente otimizado para vários títulos derivados deles.

Os testes de maior confiabilidade são os que o usuário pode realizar no seu dia a dia:
Converter uma música de wav para mp3 ou um vídeo de DV para DivX, compilar o kernel do Linux e timedemo de games de vários fabricantes diferentes. Aliás, games são sempre os que mais demandam em termos de hardware. Quando um PC é capaz de rodar sem problemas um jogo moderno, os aplicativos voam nele também. Por isso muita gente que trabalha com Desenho Industrial e Computação Gráfica acaba apelando para um "Gamer PC" ao invés dessas máquinas corporativas, que possuem um processador razoável e o restante é bastante fraco, como placas de vídeo integradas na placa principal.