The Giant Browser’s Benchmark – Abril 2012

Por Jorge Sousa para o PPLWARE.COM

Sensivelmente um ano após o Benchmark aos 5 Browsers mais populares, eis que a fasquia sobre para um patamar superior, muito superior.

Este é provavelmente o maior Benchmark de sempre a Browsers. Nada mais nada menos que 25 testes feitos a 25 Browsers!… A maior curiosidade é saber como se portaram os chamados “major browsers” contra as suas réplicas mais ou menos personalizadas. Horas e horas de testes para chegar ao resultado que muitos esperam e outros temem. Qual o melhor Browser para navegar na Internet?

Para caracterizar devidamente todo o trabalho feito, a organização do artigo foi separada em vários pontos.

 
1 – Máquina utilizada

Um Benchmark desta envergadura precisou de um computador a tempo inteiro durante vários dias, pois alguns testes são muito demorados, 20 a 30 minutos, repetidos no mínimo 3 vezes, e o computador tem que se manter absolutamente inativo para preservar a fiabilidade dos testes.

Características do computador:

• Laptop Sony Vaio 13″
• Windows 7 Home Premium 64 bits
• Intel U7300 @ 1.3 GHz
• Memória RAM 4GB

 
2 – Browsers testados

• Chrome 18.0.1025.162m
• Safari 5.1.5 (7534.55.3)
• Maxthon v3.3.6.2000
• Black Hawk 1.0.905
• Cool Novo 2.0.2.26
• Rock Melt 0.16.91.371
• SR Ware Iron 18.0.1050.0
• Comodo Dragon 18.1.2.0
• Firefox 11.0
• Avant Ultimate 2012 build 28
• Waterfox 11.0
• Epic 1.9.3
• Comet Bird 11.0
• Sea Monkey 2.8
• Sundial 4.0.1_1.0
• Internet Explorer 9.0.5
• Crazy Browser 3.1.0
• Sleipnir 3.0.16.4000
• Slim Browser v6.00 build 081
• Lunascape 6.6.0
• Hypersonic 5.0
• Pale Moon 11.0.1
• Mokafoox 11.12 (Firefox 10.0.1)
• Opera 11.62
• Dooble Web 1.28

Ainda foram analisados os seguintes browsers, mas não foram classificados por não executarem diversos testes: QupZilla, Wyzo, Arora, Three Teeth, The World 3, Bluto 7, K-Meleon e Green Browser.

Quanto aos Browsers Alienforce, Enigna Browser, Konqueror, Net Captor, Yahoo Browser Plus e Swiftfox, não foi possível a sua utilização pois a instalação falhou ou instalaram-se mas não funcionavam.

Este Benchmark cinge-se às últimas versões ESTÁVEIS dos diversos Browsers, versões standards exatamente como são descarregadas sem extensões ou qualquer formatação.

Os testes terminaram no dia 13 de Abril de 2012, portanto qualquer actualização posterior não foi considerada.

 
3 – Testes executados

• Grupo 1

Peace Keeper
V8 Benchmark Suite – version 7
Html5 Canvas Performance test
The Html5 test
Hardware Acceleration Stress test
The CSS 3 test
Dromaeo JavaScript tests
Dom Core tests
JavaScript Library tests
Particle Accelerator
Fish IE tank
The Bayou – CSS Gradients
CSS Selector tests
Html5 Vector test
Html5 Bipmap test
Html5 Text test
Flash Vector test
Flash Bipmap test
Flash Text test
Browser design

• Grupo 2

Sun Spider JavaScript Benchmark
Kraken JavaScript Benchmark 1.1
Ecmascript test 262
Consumo memória
Load time

O conjunto dos testes abrange todas as áreas que interagem com a construção Web, testando as capacidades dos Browsers em Html 5, Css, Css3, JavaScript, Flash, Hardware Acceleration, etc.

Para completar a análise aos Browsers, faço pessoalmente testes que abarcam outras áreas também importantes:

• Design: nesta importante rubrica valorizo a limpeza e minimalismo, usabilidade e acessibilidade aos conteúdos das páginas e ferramentas do Browser;
• Consumo de memória: dados recolhidos no Gestor de Tarefas do Windows;
• Load Time: o tempo de abertura é conseguido pela média do tempo ocupado a abrir a página inicial de 3 sites, Sapo, Smashing Magazine e Stat Counter, repetindo 3 vezes a operação.

 
4 – Metodologia

Como a avaliação dos diferentes testes é muito variada procurámos criar um sistema em que todos os testes tenham o mesmo peso no resultado final, que se pretende quantitativo. Assim, cada Browser é classificado com a percentagem do seu resultado no total dos resultados desse teste. Como são 25 Browsers, a média dos resultados é 4%, ou seja, 4 pontos, sendo considerado um bom resultado acima deste valor e um mau, abaixo. Ora, como são 25 testes, um resultado médio para um Browser será 100 pontos.

Este sistema funciona diretamente nos testes do Grupo 1, que são testes positivos em que quanto maior for o resultado, melhor. Mas no grupo 2 estão reunidos os testes chamados negativos em que o menor resultado é que é melhor. Para resolver este problema optámos pelo método seguinte: como a média dos resultados em percentagem é 4, basta inverter a diferença que o resultado fizer para 4 para obtermos um valor que podemos juntar aos valores dos testes positivos. As fórmulas colocadas na tabela de cálculo para fazer as contas são as seguintes:

• Valores positivos: =A1/$AZ1*100
• Valores negativos: =4-((A2/$AZ2*100)-4)

 
5 – Resultados…

• … em detalhe

• … em resumo

 
And the winner is: SRWare Iron
 
Sem dúvida que o Browser Alemão é o grande vencedor, no entanto podemos dividir os louros com outros 2 Browsers: o Chrome e Comodo Dragon, pois a diferença entre eles é mínima e o fosso para os outros é enorme.

A classificação no global resume-se em 4 grupos:

1. Os melhores, constituídos pelo Chrome e suas réplicas, que ocupam os 6 primeiros lugares: os 3 já referidos mais o Black Hawk, Cool Novo e Rock Melt. É preciso referir que o fosso é criado pela grande diferença que em alguns testes faz a Aceleração de Hardware que traz o novo Chrome 18, que já foi actualizada nos 2 primeiros e não nos outros 3. Sem isso a ordem já não seria bem a mesma.
   O grupo fica completo, Browsers acima dos 100 pontos, com 2 não alinhados: Opera e Maxthon.
   De referir que o Maxthon não pontua no teste FishIE tank pois não suporta a “tag” Html5 Canvas.
    
2. A este 2º grupo podemos chamar-lhes os razoáveis, colocando-se entre o 9º e o 15º lugar. Este grupo é constituído pelo Firefox e suas réplicas, destacando-se o Pale Moon e Avant Ultimate, melhores que o original, e o Comet Bird, Waterfox, Mokafoox e Sea Monkey, que se classificam nos lugares seguintes.
    
3. Os últimos lugares são preenchidos por um grupo formado pelo Internet Explorer e os seus semelhantes, manifestamente os piores Browsers para aceder à Internet. Eles são bastantes maus, principalmente no que se refere às novas tecnologias do Web Design, nomeadamente o CSS3 e HTML5.
    
4. Por fim, temos 2 Browsers que não encaixam em qualquer grupo. O Safari, muito mal classificado, 16º, muito por culpa do teste Javascript Library em que não consegue executar o teste. Este teste é muito importante, pois testa a compatibilidade com as bibliotecas de Javascript, jQuery e Protopype, peças fundamentais em qualquer página Web moderna.
    

Para terminar temos o Dooble Web que consegue prestações de extremos entre o bom e péssimo, sendo o único que consegue no final pior prestação que o navegador mais utilizado no mundo, o Internet Explorer.

Voltando à questão colocada no início do artigo, será que se justifica trocar o seu Browser por uma cópia mais ou menos personalizada? No caso do Chrome e Firefox, temos dúvidas pois as vantagens são mínimas e as opções poucas, mas no caso do Internet Explorer, não faltam escolhas pois o Browser da Microsoft é o pior de todos. E estamos a falar de Windows 7 e IE9, já que os muitos que ainda têm o XP no seu computador têm que se limitar ao IE8, que ainda é muito pior.

 
6 – Conclusões finais

Apesar de importantes para classificar os Browsers, os Benchmarks não são a única razão para se escolher um como principal ferramenta para aceder à Internet. Apesar deste conjunto de testes ser extremamente abrangente, ele nunca consegue ponderar todos os aspectos necessários para fazermos a nossa opção, alguns dos quais absolutamente subjectivos.

A grande finalidade deste trabalho extenso é permitir ao leitor ficar com mais um elemento no momento de ponderar qual o “veículo” a escolher para navegar no grande oceano que é a World Wide Web.
 
Em nome do Pplware agradeço ao Jorge Sousa por esta fantástica compilação de conteúdos e à Maria Inês Coelho pela edição da imagem.