ExtensãoII Benchmarks (Trabalho)

1
1|Página
Arquitectura de Sistemas Computacionais
2
Índice
Índice .............................................................................................................................................................2
Resumo .........................................................................................................................................................4
Introdução ......................................................................................................................................................5
Desenvolvimento ...........................................................................................................................................6
Medidas de desempenho não baseadas no tempo ...................................................................................6
Medidas de desempenho baseadas no tempo ..........................................................................................6
Tipos de Benchmarks............................................................................................................................6
Conjuntos de Benchmarks.........................................................................................................................7
Standard Performance Evaluation Corporation .....................................................................................8
Visão geral de Benchmarks da SPEC ................................................................................................. 10
Visão específica de Benchmarks da SPEC......................................................................................... 12
SPEC CPU2006 .................................................................................................................................. 12
SPECviewperf 10 ................................................................................................................................ 14
SPECapcSM for 3ds Max 9................................................................................................................. 15
SPECapcSM for Lightwave 3D® 9.6 ................................................................................................... 15
SPECapcSM for Maya® 2009 ............................................................................................................. 15
SPECapcSM for Maya® 6.5 ................................................................................................................ 15
SPECapcSM for Pro/ENGINEER™ Wildfire 2.0 ................................................................................. 16
SPECapcSM for Solid Edge V19™ ..................................................................................................... 16
SPECapcSM for SolidWorks 2007 ...................................................................................................... 16
SPECapcSM for UGS NX 4 .................................................................................................................. 17
SPEC MPI2007 ................................................................................................................................... 17
SPEC OMP ......................................................................................................................................... 17
SPECjAppServer2004 ......................................................................................................................... 18
SPECjbb2005...................................................................................................................................... 18
SPECjms2007 ..................................................................................................................................... 18
SPECjvm2008 ..................................................................................................................................... 19
SPECmail2009 .................................................................................................................................... 19
SPECmail2008 .................................................................................................................................... 20
SPECmail2001 .................................................................................................................................... 20
SPECsfs2008 ...................................................................................................................................... 20
SPECpower_ssj2008 .......................................................................................................................... 21
SIP ...................................................................................................................................................... 22
SOA .................................................................................................................................................... 22
Virtualização........................................................................................................................................ 22
SPECweb2009 .................................................................................................................................... 23
SPECweb2005 .................................................................................................................................... 23
Relação de Custo entre os diferentes tipos de Benchmarks ............................................................... 24
Futuremark .......................................................................................................................................... 25
Visão Geral de Benchmarks da Futuremark ....................................................................................... 26
2|Página
3
Visão Especifica de Benchmarks da Futuremark ................................................................................ 29
3DMark Vantage ................................................................................................................................. 29
3DMark®Mobile ES 2.0 ....................................................................................................................... 29
Benchmark Peacekeeper .................................................................................................................... 30
Benchmarks BAPCo........................................................................................................................... 32
SYSmark ® 2007 ................................................................................................................................ 32
MobileMark® 2007 .............................................................................................................................. 33
Benchmark HQ.................................................................................................................................... 34
Conclusão .................................................................................................................................................... 35
Glossário...................................................................................................................................................... 36
Referências.................................................................................................................................................. 37
3|Página
4
Resumo
Este relatório é realizado no âmbito disciplina de Arquitectura de Sistemas Computacionais, do Curso
de Engenharia de Informática da Escola Superior Tecnológica, do Instituto Politécnico de Castelo Branco,
com o objectivo de aprofundar o tema Avaliação Desempenho de Benchmarks.
4|Página
5
Introdução
Actualmente o desempenho dos computadores evolui de forma exponencial, isso deve-se à grande
evolução tecnológica no fabrico desses componentes, porém o desempenho, utilizado no contexto de
sistemas computacionais, pode-se tornar muito vago e muito nebuloso. Sistemas computacionais diferentes
possuem a partida desempenhos diferentes, porém medir esse desempenho, nem sempre é uma tarefa fácil
O objectivo de medir o desempenho computacional é um objecto de estudo na área de sistemas
computacionais e é necessário para que os analistas de sistemas, possam desenvolver componentes físicos
com maior desempenho e fiabilidade. Com a medição do desempenho as empresas de desenvolvimento
justificam não só o preço do componente, como também a posição actual do mercado. A questão inicial é
como medir o desempenho de um sistema com tantas métricas possíveis, como por exemplo medir a
velocidade de execução, velocidades de transferência, a latência, é necessário estabelecer critérios de
medida que permitam quantificar os resultados da comparação de diferentes tipos de sistemas
computacionais. Neste sentido é necessário antes de mais compreender o significado de desempenho, que
pode definir-se em relação a muitos factores, alguns já referido anteriormente, neste contexto o desempenho
é associado ao inverso de tempo de execução de programas, quanto mais rápido um computador executar
um dado programa, maior é o seu desempenho. [1]
Um computador é composto por vários blocos, cada um afecta o desempenho da máquina, como não
há dois computadores iguais, isto porque cada fabricante de computadores cria sempre soluções diferentes, o
que interessa é medir o desempenho global de um sistema, assim os componentes fundamentais que podem
ser objecto de avaliação, como o processador, em que se pretende minimizar o número de ciclos de relógio
por instrução, a memória em que se pretende minimizar o tempo médio de acesso, os periféricos um dos
factores mais lento do desempenho, e o compilador, analisa-se principalmente a qualidade do código gerado,
em termos de instruções usados e da gestão de recursos, nomeadamente os registos. Com estes factores
facilmente poderíamos obter uma fórmula para obter o tempo de execução de um programa de um
determinado computador, seria soma do tempo gasto pelo processador sem aceder a memória, mais o tempo
gasto nos acessos a memória, incluindo a busca de instruções, mais o tempo gasto pelo processador no
acesso aos periféricos. É claro que existe outras abordagens relativamente a esta situação, mais especificas,
mas assim chegamos facilmente uma conclusão que quanto menor o valor de acesso de cada uma das
partes menor o tempo de execução.
A tendência na compra de um computador é olhar para frequência do relógio do processador, maior
frequência implica maior desempenho, e muitas das vezes não é totalmente verdade. De modo a
compreender estas respostas é necessário compreender duas perguntas essências, dado dois computadores
diferentes, como é que se podem comparar e saber qual é o mais rápido? E qual o impacte de cada um dos
blocos constituintes do computador? Ou quanto é que se ganha no desempenho global melhorando um
especifico bloco? Outra questão que surge é como garantir que a carga (workload, tarefa), a que a máquina é
sujeita durante a medição é igual à carga a que o utilizador executa no outro computador? E como garantir
que os fabricantes ou vendedores não manipulam os testes no sentido de obter melhores resultados?
É necessário realizar um teste ou um conjunto de testes, que, quando executados num específico
sistema de computação, dão alguma medida do desempenho de um determinado componente ou de um
determinado sistema, na execução de uma determinada tarefa, estes conjuntos de testes é designado como
Benchmarks que são na prática programas de avaliação. [2]
Actualmente existe quatro organizações responsáveis pelo desenvolvimento de Benchmarks, SPEC,
Futuremark, BAPCo e Business HQ. É neste contexto que o relatório se centraliza, aprofundar os tipos de
Benchmarks, que programas de avaliação existem actualmente para realizar esses testes, quais são
diferenças entre eles, que linguagens de programação utiliza, que plataformas, são aspectos importantes que
vão ser desenvolvidos ao longo do deste trabalho.
5|Página
6
Desenvolvimento
Medidas de desempenho não baseadas no tempo
A primeira abordagem de como medir o desempenho, é realizada através de métricas simplistas, medidas
de desempenho não baseadas no tempo em que a sua principal característica é sua fácil compreensão nos
resultados. A designação MIPS significa Milhões de Instruções por Segundo, considera que processador
executa a instrução mais rápida, não tendo em conta as restantes instruções, como existe ciclos de
instruções que demoram mais tempo é assim necessário realizar uma média ponderada pela frequência
relativa, utiliza normalmente um computador como referência e depende do programa a ser testado.
Outro termo usado MFLOPS (Millions of floating –Point Operations Per Second), tem como objectivo ser
mais justo que a métrica MIPS, é útil para avaliar o desempenho de aplicações de cálculo intensivo, contundo
continua a depender do programa, uma das questões que se coloca que este ignora os programas não serem
constituídos por operações de vírgula flutuante. [3] [4] [5]
De modo obter melhores resultados a solução é definir programas de avaliação normalizados,

Benchmarks, permitia assim aos fabricantes poderem testar nos seus computadores, e divulgar através de
revistas, internet, workshops, os seus resultados, uma mais-valia também para os utilizador que podiam
realizar comparações com outros computadores.
A importância de avaliar o desempenho computacional é uma necessidade que surge já a bastante tempo
e podemos encontrar versões “pioneiras” de Benchmarks, como por exemplo Whetstone que surgiu 1976 e
em 1984 o Dhrystone, são pequenos programas e não aplicações realistas, mas para compreender melhor
realizo uma breve abordagem aos tipos de Benchmarks.[6]
Medidas de desempenho baseadas no tempo
Um dos aspectos mais importantes e já referida anteriormente, é uma única medida de desempenho mais
concreta e mais fiável é o tempo de execução de programas reais, em que se compara o tempo de execução
da carga de trabalho, embora o tempo de execução possa ser definida de diferentes modos, a resposta obtida
é sempre através do tempo, considerando o tempo total para finalizar uma tarefa, dai a designação de
medidas de desempenho baseadas no tempo, no qual podemos encontrar quatro tipos usados nestes
princípios.
Tipos de Benchmarks
Existe actualmente vários tipos de Benchmarks:

• Kernels
6|Página
7
São colecções de ciclos internos de alguns programas considerados típicos. Como exemplo, Linkpack,
Livermoore loops, em que um dos problemas é os ciclos não serem representativos, e que as
aplicações podem não ser dominadas por ciclo
• Toy Programs
Programas de “brinquedos”, são programas pequenos entre 10 e 100 linhas de código, em que os
resultados não são extrapoláveis, como exemplo podemos encontrar o Quick Sort.
• Synthetic Benchmarks
São programas escritos especificamente para servir de Benchmarks, considerados artificiais, apenas
para obter medidas desempenho na qual pretendem reflectir a combinação de operações de uma
aplicação, como exemplo já referidos anteriormente encontramos Dhrystone e Whetstone. Um dos
problemas é que não existe nenhum programa típico, e são sensíveis a optimizações do compilador, e
podem ficar obsoletas derivadas as inovações existente na arquitectura computacional [7]
• Real Programas
Actualmente o mais adequados para efectuar uma avaliação de desempenho do sistema
computacional, em que deve ser medido com aplicações mais usado pelos os utilizadores exemplo os
compiladores.
Conjuntos de Benchmarks
Após uma fase introdutória sobre o contexto de medidas de desempenho baseadas no tempo, este sub
capítulo reflecte um dos objectivos deste relatório compreender o que são benchmarks, a sua importância na
avaliação e desempenho em sistemas computacionais.
Vamos denotar que já abordei alguns conceitos anteriormente, isto para consolidar a nossa aprendizagem
sobre este tema e facilmente interligar novos conceitos.
Benchmark é considerado um padrão de medida ou de avaliação, é um programa que realiza um conjunto
definido de operações (Workload) e que produz um resultado (métrica), descrevendo o computador testado,
que mede a velocidade, ou seja a rapidez com que as tarefas são concluídas ou o débito (numero de
workloads completas por unidade de tempo). A execução do mesmo Benchmark em vários computadores
distintos permite a sua comparação.
Os conjuntos de Benchmarks (Bechmarks Suites) são constituídos por um somatório de programas, que
são na sua maioria programas reais, em minoria alguns podem ser Kernels. Estes conjuntos de Benchmarks,
utilizam programas reais, que é um somatório de programas que abordam especificamente um componente
ou componentes relacionados, por exemplo CPU, parte gráfica, sistema de ficheiros, workstations. A
propriedade deste conjunto de programas é que permite realizar comparações entre máquinas com mesma
suite, com a capacidades de produzir os mesmos resultados sob as mesmas condições em instantes
diferentes, estamos a referir uma das propriedades mais importantes relativamente ao desempenho que é
reprodutibilidade, que é na prática uma descrição pormenorizada do teste realizado no computador, que
programas foram executados? Em que condições? Isto para obtermos resultados iguais nos testes com as
mesmas condições. [1] Podemos muitas vezes reparar em alguma revistas de informática, que apresentam
apenas o tempo de execução de um dado programa, mas não referenciam as condições em que esses testes
foram realizados.
Existe actualmente organizações responsáveis pelo desenvolvimento de Benchmarks, SPEC, Futuremark,
BAPCo e Business HQ, mas que tipos de organizações são? São formadas por quem? E que programas elas
desenvolvem? Podíamos certamente realizar neste instante inúmeras perguntas sobre este tema, na qual
vamos obter a maior parte das respostas, por isso seguidamente apresento uma abordagem histórica que
envolve estas organizações como também uma das partes fundamentais deste trabalho, que são os
Benchmarks desenvolvidos por estas organizações.
7|Página
8
Standard Performance Evaluation Corporation
O Sistema de Avaliação de Desempenho Cooperativa (System Performance Evaluation Cooperative),

agora designado como Standard Performance Evaluation Corporation (SPEC), foi fundado em 1988 por um
pequeno número de vendedores de estação de trabalho que perceberam que o mercado necessitava
desesperadamente de testes de desempenho padronizados, isto porque não havia métricas normalizadas e
realistas. É uma corporação sem fins lucrativos criada com objectivo de manter e apoiar um conjunto
padronizado de parâmetros relevantes que podem ser aplicadas à nova geração de computadores de alto
desempenho" Os fundadores desta organização acreditam que a comunidade de utilizadores vai beneficiar
muito de uma série de objectivos de aplicações orientadas para testes, que podem servir como pontos de
referência comum durante o processo de avaliação. Embora um Benchmark não possa caracterizar
plenamente o desempenho geral do sistema, os resultados de uma variedade de referenciais realistas pode
dar informações valiosas sobre o desempenho esperado real.
SPEC cresceu e se tornou um dos órgãos mais bem sucedidos de desempenho de padronização com
mais de 60 empresas associadas e publica actualmente várias centenas de resultados de desempenho
diferentes a cada trimestre abrangendo uma variedade de sistemas, sendo financiada pelos seus membros: e
empresas de topo mundial.
O objectivo da SPEC é assegurar que o mercado seja justo e fiável e que utilize métricas para diferenciar
os diferentes sistemas computacionais, este caminho exige de facto um cumprimento rigoroso e permite
assim que os vendedores demonstrem suas vantagens relativamente a outros, com diferenciações justas no
8|Página
9
mercado. A metodologia da SPEC é baseada em aplicações reais, aplicado em computadores de alta
performance, não sendo muito utilizado pelo o utilizador comum, estas aplicações são distribuídas em open-
source com base em aplicativos já existentes utilizado numa variedade de plataformas.
Actualmente SPEC é formado por vários grupos cada um com seus próprios conjuntos de referência,
normas e estruturas:
 Open Systems Group (OSG)
OSG é a comissão SPEC original foca-se em sistemas desktop, estações de trabalho, servidores,
implementados em plataformas com sistema operativo diversificados (UNIX / Linux, Windows ou Mac
OS X) Este é o grupo responsável pelas métricas processador SPECint2006 e SPECfp2006 (e seus
antecessores, em 2000, 1995, 1992 e SPECmarks original de 1989). [9] [10] [11]
 High Performance Group (HPG)
SPEC High-Performance Group (HPG) desenvolve Benchmarks com as principais características:

- Baseado em aplicações reais de computação científica e em técnica de programação de
aplicativos (APIs), OpenMP e MPI( Message - Passing Interface);
- Suporte a memória compartilhada;
- Pode avaliar computadores de memória compartilhados, memória distribuída de computadores e
workstation clusters tradicionais, bem como computadores com processador;
- Optimização de códigos.
 Graphics and Workstation Performance Group (GWPC)

É considerado como organização guarda-chuva, para grupos que desenvolvem projectos consistentes
a nível de reprodução de gráficos e avaliação desempenho de estações de trabalho.
Benchmarks GWPG são padrões mundiais para avaliar o desempenho de uma forma que reflecte as
experiências do utilizador através das aplicações mais comuns.
Este grupo associou-se ao SPEC em 1996 e criaram um nome, na área dos testes de baseada em
performance gráfica.
SPECapc- Application Performance Characterization Group dedica-se exclusivamente a criacção de

Benchmarks para programas que utilizam intensivamente a parte gráfica, Um programa bastante
conhecido por nós nesta área é o 3D Studio Max
SPECmedia- Mulitmédia Benchmark Committe Group desenvolve Benchmarks em áreas diversas
como MPEG-2, reconhecimento de voz, som, 3D(vertente entretimento) e paginas Web que usam java.
SPECCopc- OpenGL Performance Characterization Group, como o nome indica dedica-se ao
desenvolvimento de desempenho de aplicações usando programas de aplicações OpenGL, exemplo
mais recente Viewperf.
9|Página
10
Visão geral de Benchmarks da SPEC
De modo obter uma visão geral dos Benchmarks da Organização Standard Performance Evaluation
Corporation, apresento uma lista dividida por onze áreas, onde são desenvolvidos Benchmarks, cada um,
com requisitos específicos e determinados de acordo com o seu objectivo.
1. CPU
2. Graphics and Workstation Performance
3. High Performance Computing, OpenMP, MPI
4. Java Client/Server
5. Mail Servers
6. Network File System
7. Power
8. SIP
9. SOA
10. Virtualização
11. Web Servers
CPU
Objectivo: Obter uma medida comparativa de desempenho de computação intensiva na maior variedade
possível de hardware.
1. SPEC CPU2006
2. SPEC CPUV6
3. SPEC CPU2000 [Retirado]
Graphics and Workstation Performance

Objectivo: SPECviewperf mede a performance de rendering 3D de sistemas em plataformas OpenGL,
enquanto SPECapc (Application Performance Characterization Group) foca-se na performance gráfica
baseando-se em aplicações de software.
1. SPECVIEWPERF® 10
2. SPECAPCSM FOR 3DS MAX™ 9
3. SPECAPCSM FOR LIGHTWAVE 3D® 9.6
4. SPECAPCSM FOR MAYA ® 2009
5. SPECAPCSM FOR MAYA ® 6.5
6. SPECAPCSM FOR PRO/ENGINEER™ WILDFIRE 2.0
7. SPECAPCSM FOR SOLID E DGE V19™
8. SPECAPCSM FOR SOLIDWORKS 2007™
9. SPECAPCSM FOR UGS NX 4
10 | P á g i n a
11
High Performance Computing, OpenMP, MPI
Objectivo: Medir a melhor performance do computador.
1. SPEC MPI2007
2. SPEC OMP2001
3. SPEC HPC2002 [Retirado]
4. SPEC HPC96 [Retirado]
Java Client/Server
Objectivo: Aplicações para medir a performance de servidores baseados na plataforma Java.
1. SPECJAPPSERVER2004
2. SPECJAPPSERVER2002 [Retirado]
3. SPECJAPPSERVER2001 [Retirado]
4. SPECJBB2005
5. SPECJBB2000 [Retirado]
6. SPECJMS2007
7. SPECJVM2008
8. SPEC JVM98 [Retirado]
Mail Servers
Objectivo: Medir a capacidade de um sistema para funcionar como servidor de e-mail.
1. SPECMAIL2009
2. SPECMAIL2008
3. SPECMAIL2001 [Retirado]
Network File System

Objectivo: Medir a capacidade de um sistema para funcionar como um servidor ficheiros.
1. SPECSFS2008
2. SPEC SFS97_R1 (3.0) [Retirado]
3. SPEC SFS97 (2.0) [Retirado]
4. SPEC SFS93 (LADDIS) [Retirado]
Power
Objectivo: Avaliar o consumo e performance de servidores de grande volume, relativamente ao consumo
de energia.
SPECPOWER_SSJ2008
SIP
Objectivo : Avaliar servidores que utilizam SIP (Session Initiation Protocol).
SPECSIP
SOA
11 | P á g i n a
12
Objectivo: Medição do desempenho típico para o middleware (programa de computador que faz a
mediação entre outros softwares), base de dados e implementações de hardware de aplicações baseadas na
arquitectura orientada a serviços (Service Oriented Architecture)
Virtualização
A comissão SPEC está actualmente a desenvolver uma nova indústria de referência padrão para avaliar o
desempenho de virtualização para servidores de data center (centros de informação), denota-se um interesse
crescente nesta área particularmente na consolidação de servidores, isto ajuda as empresas a reduzir custos
e economizar energia e facilitar a gestão de infra-estruturas.
Para analisar o desempenho de sistemas de virtualização, é necessário um Benchmark que abrange
maior partes deste sistemas que ainda são vários desde servidores de e-mail, servidores Base de Dados, que
tenha a capacidade de avaliar ou medir os níveis de carga exercidos.
Web Servers
Objectivo: Desempenho dos servidores da World Wide Web.
1. SPECWEB2009
2. SPECWEB2005
3. SPECWEB99 [Retirado]
4. SPECWEB99SPECWEB99_SSL [Retirado]
5. SPECWEB96 [Retirado]
Visão específica de Benchmarks da SPEC

SPEC CPU2006
É a próxima geração de padrões industrializados,

O Benchmark SPEC CPU2006 é projectado para fornecer uma medida comparativa de desempenho de
computação intensiva na maior variedade possível de hardware utilizando cargas de trabalho desenvolvido a
partir de aplicações reais utilizador. A versão actual do pacote de benchmark é versão 1.1, lançada em Junho
de 2008 destinado para melhorar a compatibilidade, estabilidade, documentação (Melhorias no relatório) e
facilidade de uso. Este Benchmark tem sido considerado por muitos o padrão mundial para medir a
performance de computação intensiva desde 1989.
Benchmark SPEC CPU2006 incide sobre desempenho de computação intensiva, o que significa que os
parâmetros para avaliar o desempenho são:
- O processador do computador (CPU),
- A memória
- Os compiladores.
É constituído por dois conjuntos de benchmarks: CINT2006 (INT significa Integer, de inteiros) com
objectivo de medir e comparar operações computacionais com inteiros e CFP2006 (FP significa Floating
Point, de virgulas flutuantes) em que medições e comparações é através de operações computacionais com
vírgulas flutuantes. As principais diferenças é que uma que mede a performance em débito e outra que mede
a performance em velocidade.
Os Benchmarks CINT2006 e CFP2006 são baseados em aplicativos de computação intensiva fornecidos
com o seguinte código fonte.
CINT2006 contém 12 Benchmarks:
- 9 Utilizam linguagem C;
12 | P á g i n a
13
- 3 Utilizam linguagem C++
-
Benchmark Linguagem Área de Aplicação
Programação
400.perlbench C PERL Programming Language
401.bzip2 C Compression
403.gcc C C Compiler
429.mcf C Combinatorial Optimization
445.gobmk C Artificial Intelligence
456.hmmer C Search Gene Sequence
458.sjeng C Artificial Intelligence: chess
462.libquantum C Physics: Quantum Computing
464.h264ref C Video Compression
471.omnetpp C++ Discrete Event Simulation
473.astar C++ Path-finding Algorithms
483.xalancbmk C++ XML Processing
CFP200 possui.17 Benchmarks:

- 4 Utilizam C++;
- 3 Utilizam C;
- 6 Linguagem Fortran;
- 4 Uma mistura de linguagem C com linguagem Fortran.
-
Benchmark Linguagem Área de Aplicação
Programação
410.bwaves Fortran Fluid Dynamics
416.gamess Fortran Quantum Chemistry
433.milc C Physics: Quantum Chromodynamics
434.zeusmp Fortran Physics/CFD
435.gromacs C/Fortran Biochemistry/Molecular
436.cactusADM C/Fortran Physics/General Relativity
437.leslie3d Fortran Fluid Dynamics
444.namd C++ Biology/Molecular Dynamics
447.dealII C++ Finite Element Analysis
450.soplex C++ Linear Programming, Optimization
453.povray C++ Image Ray-tracing
454.calculix C/Fortran Structural Mechanics
459.GemsFDTD Fortran Computational Electromagnetics
465.tonto Fortran Quantum Chemistry
470.lbm C Fluid Dynamics
481.wrf C/Fortran Weather Prediction
482.sphinx3 C Speech recognition
13 | P á g i n a
14
Os números são uma referência para distinguir dos restantes programas, podemos encontrar casos em
que nomes são iguais, mas que derivado a actualização só altera o número, por exemplo, 176.gcc vs
403.gcc.
Melhorias no SPEC CPU2006 V1.1 incluem:
Melhor portabilidade- Actualizações foram feitas para 12 pontos de referência para melhorar a
portabilidade de plataformas novas e existentes. Mais rápido de instalar em sistemas de grande porte - a
instalação paralela e outros novos recursos tornam a configuração muito mais rápido em multi-core, multi-
thread sistemas, quanto maior o sistema, maior será a melhoria.
Ferramentas – Maior flexibilidade no trabalho de desenvolvimento.
Facilidade de uso – Esclarecimentos, adições exemplos actualizados, melhorias na formatação e
legibilidade tornar mais fácil correr benchmarks e compreender os resultados; novos recursos tornam mais
fáceis de executar em plataformas Windows.
O preço actual do Benchmark SPEC CPU2006, versão completa é de $800 aproximadamente 538.euros,o
upgrade da versão tem um custo de 269 euros aproximadamente, para organizações educacionais custa 134
euros.
SPECviewperf 10
SPECviewperf é um programa escrito em C, que tem a capacidade de ser compilado ou executado em

diferentes arquitecturas. Ele foi desenvolvido pela IBM. As actualizações e contribuições significativas foram
feitas pela SGI, Digital (Compaq, HP), 3Dlabs (Creative Labs) e outros membros do grupo SPEC.
14 | P á g i n a
15
SPECviewperf apresenta-se bastante flexível na avaliação e desempenho em aplicações OpenGL.
Actualmente, o programa é executado na maioria dos sistemas operativos como UNIX, Windows XP,
Windows Vista, Windows 2000 e Linux. É considerado pelo SPEC como a primeira referência para aplicações
OpenGl.
O objetivo do SPECviewperf é ser um bom indicador de desempenho gráfico para aplicações do mundo
real, pode ser aplicado também sistemas multi-core fornecendo uma medida de desempenho gráfico do
subsistema e seu impacto sobre o sistema completo, sem a sobrecarga de uma aplicação completa,
Além dos recursos encontrados em versões anteriores, agora oferece a capacidade de comparar o
desempenho dos sistemas de execução em modos gráficos de alta qualidade que a plena utilização anti-
scene-aliasing, medindo a eficácia dos gráficos. OpenGL fornece tradicionalmente duas principais
abordagens para processamento de dados geométricos modo imediato e modo lista, a principal diferença é
que no resultado final as listas são mais eficazes nas implementações de OpenGL. Apresentado melhor
qualidade de imagem.
SPECapcSM for 3ds Max 9
Tem como objectivo obter medidas de desempenho baseado na carga de trabalho executadas por um
utilizador comum, inclui funções como a modelagem wireframe (Objecto em 3D), shading, texturas,
iluminação, mistura, cinemática inversa, de criação e manipulação de objectos, edição, criação de cena,
detecção de partículas, animação e processamento. O benchmark é executado em ambas implementações
de OpenGL e DirectX de 3ds Max 9, testando todos os componentes inseridos no jogo quando a o aplicativo
é executado. Os testes executados com SPECapc 3ds Max 9, abrange amplitudes, desde das formas mais
primitivas ate as mais complexas, utilizando múltiplas repetições para testar os limites da placa gráfica, os
resultados são diferenciados tanto para o processador como para placa gráfica.
SPECapcSM for Lightwave 3D® 9.6
É um software de avaliação de desempenho para sistemas com plataformas Newtek Lightwave 3D v9.6
software. LightWave, tem como principais funções as modelagens, Renderização animação, efeitos visuais
para televisão, filmes, jogos, visualização, impressão e web.
SPECapc de LightWave 3D v9.6 está disponível actualmente para Microsoft Windows XP e Windows Vista
32 e 64-bits.
SPECapcSM for Maya® 2009
SPECapc Maya ® 2009 foi desenvolvida em estreita colaboração com a Autodesk, o primeiro fornecedor
independente de software que se juntou ao grupo de projecto SPECapc.
Está disponível actualmente para Microsoft Windows XP e Windows Vista 32 e 64-bit. Devido às
alterações de carga de trabalho, os resultados de SPECapc para Maya 2009 não podem ser comparados
com os de anteriores benchmarks SPECapc Maya
SPECapcSM for Maya® 6.5
Benchmark SPECapcSM Maya® 6.5 concebido para melhorar o desempenho OpenGL, através da troca
glArrayElement para glDrawElements, em que uma das principais características adicionais neste benchmark
é o tempo de execução das tarefas em tempo menores, denotando-se alteração nos gráficos.
15 | P á g i n a
16
SPECapcSM for Pro/ENGINEER™ Wildfire 2.0
Utiliza complexos modelos como um carro de corrida em

código máquina para exercer em todas as áreas do
desempenho do sistema em aplicações como por exemplo,
Computer-Aided Design (CAD- desenho assistido por
computador), em aplicações como software Catia que
possui ferramentas de desenho, análise e simulação.
Os testes de desempenho podem ser executados em
plataformas de 64-bit. Os utilizadores têm que ter um
dispositivo de visualização de gráficos 3D reconhecido pela
Pro Enginneer de modo a que Benchmarks possa ser
executado.
SPECapcSM for Solid Edge V19™
SPECapc for Solid Edge V19 é uma versão do Benchmark

actualizada, A secção de CPU do benchmark foi alterada para
executar um comandos no processador.O Benchmark mede três
áreas de performance:
- Gráficos
- Ficheiros de entrada e saída
- CPU.
SPECapcSM for SolidWorks 2007
Este Benchmark foi desenvolvido pela SolidWorks, através do

software Visual Basic com base na linguagem C, pode ser
executado em plataformas Windows XP 32 e 64-bit. O benchmark
utiliza diferentes tamanhos de modelos sólidos, dos quais o maior
é um modelo de motor com 3,13 milhões de vértices.
Oito testes são incluídos no Benchmarks: operações de input e de
output, operações intensivas ao nível do CPU, seis testes gráficos.
diferentes. Um único número é derivado de uma média geométrica
ponderada da pontuação de todos os oito testes.
16 | P á g i n a
17
SPECapcSM for UGS NX 4
SPECapc para UGS NX 4 resultou da colaboração entre a

indústria UGS, e SPECapc.
As operações testadas pelo Benchmark SPECapc para UGS NX 4
incluem peças de carga, operações booleanas em sólidos,
rotações e zooms, frente e atrás, de cortes. e modos de borda
diferentes. Os registros de resultados de benchmark para gráficos
são o CPU e operações input e ouput do disco, bem como um
número composto para o desempenho total do sistema
SPEC MPI2007
SPEC MPI2007 é um BenchmarK suite de avaliação que utiliza MPI (Message Passing Interface, padrão
para comunicação de dados em computação paralela), com objectivo de medir performance de aplicações
computacionais intensivas, com ênfase à performance dos seguintes componentes:
 Tipo de processador (CPU);
 Número de CPUs;
 Livraria MPI
 Comunicação entre dispositivos;
 Arquitectura da memória;
 Compiladores;
 Sistema de ficheiros partilhados
SPECMPI2007 não depende apenas do processador. De referenciar que este benchmark não se propõe a
“stressar” certos componentes do sistema computacional tais como o SO, GPU ou o sistema de E/S.
SPEC OMP
SPEC OMP (OpenMP Benchmark Suite) é o primeiro benchmark suite da SPEC para avaliar a
performance de aplicações baseadas em OpenMP (API que suporta multi-plataformas, memoria partilhada,
programação em C /C++ e Fortran, incluído também plataformas Unix e Windows NT).
A versão actual é 3.2 equivalente a versão 3.1, apenas apresenta alterações nos termos das condições
das licenças.
17 | P á g i n a
18
SPECjAppServer2004
SPECjAppServer2004 (Java Application Server) é um benchmark multi-camadas para medir a

performance de aplicações baseadas na tecnologia J2EE (Java 2 Enterprise Edition) com base em
plataformas de aplicações em servidores.
É uma aplicação ponto-a-ponto que utiliza tecnologias J2EE implementadas nos servidores:
 Web, incluindo servlets e JSPs

 EJB (java beans)
 JSM (Java Message Service) e Message Driven Beans
 Gestão de transacções
 Ligação a base de dados
Todas as partes da infra-estrutura base que compõe o ambiente das aplicações, incluindo o hardware,
software de Base de Dados, software JVM (Java Virtual Machine), drivers JDBC e o sistema de rede são
executadas pelo Benchmarks.
SPECjbb2005
O SPECjbb2005 (Java Server Benchmark) avalia a performance Java do lado do servidor, através
emulação de sistema cliente/servidor de três camadas, com ênfase à camada intermédia.
O Benchmark executa implementações na JVM, compilador JIT (Just-in-time), garbage collector, threads e
alguns aspectos do Sistema Operativo., não esquecendo performance de CPUs, caches, hierarquia de
memória e a escalabilidade de processadores de memória partilhada (SMPs). As melhorias existentes
denotam através de uma nova e melhorada carga de trabalho (workload), implementada de uma forma mais
orientada ao objecto e disponibiliza também funções de processamento de XML e computações “BigDecimal”
que fazem deste benchmark uma melhor e mais real reflexão das aplicações actuais.
Relativamente aos resultados do SPECjAppServer2004 em comparação com os resultados SPECjbb2005,
os resultados não podem ser comparados.
A métrica utilizada pelo Benchmark SPECjbb2005 são SPECjbb2005 bops (business operations per
second), obtido pela média total das transacções.
SPECjms2007
SPECjms2007 é a primeira indústria-padrão para avaliar o desempenho de performance de servidores

middleware “message-oriented” baseados em JMS (Java Message Service). Ele fornece uma carga de
trabalho padrão e métricas de desempenho para comparação de produtos competitivos, bem como um
quadro de análise aprofundada do desempenho de mensagens empresariais plataformas. SPECjms2007
mede o desempenho final de todos os componentes que compõem o ambiente do aplicativo, incluindo
hardware, JMS, JVM, software de base de dados. O Benchmark fornece duas métricas, SPECjms2007@
horizontal para a topologia horizontal e SPECjms2007@ vertical para a topologia vertical.
18 | P á g i n a
19
O cenário escolhido para a aplicação SPECjms2007 é um modelo de cadeia de fornecimento de um
mercado. Os participantes envolvidos é a empresa, as lojas, centros de distribuição e seus distribuidores. O
cenário foi definido com base em requisitos. Ele oferece uma excelente base para definir as interacções das
funcionalidades dedicadas pelos Servidores JMS, por exemplo, diferentes tipos de mensagens, bem como os
P2P e sub de comunicação. O cenário também oferece uma maneira natural para dimensionar o volume de
trabalho, por exemplo, ampliação do número de mercados (horizontal) ou pelo dimensionamento da
quantidade de produtos vendidos Supermercado (Vertical).
SPECjvm2008
SPECjvm2008 (Java Virtual Machine Benchmark) é um benchmark Suite para medir o desempenho de Java em
Runtime Environment (JRE), contem diversas aplicações na vida real e focando-se em funcionalidades Java.
A suite incide sobre o desempenho do JRE executar uma única aplicação, que reflecte o desempenho do
processador do hardware e do subsistema de memória, sem dependência de ficheiros Input / Output e não inclui uma
rede de Input/ Output. A carga de trabalho SPECjvm2008 imita uma variedade de aplicativos comuns, cálculos de
gerais. Essas características reflectem a intenção de que este critério será aplicado para medir o desempenho com
base em Java em uma ampla variedade sistemas, clientes e servidores.
Benchmark PECjvm2008 destaca a importância de aplicações da vida real (como o derby, sunflow e javac) e áreas
como XML, serialização, criptografia e scimark. Também mede o desempenho do sistema operacional e hardware no
contexto da execução o JRE.
A métrica de desempenho para SPECjvm2008 é em operações por minuto (ops / m).
SPECmail2009
O Benchmark SPECmail2009 mede a capacidade das empresas em enviar e-mails numa rede área local
(LAN). O benchmark SPECmail2009 simula cargas de trabalho no servidor de e-mail que variam entre 250 a
10.000 ou mais utilizadores, utilizando protocolos padrão SMTP e IMAP4. Este servidor de e-mail cria cargas
de trabalho nos clientes com base em uma empresa de 40.000 utilizadores, utilizando estruturas de
19 | P á g i n a
20
mensagem MIME(Multipurpose Internet Mail Extensions, norma da internet para o formato das mensagens de
correio electrónico) que incluem tanto documentos de escritório tradicional (Office) como uma variedade de
conteúdo de média. O Benchmark também adiciona suporte para conexões de rede encriptada usando SSL,
o padrão da indústria v3.0 e tecnologia TLS versão 1.0.
SPECmail2009 substitui todas as versões do SPECmail2008, lançado em Agosto de 2008. Os resultados
dos dois Benchmarks não são confrontáveis.
Com recém lançamento do SPECmail2009, e com a retirada o mercado do Benchmark SPECmail2008,
SPEC parou de aceitar os resultados do SPECmail2008 desde do dia 12 de Junho de 2009.
SPECmail2009 é diferente SPECmail2008, desde ao suporte de conexões seguras de TCP, actualizações
de e-mail, de volumes de tráfego, desde ao nível de estruturas de armazenamento de mensagens que
reflectem um servidor de e-mail muito maior do que a amostra de 2003 (40.000 em vez de 2.700). As
mudanças no tamanho e estruturas MIME como conteúdo reflectem as opções mais ricas com modernos
meios de comunicação de clientes de e-mail IMAP. Esta versão consideravelmente mais leve em que foi
removido limite artificial de 100 geradores de carga total impostas pela SPECmail2008. Finalmente, as
políticas de segurança moderna de rede ditarem conexões criptógrafas em rede TCP e adiciona suporte para
SSL e TLS.
SPECmail2008
SPECmail2008 é um benchmark retirado desde Junho de 2009, que simulas cargas de trabalho em
servidores e-mail com uma base de utilizadores na ordem dos 250 a 5000, para medir a capacidade de um de
um servidor de e-mail baseado nos protocolos SMTP e IMAP4.
SPECmail2001
SPECmail2001 é um benchmark retirado do mercado, que mede a capacidade de um sistema ao actuar

como servidor de e-mail utilizando protocolos SMTP e POP3. É caracterizado pelo débito e tempo de
resposta do servidor de e-mail com ligações de rede, armazenamento de disco e cargas de trabalho do lado
do cliente. O SPECmail2001 destaca os servidores mail de ISPs (Internet Service Provider) como uma base
de utilizadores na ordem dos 10.000 a 1.000.000 de utilizadores, comparando os diferentes servidores de e-
mail.
SPECsfs2008
A suite Benchmark SPECsfs 2008 é a versão mais recente da Standard Performance Evaluation
Corporation de medição de transferência de ficheiros a pedidos do servidor, mede o tempo de resposta,
proporcionando um método padronizado para comparar o desempenho entre plataformas de diferentes
vendedores. Resultados SPECsfs2008 resumem as capacidades do servidor no que diz respeito ao número
de operações que podem ser manipulados por segundo, bem como a latência total das operações.
Esta suíte baseia-se no benchmark SFS97_R1, adicionado carga de trabalho CIFS(Common Internet File
System, utilizado no Microsoft Windows), e actualizações em NFSv3(Network File System versão 3) com
suporte adicional a plataformas de clientes adicional, e um novo equipamento de teste de elaboração de
relatórios.
Esta Benchmark apresenta as seguintes características:
20 | P á g i n a
21
 Carga de trabalho actualizado NFSv3, com baseado em dados actualizados e colectados por
membros da comissão SFS (Comité Europeu de Normalização) de milhares de servidores reais de
NFS.
 Adições de carga de trabalho de uso geral em servidores de ficheiros CIFS, também desenvolvido
com base em dados agrupados a partir de milhares de servidores reais CIFS.
 Remoção de suporte para NFSv2 e suporte para o protocolo de transporte UDP (User Datagram
Protocol)
 Suporte para clientes Windows e MacOS; clientes são agora suportadas em AIX, FreeBSD, Linux,
MacOSX, Solaris10, e Windows.
 Documentação mais organizada.
 Melhorias significativas para tratamento de erros.
Exemplos de Resultados baseado em cargas de trabalho CIFS
Tested By Product Results System Configuration

Name Throughput ORT Protocol Memory Disks Exported Network Network
(GB) Capacity Ports Type
Apple Inc. 3.0 GHz 8- 13092 1.19 CIFS 20 49 13.4 TB 4 Gigabit
Core Xserve Ethernet
Fujitsu PRIMERGY 3825 4.70 CIFS 4.5 412 1.2 TB 2 Gigabit
Siemens NX650 Ethernet
Computers
SPECpower_ssj2008
SPEC lançou uma nova versão do PTDaemon, desde o dia 9 de Maio de 2009, mas apenas está
disponível para todos os clientes que tem na sua posse licença de SPECpower_ssj2008 e SPECweb2009.
A versão actualizada é 1.3.9 apresenta suporte para o analisador de potência Yokogawa (Fabricante
industrial) WT500 e actualizações implementadas para o analisador de potência Chroma 66202, outro factor
importante, são as alterações adicionais para ajudar a evitar problemas de configuração.de alimentação dos
analisadores.
Exemplo do Modelo Chroma 66202

Exemplo do modelo WT500
21 | P á g i n a
22
SPECpower_ssj2008 é o primeiro benchmark da SPEC que avalia o consumo e performance de

servidores de grande volume. Este benchmark foi criado devido ao crescente interesse e preocupação
crescente demonstrado pela indústria de tecnologias, fabricantes de computadores e governos no que diz
respeito ao consumo de energia dos servidores. Actualmente muitos fabricantes reportam números de
eficiência energética, contudo estes números muitas das vezes não são directamente comparáveis devido às
diferentes cargas de trabalho, configurações, ambientes de teste, etc. O desenvolvimento deste benchmark
disponibiliza uma forma de medir o consumo de energia directamente na fonte, juntamente com uma métrica
de performance. Isto vai ajudar os directores de companhias de tecnologias a considerar as características do
consumo de energia assim como a selecção de outros critérios de forma a aumentar a eficiência de centros
de informação. O benchmark inicial trata apenas uma variável da carga de trabalho de servidores: a
performance Java dos mesmos. São testados os CPUs, caches, hierarquia de memória e a escalabilidade de
processadores SMP assim como as implementações de JVM, JIT compiler, garbage collection, threads e
alguns aspectos do Sistema Operativo.
SIP
SPEC SIP Comissão está a desenvolver uma nova indústria de referência um Benchmark padrão para
avaliar servidores usando Session Initiation Protocol (SIP). O interesse em SIP tem crescido ao longo dos
últimos anos, com uso de plataformas Voip. As aplicações baseadas SIP incluem mensagens instantâneas,
presença, videoconferência e IPTV (exemplo Meo). Os profissionais de TI consideram SIP como infra-
estruturas que beneficiarão com a disponibilidade de um benchmark padrão da SPEC para comparar as
soluções no lado do servidor SIP. O objectivo da subcomissão SIP SPEC é criar Benchmarks para servidores
na área de comunicações multimédia sobre IP que usam o IETF Session Initiation Protocol (SIP).
Este Benchmarks permitirá realizar uma análise justa e precisa de avaliação de desempenho de
plataformas de fornecedores de acesso a internet (ISP). Todos os SPEC benchmarks SIP terão cargas
realistas derivadas de perfis e padrões de medidas.
SOA
A Standard Performance Evaluation Corporation (SPEC) formou um novo grupo de trabalho para
desenvolver métodos padrão de medição de desempenho típico para o middleware, base de dados e
aplicações baseadas na arquitectura orientada a serviços (SOA). Actuais membros SPEC e empresas como
IBM, Oracle e VMware estão empenhados em desenvolver um novo padrão de medição SOA
Virtualização
Ainda em desenvolvimento os objectivos deste benchmark é moldar servidores virtualizados, como por
exemplo, servidores web, servidores e-mail, servidores de Base de Dados de forma disponibilizar uma forma
de comparar justamente a performance de servidores, enquanto este são executados em máquinas virtuais.
Isto inclui um benchmark que tenha a capacidade de abranger uma larga gama de sistemas, com suporte a
22 | P á g i n a
23
hardware de virtualização, virtualização de SO’s e esquemas de particionamento de hardware para cenário

de consolidação de servidores.
SPECweb2009
Novo benchmark SPECweb2009 adiciona capacidade de medir o consumo de energia dos servidores
Web. A Standard Performance Evaluation Corporation (SPEC) lançou SPECweb2009, um novo software que
adiciona a capacidade de medir o consumo de energia, considerado como padrão mundial para Web de
avaliação de desempenho do servidor. A SPEC na projecção e desenvolvimento do benchmark incluem
empresas como AMD, Fujitsu, HP, IBM, Intel e Sun Microsystems.
SPECweb2009 substitui assim SPECweb2005, em que os resultados não são comparáveis, derivado a
inclusão de energia, contundo mantêm os três tipos de cargas de trabalho, Serviços Bancários, Comércio
electrónico, e suporte. (SPECweb2009_Power SPECweb2009_Ecommerce).
As alterações encontradas no SPECweb2009 sobre SPECweb2005 são essencialmente a adição da carga
de energia e à inclusão de metodologias de medição de energia.
As cargas de trabalho no SPECweb2009 têm como principais componentes, a constituição de um servidor
Web protegido, com inclusão de desempenho em LANs, capacidade de processamento, largura de banda,
armazenamento e utilização de energia.
O benchmark é capaz de medir as solicitações e respostas com base de protocolos SSL (Secure Sockets
Layer, protocolos criptográficos), medindo também o desempenho do servidor Web.
Divulgações SPECweb2009 são regidas por um extenso conjunto de regras de execução para garantir a
igualdade nos resultados. Qualquer software de servidor Web que suporta HTTP.1.1 e SSL pode ser testado
pelo utilizador, contundo o Kit do Benchmark SPECweb2009 não providencia qualquer software para realizar
esses mesmos testes.
Dependendo das cargas o objectivo é medir o numero de máximo de sessões de utilizadores em
simultâneo que o servidor Web consegue suportar enquanto ocorra débitos.
Os resultados SPECweb2005 só são aceites até o dia 1 de Junho de 2010, após esse tempo resultados
só serão aceites pelo o Benchmark SPECweb2009.
SPECweb2009 O CD-ROM contém:

 Código fonte e classes para o cliente em java.
 Código fonte e classes para o gerador de arquivo (Wafgen)
 Código fonte e classes para o simulador de backend (Besim)
 Código fonte (e classes, se for o caso) para as implementações de conteúdo dinâmico
 Documentação (inclusive este documento)
 Executável para a temperatura Power Daemon
 Apache-tomcat-6.0.18, fcgi-2.4.0, jcommon-1.0.15, jfreechart-1.0.12 e Smarty-2.6.22
SPECweb2005
O SPECweb2005 avalia performances de servidores Web, como por exemplo:

 Sessões simultâneas
 Conteúdos dinâmicos: PhP e JSP.
 Imagens requisitadas por HTTP paralelas
 Workloads: Banking (HTTPS), E-commerce (HTTP e HTTPS) e suporte (HTTP)
23 | P á g i n a
24
 Simulação de efeitos de caching de browsers através de solicitações If-Modified-Since
Relação de Custo entre os diferentes tipos de Benchmarks
Para organizações sem fins lucrativos e instituições de ensino credenciadas, estes beneficiam de preços
acessíveis. As Suites SPEC benchmark são fornecidos com uma licença que permite que o titular da licença
instalar e executar o software em vários sistemas dentro da sua organização não é necessário adquirir várias
licenças múltiplas. Cada Benchmark é acompanhado com um Kit especificado, de acordo com a compra.
Como podemos verificar na imagem seguinte, encontramos Benchmarks que atingem valores de $2000
(Dollars), aproximadamente 1345.09 EUR, em que instituições de ensino são de facto beneficiadas.
24 | P á g i n a
25
Fonte : http://www.spec.org/order.html
Futuremark
Futuremark é uma empresa fundada em 1997, que

tem a sua sede situada em Finlândia na cidade de
Escopo, tem como filiais, escritórios de vendas em
Silicon Valley, nos Estados unidos e em China,
como também parcerias de vendas e de distribuição
em vários países. O modelo de negócios consiste
nas seguintes unidades:
-FuturmarK Games Studio
Futuremark Games Studio, que está actualmente a
desenvolver o seu primeiro jogo multiplayer-first-
person com titulo “Shattered Horizon”.
-Produtos para PC e Serviços
Tem como referência PCMark e 3DMark e serviços
relacionados com esta linha de produção.
-Sistemas Moveis embebidos
Esta unidade realiza desenvolvimentos Benchmarks
de gráficos 3D para os seus fabricantes de chip,
telefones celulares e outros fabricantes de
dispositivos portáteis e operadoras de redes sem
fios. [13]
25 | P á g i n a
26
Futuremark tem vindo a criar demos inovadores de tecnologia para clientes da indústria de prestígio em
mercados de PC e portáteis. Possui actualmente talentosos artistas 3D, animadores e técnicos têm vindo a
produzir compelindo próxima geração de jogos 3D e conteúdo feito sob medida para mostrar as mais
recentes tecnologias, tais como multi-threading, multi-core, novos núcleos gráficos adaptador, em tempo real,
gráficos 3D totalmente jogáveis e jogos concebidos para stressar os componentes do sistema.
Um dos pontos fundamentais da empresa é o desenvolvido uma série de competências essenciais no
processo de criação de Benchmarks que aproveitam muito bem sob a forma de dados on-line, projectos de
pesquisa, serviços de análise e de desempenho baseado na web como também portais corporativos.
Apresentam também soluções para realizar avaliações de hardware relativamente ao desempenho do
sistema, para medir a capacidade de jogar jogos ou a execução de determinados softwares.
Futuremark se apresenta também com parcerias com grupos influentes da indústria:
A Khronos Group foi fundado em janeiro de 2000 por uma série de empresas de comunicação social da
central, incluindo 3Dlabs, ATI, Discreto, Evans & Sutherland, Intel, Nvidia, SGI e Sun Microsystems e a
Symbian, empresa que desenvolve sistema operativo padrão - Symbian OS.
Actualmente Programa de Desenvolvimento Benchmark (BDP) é uma forma da Futuremark obter
parcerias com os fabricantes de hardware e de tecnologia, de modo obter Benchmarks de alta qualidade.
Visão Geral de Benchmarks da Futuremark
De modo obter uma visão geral dos Benchmarks, que Futuremark desenvolveu, para obter maior ênfase,
apresento uma lista com recurso a imagens obtidas através da Web site da Futuremark. É preciso relembrar
que existe versões actuais como consequência de seguimento de versões anteriores.
26 | P á g i n a
27
Benchmarks para Dispositivos Móveis
27 | P á g i n a
28
28 | P á g i n a
29
Benchmarks On-Line
Visão Especifica de Benchmarks da Futuremark
Não desprezando versões anteriores vou apenas focar-me nas versões mais recentes, 3DMark Vantage,
novo Benchmark para industria de jogos de PC, 3DMark®Mobile ES 2.0 que testa desempenho de gráficos
3D no equipamento móvel, o Benchmark Peacekeeper é um serviço gratuito que permite facilmente descobrir
qual o Browser que funciona melhor no PC.
3DMark Vantage
3DMark Vantage é um benchmark Suite projectado para testar o desempenho DirectX10 da placa gráfica que
utiliza a mais recente tecnologia 3D. A pontuação obtida do 3DMark é uma medida global das capacidades do
sistema de jogo 3D, e do processador. Com Benchmark 3DMark Vantage podemos comparar pontuação com
outros sistemas, tornando-se mais fácil determinar quais são as actualizações mais eficazes de modo
optimizar sistema. O 3DMark Vantage foi implementado e desenvolvido em linguagem C++.
Este é bastante utilizado pela indústria de PC, utilizadores individuais e pelos programadores de
desenvolvimentos de jogos, para comparar níveis de desempenho entre os sistemas de forma global ou
específicos.
O que significa 3DMark? São um conjunto de programas da Futuremark Corporation destinados a
determinar o desempenho DirectX das placas gráficas. A gama completa de produtos 3DMark é 3DMark99,
3Dmark99 MAX, 3DMark2000, 3DMark2001, 3DMark2001 SE, 3DMark03, 3DMark05, 3DMark06 e 3DMark
Vantage. A cada nova edição do 3DMark utiliza a mais recente em tecnologia 3D para obter as medições de
desempenho dos sistemas.
3DMark®Mobile ES 2.0
O 3DMark®Mobile ES(OpenGL for Embedded Systems) 2.0 é um OpenGL benchmark que testa
desempenho de gráficos 3D de equipamento móveis do futuro 3D.
29 | P á g i n a
30
Além do conteúdo do jogo, 3DMarkMobile ES 2,0 inclui testes para medir como por exemplo o
desempenho de processamento das sombras (shadow), e as mudanças de estado. Os Testes de filtragem de
textura para ver a qualidade visual também estão incluídos no produto. 3DMarkMobile ES 2.0 permite a
medição de desempenho neutro e comparação entre diferentes soluções para OpenGL ES 2.0.
O 3DMarkMobile ES 2,0 é pretendido para uso em hardware de desenvolvimento para auxiliar no
desenvolvimento de produtos, e de avaliação para os media de hardware.
3DMarkMobile ES 2.0 está disponível através de licenças de código-fonte apenas para membros
Principais características
 É um Benchmark para avaliar Hardware OpenGL ES 2.0 a 3D
 Realizar cargas de trabalho para stressar o hardware, através de jogos 3D exigentes
 Inclui dois testes de jogo de alto detalhe, e apresentam vários testes para medir diversas
características do hardware.
Exemplo de comparação entre dois jogos através do 3DMark®Mobile
Jogo Teste 1: Taiji Girl

 40 Segundos de duração
 Aprox. 50K polígonos visíveis por frame por média
 Três diferentes shaders fragmento utilizado para a menina
 O mapeamento de sombras utilizado (OpenGL ES 2,0 profundidade de textura suportados)
 Um ponto de luz utilizada
 Métricas FPS (Frames por segundo)
Jogo Teste 2: Hoverjet Racer

 45 Segundos de duração
 Aprox. 100K polígonos visíveis por frame em média
 Sombras pré processadas
 Uma luz direccional
 Métricas FPS
Benchmark Peacekeeper
Peacekeeper é um serviço gratuito que permite rapidamente descobrir qual o Browser que funciona
melhor no PC. É ferramenta on-line que através do browser, consegue avaliar a performance do browser.
30 | P á g i n a
31
O nome "Peacekeeper" é inspirado no conceito bem estabelecido de "guerra dos navegadores".
O facto é que a concorrência entre os navegadores nunca foi tão disputada como agora. Os cinco grandes
são: Internet Explorer, Firefox, Safari, Chrome e Opera,
No final do teste o browser recebe uma pontuação que indica o seu desempenho global, sendo bastantes
simples de comparar as pontuações.
As medidas de desempenho são baseadas no browser, testando a sua funcionalidade JavaScript, que são
medidos por são medidos em operações de frames por segundo.
Exemplo dos resultados finais testado no meu sistema computacional
31 | P á g i n a
32
Exemplo dos resultados efectuados por outros utilizadores
Benchmarks BAPCo
A Business Applications Performance Corporation (BAPco) é um consórcio sem fins lucrativos de várias
empresas (AMD, Atheros Communications, ATI Technologies, ARCintuition, CNET, Computer Shopper, Dell,
Hewlett-Packard, Intel, Microsoft, NVIDIA, Seagate, Toshiba, Transmeta, VNU Business Publications Limited
(UK), ZDNet e Ziff Davis Media).
BAPCo foi fundada para promover a criação de Benchmarks.para diversos sistemas operativos.
SYSmark ® 2007
SYSmark ® 2007 Preview é a versão mais recente do SYSmark esta em fase

desenvolvimento para plataformas 32 bit e 64bit, Windows Vista ,XP e Home.
É baseado em aplicações reais e mede e compara o desempenho do computador
em Windows Vista e Windows Xp.
32 | P á g i n a
33
É constituído pelas as seguintes aplicações:

o Adobe® After Effects® 7
o Adobe® Illustrator® CS2
o Adobe® Photoshop® CS2
o AutoDesk® 3ds Max® 8
o Macromedia® Flash 8
o Microsoft® Excel 2003
o Microsoft® Outlook 2003
o Microsoft® PowerPoint 2003
o Microsoft® Word 2003
o Microsoft® Project 2003
o Microsoft® Windows Media™ Encoder 9 series
o Sony® Vegas 7
o SketchUp 5
o WinZip® 10.0
A nova versão também inclui vários novos recursos e melhorias, como uma interface melhorada
permitindo iniciar e executar, juntamente com um heads-up display (HUD) e relatórios de erros automatizada.
SYSmark 2007 Preview é uma aplicação que reflecte os padrões de uso dos utilizadores de negócios nas
áreas de criação de vídeo, e-learning, 3D e modelagem de produtividade do escritório.
Existe versões anteriores como SYSmark® 2004 SE DUAL Pack e SYSmark® Generations, a nova versão
tem um preço base de $399.95, em comparação com versões anteriores o SYSmark® Generations,
apresenta valores superiores, aproximadamente 749 Dollars.
MobileMark® 2007
A MobileMark ® 2007 é a mais recente versão baseado em aplicações do mundo real, para plataformas 32
e 64-bit do Windows Vista, Windows XP Professional e Home.
Este estende-se no grupo MobileMark, que tem sido amplamente aceito pelos Gerentes de TI, PC OEMs,
imprensa e analistas de todo o mundo. A nova versão também inclui vários novos recursos e melhorias, como
uma interface melhorado permitindo iniciar e executar, juntamente com um heads-up display (HUD) e
relatórios de erros automatizados.
Reconhecendo a crescente diversidade na utilização de computação portátil, MobileMark 2007 apresenta
DVD, Wireless e módulos
Constituintes dos Módulos:
 DVD
 Wireless browsing
 Reader
 Core Productivity module
33 | P á g i n a
34
As aplicações que apresenta são:
 Adobe ® AcrobatReader 7.0

 Adobe® Illustrator® CS2
 Adobe® Photoshop® CS2
 Apple® Quicktime 7.1
 Intervideo® WinDVD® 8
 Macromedia® Flash 8
 Microsoft® Office® 2003 Pro
 Microsoft® Project 2003
 Winzip® 10.0
Cada módulo inclui um conjunto robusto e actualizados de aplicações e pode ser executado
individualmente para mostrar a vida da bateria em uma maior variedade de cenários específicos. Baseia-se
em seus antecessores, utilizando uma ampla equipa de desenvolvimento na história do benchmark PC.
Benchmark HQ
Benchmark HQ foi fundada desde 1999, apresenta uma gama de benchmarks bastante variada, sendo a
maior parte deles Freewares, e também Shareware onde se pode encontrar em http://benchmarkhq.ru/.
Maior parte dos programas disponíveis parece ser bastantes simples, mas ao mesmo tempo bastantes
úteis, como por exemplo Atomic CPU Test, que avalia a performance do CPU, cahe e memória, BMQ que
realiza testes de performance ao CPU, memoria e gráficos dos sistemas para Poket PC.
34 | P á g i n a
35
Conclusão
Ao realizar um processo de compra de um equipamento baseado no custo e beneficio torna- se
necessário garantir que equipamentos devemos comprar, como tal é sempre necessário realizar uma analise
segundo o seu desempenho. Esta tarefa é sem dúvida a mais complicada, especialmente tendo em conta a
variedade de plataformas de hardware software. O desempenho é uma característica fundamental na escolha
do equipamento, sendo a melhor opção optar por uma postura neutra principalmente para as principais
marcas e produtos, aconselhando-se assim a utilização de medidas de desempenho de acordo com as
necessidades, uma das formas é a identificação de medidas que permite superar os requisitos mínimos de
desempenho. Após este processo de análise e com estudo efectuado ao longo deste relatório podemos
chegar a conclusão que existe muito ferramentas que nos ajudam a tomar a decisão correcta na escolha de
um equipamento em que se poderia obter performance ideal, isto só seria possível com os benchmarks.
Apesar de a maioria não estar ao alcance de todos os utilizadores, isto por questões monetárias, e porque
foca-se essencialmente mais para empresas, podíamos optar sempre por pequenos programas e gratuitos
que nos ajudam a tomar a decisão, contundo a fiabilidade e a probabilidade de erro poderá ser maior, logo é
necessário compreender em que contexto o benchmarks deverá ser utilizado, e quais são os requisitos para
ser executado, penso que isso foi muito bem conseguido ao longo deste trabalho, a descrição geral da maior
parte dos benchmarks actuais, ao contrário de uma abordagem mais especifica, já não foi tão bem
conseguido isto porque realmente são muitos os benchmarks que podemos encontrar o que tornou mais difícil
realizar uma abordagem mais aprofundada. Contundo o tema deste trabalho é bastante apelativo e que
poderá ser abordado futuramente em outras áreas, como também como referencia para estudo mais
promenorizado.
35 | P á g i n a
36
Glossário
DirectX- É uma colecção de APIs que tratam de tarefas relacionadas com a programação de jogos para o
sistema operativo Microsoft Windows, ou seja, é quem realiza a comunicação entre software e hardware.
Com a padronização de comunicação, o DirectX fornece instruções para que aplicações (jogos, programas
gráficos, que são escritos para fins de sua utilização), e para que o hardware, utilize os seus recursos.
O DirectX foi inicialmente distribuído pelos criadores de jogos junto com seus produtos, que depois foi
incluído no Windows, a ultima versão é DirectX 11.0 (lançado no Service Pack 2 para Windows Vista e para
Windows 7). Não haverá mais revisões do DirectX, pelo menos não com o mesmo nome, segundo as
empresas ATI, nVidia e Microsoft. No lugar do DirectX, será lançada uma nova geração de APIs gráficas,
Windows Graphics Foudation e Avalon. É previsto que sejam lançados com o Windows Vista.
Frames por segundo (fps)- é a unidade de medida da cadência de um dispositivo audiovisual qualquer,
como uma câmara de cinema ou vídeo, uma webcam, um projector cinematográfico etc. Significa o número
de quadros que o dispositivo regista, e que processa ou que exibe por unidade de tempo.
HUD, sigla para Head Up Display, é um instrumento inicialmente desenvolvido para utilização em
aeronaves visando a fornecer informações visuais ao piloto sem que este tenha que desviar os olhos do alvo
à frente da aeronave.
OpenGL ES- (OpenGL for Embedded Systems) é uma subsecção da API (Aplication Programming
Interface) da biblioteca de gráficos tridimensionais projectada para sistemas embebidos como telefones
celulares, PDAs e consoles de jogos, este é mantido pelo Khronos Group.
Shader- Instruções de software usados nos processadores gráficos para renderizar efeitos.
Geometry shader- Combina uma série de vértices em objectos que serão processados pelos pixel
shaders.
Pixel shader- O pixel shader executa rotinas programáveis actuando no nível de pixel assim sendo,
depois que a imagem foi completamente modelada pelo sistema (CPU e GPU) e teve seus polígonos
“ajustados” pelo vertex shader, o pixel shader entra em acção analisando os materiais dos objectos
modelados e as condições de iluminação, e dando um toque final realçando cores onde for necessário,
adicionando reflexos onde eles existirem e criando qualquer efeito que o programador quiser com muito mais
realismo do que as técnicas mais simples de texturização e iluminação tradicionais.
Texture mapping unit- (TMU, unidade de mapeamento de textura) — Unidade que rotacional e que
redimensiona uma imagem bitmap e a aplica em uma superfície ou objeto 3D
Vertex shader - Manipula vértices e consequentemente o formato de objectos. Esses vértices são então
enviados para os geometry shader
36 | P á g i n a
37
Referências
[1]Neves, P. A. (2009). Arquitectura de Sistemas Computacionais. Obtido em 13 de 10 de 2009, de
Ambiente Formativo IPCB: https://elearning.est.ipcb.pt/C/est/BV/3465/aula_3.pdf
[2]Wikipédia. (10 de 12 de 2008). Benchmark. Obtido em 13 de 10 de 2009, de Wikipédia:

http://en.wikipedia.org/wiki/Benchmark_%28computing%29
[3]University, P. (2001 ). MFLOPS. Obtido em 14 de 10 de 2009, de Webster's Online Dictionary:

http://www.websters-dictionary-online.org/definition/MFLOPS
[4]GNU-FDL, M. d. (s.d.). Arquitetura de Computadores. Obtido em 14 de 10 de 2009, de Escola

Politécnica da Universidade de São Paulo:
http://www.poliparatodos.poli.usp.br/modulos/17/paginas/html4/ARQDES04.pdf
[5]Lau, N. (06 de 02 de 2004). Arquitectura de Computadores II . Obtido em 14 de 10 de 2009, de Instituto

de Engenharia Electrónica e Telemática de Aveiro: http://www.ieeta.pt/~lau/ACII0304/docs/acII0304_0206.pps
[6]Wichmann, H. J. (Ed.). (1976). Whetstone. Obtido em 14 de 10 de 2009, de Roy Longbottom's PC

Benchmark Collection: http://www.roylongbottom.org.uk/whetstone.pdf
[7]the Distributed Computing. (10 de 09 de 2006). The Whetstone Benchmark. Obtido em 14 de 10 de

2009, de the Distributed Computing: http://www.cse.scitech.ac.uk/disco/Benchmarks/whetstone.shtml
[8]Ida, C. O. (11 de 05 de 2000). Benchmarks. Obtido em 14 de 10 de 2009, de Instituto de Informática

Universidade Federal do Rio Grande do Sul:
http://www.inf.ufrgs.br/gppd/disc/cmp134/trabs/T1/001/benchmarks/Benchmarks_p2.htm
[9]Standard Performance Evaluation Corporation. (06 de 05 de 2008). SPEC Organizational Information.

Obtido em 14 de 10 de 2009, de Standard Performance Evaluation Corporation: http://www.spec.org/spec/
[10]Standard Performance Evaluation Corporation. (09 de 09 de 2009). Open Systems Group . Obtido em
15 de 10 de 2009, de Standard Performance Evaluation Corporation: http://www.spec.org/osg/
[11]Standard Performance Evaluation Corporation. (09 de 09 de 2009). SPEC Frequently Asked Questions
.Obtido em 15 de 10 de 2009, de Standard Performance Evaluation Corporation:
http://www.spec.org/spec/faq/
[12]Manssour, I. H. (11 de 2006). Animação por Computador. Obtido em 2009 de 10 de 16, de Mobile
Robotics Laboratory: http://paloma.isr.uc.pt/~jaugusto/code/OpenGL_Tests/ogl_Demos/opengl/animacao.pdf
[13]Futuremark (18 de 10 de 2009). About Us. Obtido em 18 de 10 de 2009, de futuremark:

http://www.futuremark.com/companyinfo/aboutus/
37 | P á g i n a
38
[14]Wikipédia. (20 de 09 de 2009). Benchmark. Obtido em 18 de 10 de 2009, de Wikipédia:
http://pt.wikipedia.org/wiki/Directx
[15]BAPCo's (2009). About us. Obtido em 2009 de 10 de 19, de BAPCo's

http://www.bapco.com/about/index.php
[16]BAPCo's . (2009). About us. Obtido em 2009 de 10 de 19, de BAPCo's :

http://www.bapco.com/about/index.php
http://www.scribd.com/doc/21128519/trabBenchmark
http://www.scribd.com/doc/21127949/1
38 | P á g i n a
39
39 | P á g i n a

ExtensãoII Benchmarks (Trabalho)

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

ExtensãoII Benchmarks (Trabalho)

Caricato da

Copyright:

Formati disponibili

1

De modo obter melhores resultados a solução é definir programas de avaliação normalizados,

Medidas de desempenho baseadas no tempo

Existe actualmente vários tipos de Benchmarks:

O Sistema de Avaliação de Desempenho Cooperativa (System Performance Evaluation Cooperative),

 High Performance Group (HPG)

SPEC High-Performance Group (HPG) desenvolve Benchmarks com as principais características:

 Graphics and Workstation Performance Group (GWPC)

SPECapc- Application Performance Characterization Group dedica-se exclusivamente a criacção de

Graphics and Workstation Performance

Network File System

Visão específica de Benchmarks da SPEC

É a próxima geração de padrões industrializados,

CFP200 possui.17 Benchmarks:

Melhorias no SPEC CPU2006 V1.1 incluem:

SPECviewperf é um programa escrito em C, que tem a capacidade de ser compilado ou executado em

SPECapcSM for 3ds Max 9

SPECapcSM for Lightwave 3D® 9.6

SPECapcSM for Maya® 2009

Utiliza complexos modelos como um carro de corrida em

SPECapcSM for Solid Edge V19™

SPECapc for Solid Edge V19 é uma versão do Benchmark

SPECapcSM for SolidWorks 2007

Este Benchmark foi desenvolvido pela SolidWorks, através do

SPECapcSM for UGS NX 4

SPECapc para UGS NX 4 resultou da colaboração entre a

SPECjAppServer2004 (Java Application Server) é um benchmark multi-camadas para medir a

 Web, incluindo servlets e JSPs

SPECjms2007 é a primeira indústria-padrão para avaliar o desempenho de performance de servidores

SPECmail2001 é um benchmark retirado do mercado, que mede a capacidade de um sistema ao actuar

Exemplos de Resultados baseado em cargas de trabalho CIFS

Tested By Product Results System Configuration

Exemplo do Modelo Chroma 66202

SPECpower_ssj2008 é o primeiro benchmark da SPEC que avalia o consumo e performance de

hardware de virtualização, virtualização de SO’s e esquemas de particionamento de hardware para cenário

SPECweb2009 O CD-ROM contém:

O SPECweb2005 avalia performances de servidores Web, como por exemplo:

Relação de Custo entre os diferentes tipos de Benchmarks

Futuremark é uma empresa fundada em 1997, que

Benchmarks para Dispositivos Móveis

Visão Especifica de Benchmarks da Futuremark

Exemplo de comparação entre dois jogos através do 3DMark®Mobile

Jogo Teste 1: Taiji Girl

Jogo Teste 2: Hoverjet Racer

Exemplo dos resultados finais testado no meu sistema computacional

Exemplo dos resultados efectuados por outros utilizadores

SYSmark ® 2007 Preview é a versão mais recente do SYSmark esta em fase

É constituído pelas as seguintes aplicações:

 Adobe ® AcrobatReader 7.0

[2]Wikipédia. (10 de 12 de 2008). Benchmark. Obtido em 13 de 10 de 2009, de Wikipédia:

[3]University, P. (2001 ). MFLOPS. Obtido em 14 de 10 de 2009, de Webster's Online Dictionary:

[4]GNU-FDL, M. d. (s.d.). Arquitetura de Computadores. Obtido em 14 de 10 de 2009, de Escola

[5]Lau, N. (06 de 02 de 2004). Arquitectura de Computadores II . Obtido em 14 de 10 de 2009, de Instituto

[6]Wichmann, H. J. (Ed.). (1976). Whetstone. Obtido em 14 de 10 de 2009, de Roy Longbottom's PC

[7]the Distributed Computing. (10 de 09 de 2006). The Whetstone Benchmark. Obtido em 14 de 10 de

[8]Ida, C. O. (11 de 05 de 2000). Benchmarks. Obtido em 14 de 10 de 2009, de Instituto de Informática

[9]Standard Performance Evaluation Corporation. (06 de 05 de 2008). SPEC Organizational Information.

[13]Futuremark (18 de 10 de 2009). About Us. Obtido em 18 de 10 de 2009, de futuremark:

[15]BAPCo's (2009). About us. Obtido em 2009 de 10 de 19, de BAPCo's

[16]BAPCo's . (2009). About us. Obtido em 2009 de 10 de 19, de BAPCo's :

Potrebbero piacerti anche