Monografias | Qué es un Benchmark?

Un benchmark es un conjunto de procedimientos (programas de computación) para evaluar el rendimiento de un ordenador. Hay cuatro categorías generales de pruebas de comparación :

• Pruebas aplicaciones-base (application-based) las ejecuta y las cronometra.
• Pruebas playback (playback test), las cuales usan llamadas al sistema durante actividades especificas de una aplicación(Ej.: Llamados a gráficos o uso del disco) y las ejecuta aisladamente.
• Prueba sintética (synthetic test) , la cual enlaza actividades de la aplicación en subsistemas específicos.
• Prueba de inspección (inspection tests), la cual no intenta imitar la actividad de la aplicación, sino que las ejecuta directamente en los subsistemas específicos.

   

Los test de aplicaciones base entregan la mejor forma de medir el rendimiento completo de el sistema en el mundo real.

El programa Winstone de Zdnet, ejecuta mas de una docena de las aplicaciones mas populares en el ambiente Windows, es un ejemplo de este tipo de comparadores.

Donde sea factible la tecnología playback le da la manera mas real de medir subsistemas individuales en aislación.

El programa WinBench de ZDnet utiliza la tecnología playback para probar gráficos, Cd-rom y subsistemas de disco duro, también corre cientos de otras pruebas en áreas especificas del computador.

Los test Synthetic continúan en el estado de medición del rendimiento es por eso que winbench usa las pruebas de procesadores.

Los test de inspección tienen su lugar verificando el comportamiento libre de fallas y midiendo rendimiento operación por operación, por esto se incluye el test de inspección en el winbench.

Dhrystone es una medida de rendimiento de la CPU en entero, expresado en Millones de instrucciones por segundo(MIPS).

El Dhrystone benchmark es ampliamente usado en la industria de las computadoras como una medida de rendimiento, Wintune (programa benchmark) usa la versión modificada del Dhrystone que mantiene sus datos en el almacenador del programa. Esto permite al benchmarks trabajar apropiadamente en múltiple threads en Windows NT.

El Dhrystone estándar , fue originalmente diseñado para un único ambiente (single-threaded), manteniendo alguno de sus datos en variables estáticas globales.

El Dhrystone es un benchmark sintético, diseñado para contener ejemplos representativos de las operaciones normalmente requeridas por las aplicaciones. Estas no calculan el resultado de ningún tipo, pero hacen enlaces de complicadas secuencias de instrucciones usadas por las aplicaciones.

El resultado del Dhrystone es determinado por el tiempo que toma la medición para ejecutar esta secuencia de instrucciones .

La aritmética del entero simple, decisiones lógicas, y accesos de memoria son las actividades dominantes de la CPU en la mayoría de los programas Windows.

El Dhrystone benchmark hace un uso intensivo de estas áreas. Por lo tanto el Dhrystone no tiene suficiente código de programa o acceso suficiente a las locaciones de memoria para simular la actividad de la mayoría de los programas reales.

Su lugar de trabajo de código y datos puede generalmente ser mantenido en el cache de la CPU, con lo cual resulta con un alto rendimiento.

Desde que el Dhrystone no ofrece una buena indicación del rendimiento de memoria, Wintune tiene un set separado de prueba de memoria.

Whetstone es una medida de rendimiento de la CPU en punto flotante, expresado en Millones de operaciones de punto flotante por segundo (MFLOPS).

El Whetstone benchmark es ampliamente usado en la industria de la computación como una medida de rendimiento, Wintune usa una versión modificada del Whetstone que mantiene sus datos en el programa de almacenamiento. Esto permite al benchmarks trabajar apropiadamente en múltiples threads en Windows NT.

El Whetstone estándar, fue originalmente diseñado para un ambiente único, manteniendo alguno de sus datos en variables estáticas globales .

La aritmética del punto flotante es la mas significativa en programas que requieren FPU . Estos son en su mayoría ingeniería científica, de estadísticas, y programas de ayuda de diseño en computación. Es también un pequeño componente en hoja de cálculo, dibujo y pintado de programas. (Aunque la hoja de calculo trabaja con números también tiene una mejor presentación en pantalla.) Los programas procesadores de texto típicamente no hacen ningún computo en punto flotante. El Whetstone hace mucha aritmética del punto flotante un poco de acceso de memoria, y un poco la aritmética del entero.

Juzgar el rendimiento de un sistema cuando se están tomando decisiones de compra es algo crítico a fin de retardar la obsolescencia y proteger su inversión.

Los procesadores Pentium(R) ofrecen la vida útil más larga.

Ud. quiere obtener el máximo en la compra de su sistema. Parte de esto consiste en asegurarse que el sistema que elige le permite hacer lo que desea durante toda la vida del sistema. Esto significa que no solo va a gestionar el software de hoy sino que dispone de los recursos necesarios para ejecutar los mas complejos programas del día de mañana.

Tal como se muestra en el diagrama de más arriba, para cualquier punto determinado en el tiempo se encuentra disponible una gama de procesadores-- aquellos que ofrecen el máximo rendimiento posible y aquellos que ofrecen un mínimo nivel de rendimiento. Las flechas indican que comprando el de mayor rendimiento se obtiene una vida útil más larga.

Es importante evaluar a una serie de aspectos relativos al rendimiento cuando se han de tomar decisiones de compra.

El rendimiento global que puede Vd. obtener de su PC depende de cómo cada uno de sus componentes trabajan juntos para realizar una tarea. El efecto de cada componente individual puede variar dependiendo de en cuanto está interviniendo en ejecutar una aplicación particular. Como se muestra más abajo, el 54% del rendimiento del sistema depende de su procesador , o CPU, cuando se ejecutan aplicaciones Windows* típicas. Otros componentes tales como memoria, vídeo y disco también juegan un papel. Una "conexión débil" en el sistema puede reducir significativamente la velocidad y el tiempo de respuesta que Vd. experimente.

Los porcentajes representan la utilización de los componentes cuando se ejecutan aplicaciones Windows* típicas

Por tanto, cuando elija un sistema, debe de empezar Vd. buscando cual es el procesador que le ofrece el mejor rendimiento para su software, a un precio razonable. Entonces puede Vd. empezar a analizar los otros componentes del sistema para asegurarse que se benefician de todas las ventajas de la potencia del procesador.

El decidir qué procesador Intel y qué sistema es el adecuado tiende a ser cada vez más difícil dado los nuevos productos PC que están apareciendo en el mercado. Una manera de diferenciar estos productos consiste en saber cómo su rendimiento se ve afectado con los trabajos de los que está Vd. interesado en obtener un mejor rendimiento, a fin de ganar tiempo de respuesta en las actividades que diariamente realiza, tales como crear un documento o trabajar sobre el último programa multimedia. Tambien puede Vd. precisar de un rendimiento que le posibilite la opción de ejecutar el software cada vez más complejo de hoy dia. Saber cómo el rendimiento del procesador y el sistema se puede ver afectado, le ayudará a realizar una elección mejor informada. Sin embargo, medir el rendimiento no es siempre algo simple. Para tomar la decisión correcta, necesita Vd. comprender qué es lo que está midiendo.

Un error frecuente es medir el rendimiento entre PCs estableciendo la comparación entre la velocidad del procesador en MHz o velocidad del reloj. Es algo así como utilizar RPM para medir la velocidad de su automóvil.

¿Miraría Vd. el tacómetro de su automóvil, que mide RPM, para determinar si está excediendo el límite de velocidad (y evitándose una elevada multa)?. Probablemente no, dado que el tacómetro NO mide la velocidad del vehículo, sino que mide cuan rápido está rotando el motor.

Así como las RPM no indican cuan rápido está circulando su automóvil, los megahertzios no indican lo rápido que su hoja de cálculo se ejecutará. Es, por lo tanto, inadecuado comparar cuan rápido dos PCs realizarán una tarea comparando únicamente velocidades de reloj o megahertzios. Por ejemplo, un procesador Pentium(R) corriendo a 75 megahertzios supera fácilmente a un procesador IntelDX4(TM) a 100 megahertzios. Estas es una de las razones por las que la industria creó las pruebas de rendimiento.

Una prueba comparativa es un programa software que mide el rendimiento de una computadora, o las partes que la componen, ejecutando exactamente la misma cada vez. Estas pruebas no solamente pueden ayudarle a comprender el rendimiento de los diferentes sistemas a comparar, sino que también pueden ayudarle a evaluar el rendimiento de un sistema determinado bajo diferentes configuraciones hardware y software. Cada prueba evalúa un diferente tipo de trabajo. Algunas pruebas evalúan lo rápido que una computadora puede generar un documento. Algunas pruebas evalúan lo rápido que se dibuja un gráfico en la pantalla. Otras evalúan cómo de rápidas se realizan determinadas operaciones matemáticas . Algunas pruebas pueden evaluar todas esas tareas al mismo. Para obtener resultados que tengan algún significado para Vd., use pruebas que reflejen el uso que hace Vd. de su computadora.

 

• Hay dos niveles de pruebas: COMPONENTE y de SISTEMA.

   

Las pruebas de sistema evalúan el rendimiento global del sistema.

 

• Hay dos tipos de pruebas: APLICACION y SINTETICAS.

   

Hay muchas pruebas de rendimiento diferentes disponibles hoy día, pero no todas las pruebas han sido creadas de la misma forma. Crear una prueba requiere una considerable experiencia e inversión. La utilidad y exactitud de cualquier prueba depende fundamentalmente de la calidad de su implementación y las suposiciones que se hacen, por lo que puede darse que los resultados pueden variar de una prueba a otra.

Es importante que, como hace normalmente con su software cuando se le queda obsoleto, consiga Vd. versiones actualizadas de las pruebas.

Como medir el rendimiento de los PC de hoy: La tecnología actual suministra rápidos procesadores de 32-bits, mejor memoria, y subsistemas mejorados de display. Estos avances han coincidido con nuevos sistemas operativos, aplicaciones y características, lo que da como resultado una continuada necesidad de pruebas comparativas modernas para medir adecuadamente el rendimiento de los PCs de hoy y mañana.

Cuando se compra un PC, es crítico incorporar a su proceso de evaluación métodos actualizados para obtener el rendimiento. Esto se debe a que pruebas obsoletas basadas en antiguos entornos hardware y software, no pueden decirle todo lo que Vd. necesita saber.

Ante todo, los procesadores y las plataformas son cada vez más sofisticados . . .

Al mismo tiempo, el software continua mejorando en características y

prestaciones . . .

El resultado: una continua necesidad de nuevas pruebas comparativas para medir el rendimiento.

Pruebas como Dhrystone y PowerMeter MIPS* podían considerarse adecuadas en los tiempos del procesador 286 cuando los sistemas se configuraban de una forma relativamente simple comparada con hoy dia y cuando se ejecutaban aplicaciones DOS. Al mismo tiempo que la sofisticación ha aumentado, la industria se ha dirigido a crear nuevos tipos y herramientas de evaluación del rendimiento a fin de poder obtener resultados más ajustados.

Para explorar la evolución de las nuevas pruebas para PC --y el porqué son tan importantes en su decisión de compra--

Ese tipo de pruebas no tienen completamente en cuenta la diferencia de rendimiento entre el software de 16 y 32-bits, ni son capaces de testear las posibilidades globales de las plataformas o los sistemas operativos de 32-bits de hoy dia. Dos factores contribuyen principalmente al declive de este tipo de pruebas para medir el rendimiento. Ante todo, hay significativas diferencias entre el software para 32-bits y 16-bits. Y los avances en el hardware y los sistemas operativos estan creando una gama de nuevas características del software que este tipo de pruebas antiguas sencillamente no tienen en cuenta.

La continua evolución a sistemas operativos de 32-bits está alentando a los vendedores de software a crear nuevas aplicaciones escritas en el modelo de programación para 32-bits. El uso de software de 32-bits tiene implicaciones importantes para el procesador de los PC's dado que el sistema usa el tiempo de proceso de forma diferente --y de forma más eficaz-- cuando ejecuta aplicaciones de 32-bits.

• El software de 16-bits necesita más tiempo en gestionar todo el entorno (tal como la gestión del segmento de memoria, por ejemplo). Esto proviene de los tiempos de programación para el 286 y el DOS, donde solamente era posible un direccionamiento de memoria de 64K al mismo tiempo.

• Comparativamente, el software para 32-bits típicamente precisa menos gestión de memoria, liberando al procesador para gastar más tiempo en actividades críticas, tales como tratamiento de instrucciones ALU y coma flotante. El gráfico de más abajo muestra el porcentaje del tiempo que el procesador ha gastado en diferentes instrucciones para aplicaciones de 32-bits en Windows*95, así como para aplicaciones de 16-bits en Windows 3.1.

Esto significa que todas las aplicaciones de 32-bits se ejecutan más rápidamente que todas sus equivalentes de 16-bits, con lo que típicamente las aplicaciones de 32-bits deberán de tener una significativa mejora sobre la versión para un entorno DOS de 16-bits.

La mayoría de las pruebas antiguas pueden también fallar al analizar las nuevas características ofrecidas por el software más recientes como:

• Multitarea

La mayoría de los sistemas operativos de 32-bits dividen el tiempo de proceso en tareas múltiples --muchas de las cuales pueden ejecutarse de forma continuada en segundo plano-- tales como impresión o conmutar entre distintas aplicaciones. Este tipo de trabajo en modo múltiple requiere una gran potencia de proceso.

• Aplicaciones más grandes

El mayor número de características de una aplicación obligan a consumir un mayor espacio en todos los subsistemas de memoria. Esto aumenta los requerimientos de rendimiento para discos, la memoria y la arquitectura de la gestión de memoria.

• Incremento del tamaño de los datos

El aumento de aplicaciones que hacen un uso intensivo de vídeo y gráficos, así como velocidades más rápidas de red, requiere operaciones de entrada/salida más eficaces para un ancho de banda más alto del sistema.

• Multitarea / Multiproceso

La multitarea tiene una mayor eficacia ejecutando algunas aplicaciones modernas. La evaluación del rendimiento de aplicaciones multitarea y sistemas multiprocesador requiere técnicas especiales.

• Mejor protección de memoria

Los nuevos sistemas operativos como Windows NT dotan al sistema de una mayor fiabilidad para aislar las aplicaciones, lo que es por aplicaciones aislantes desde el uno al otro y el sistema operativo -- otra característica que requiere adicional capacidad de proceso.

• Nuevos recursos del sistema

Estos Sistemas Operativos que aparecen incluyen nuevos Interfaces de Programación de Aplicaciones (APIs) que hacen más fácil a los desarrolladores de software integrar las más nuevas posibilidades en sus aplicaciones. Estas incluyen mejores gráficos 3D, protocolos de telefonía (TAPI), y soporte de datos más complejos tales como audio y vídeo, que precisan de una mayor potencia de computación.

La gente quiere que sus computadoras duren el mayor tiempo posible. Por esta razón tiene sentido comprar máquinas que tengan el mayor rendimiento disponible. Pero esto precisa de pruebas comparativas diseñadas para las aplicaciones de hoy, a fin de poder evaluar el rendimiento de proceso.

A continuación le indicamos en qué le pueden ayudar las pruebas comparativas modernas a medir el rendimiento de proceso:

• Adecuar apropiados estándares de rendimiento que tomen en cuenta las diferentes características del software de 32-bits y las nuevas posibilidades de multitarea, video y 3D que las viejas pruebas no tienen en cuenta.

• Una medida más precisa de las diferencias de rendimiento relativo entre dos PCs distintos, permitiéndole aumentar la vida útil de un PC con la vista puesta en el futuro.

• Ayudarle a prevenir que tenga que aumentar su inversión antes de tiempo, mostrándole la verdadera diferencia de rendimiento entre dos sistemas.

•SPECint*95, SPECfp*95.

•Norton SI 32*

•CPUmark32*

•SYSmark*32 para Windows 95* .

•SYSmark para Windows NT*

Otras áreas del rendimiento del PC necesitan ser exploradas e incorporadas a las pruebas comparativas de la industria para que se pueda disponer de una correcta visión de las capacidades del sistema. Estas áreas incluyen la multitarea, vídeo, gráficos 3D y sonido, comunicaciones y reconocimiento de voz.

Intel está involucrándose activamente, junto con muchos consorcios y organizaciones de la industria, en ayudar a desarrollar estas pruebas. Como resultado, podrá Vd. tener un mejor indicador para estar informado en la decisión de compra de los PCs de hoy y en el futuro.

Sitios de Internet : Intel,SEI, ZD-NET.-

Trabajo realizado por:

Oscar Toro

otoroc@cmet.net