Miércoles 02 de octubre de 2013 | 01:36

Cuidado con usar sólo las pruebas de laboratorio para elegir un equipo: no son la única verdad

Tecnología

Sirven para medir el rendimiento de una computadora o un smartphone, pero sólo dan parte de la información; y se pueden falsear, como se supo esta semana

Por Ricardo Sametband  | LA NACION

Comentá2

inShare

    

Suelo tomar con cautela los benchmarks , esas pruebas de laboratorio que se usan para intentar determinar qué equipo es "mejor", al menos en lo técnico. Permiten tener algo comparable (un número, una puntuación) para intentar determinar si cierto dispositivo es más rápido o poderoso que otro. Es una aplicación que le encomienda tareas al equipo -al procesador, a la parte gráfica, a la memoria, al navegador- calcula el tiempo que le toma resolverlas y obtiene una puntuación, que puede compararse con la de otros dispositivos y determinar, así, la superioridad de uno sobre el otro. Si fueran autos, por ejemplo, la medida sería el rendimiento por litro de combustible o la velocidad máxima.

En informática es más complejo, y por lo tanto existe un gran número de herramientas para medir el rendimiento de sus componentes. De hecho, no existe un único estándar. "En general las pruebas están diseñadas para exigir el hardware. Llevarlo a los límites te ayuda a medir su máximo rendimiento. Puede no parecer importante cuando el dispositivo está sin hacer nada en tu bolsillo, pero para algunas aplicaciones es clave", me explicó Marek Wiacek, el polaco detrás de Quadrant , uno de los muchos programas para hacer testeos en móviles. "Quizá no necesites el hardware más moderno para tomar foto o escribir un e-mail, pero vas a notar la diferencia cuando juegues a un videojuego moderno o visites una página Web compleja", afirmó.

También hablé con la gente de GFXBench , hecho en Hungría; vía mail, me respondieron que el suyo "es un examen para exigir el hardware y ver de qué es capaz su procesador gráfico, y darle una idea al usuario de cómo se verán las aplicaciones con gráficos de alta resolución en su dispositivo; un buen puntaje sugiere que podrá correr aplicaciones futuras con gráficos complejos sin inconvenientes".

 

La comparativa de rendimiento del Samsung Galaxy Note 3 con el LG G2 y el Galaxy S4, según el software de pruebas Geekbench. Foto: Arstechnica

 

El problema es que las pruebas de laboratorio (las pruebas sintéticas, como también se las llama) sirven para comparar equipos de hardware disímil usando un patrón común, pero lo que es fácilmente distinguible en una tabla con números puede no serlo en el uso diario, salvo que los equipos comparados estén uno al lado del otro y se les pida la misma tarea.

¿Son útiles, entonces? Sí, pero no deberían ser el único elemento para decidir una compra. Si el teléfono A es medio segundo más rápido que el B esa diferencia se apreciará a veces. pero fuera de esas condiciones únicas de laboratorio pasará, en general, inadvertida. Si fuera un auto, está bueno saber que su velocidad máxima es de 200 y el de otro es de 210 km/h, pero es un dato que queda bien en el tablero antes que algo que haga que un auto sea realmente mejor que el otro. Salvo que sea un auto de carrera, claro, es un dato importante pero no fundamental.

Ciertas tareas, como enviar un SMS o escuchar música, son resueltas por la mayoría de los equipos sin inmutarse; quien busque un celular para ese tipo de cosas no encontrará demasiado valor en las pruebas de laboratorio, más orientados a situaciones de exigencia (videojuegos, ver películas de alta definición, etcétera). En los sistemas operativos modernos, además, hay múltiples elementos que influyen sobre la experiencia resultante de un dispositivo (si una aplicación depende de contenido que se descarga en forma dinámica, por ejemplo; si hay otras cosas corriendo detrás).

Así que en general no recomendamos tomarlos como una verdad única, aunque ciertamente sirven como un parámetro. Son útiles, sobre todo para los entusiastas de la tecnología, porque ponen en un negro sobre blanco teórico la superioridad de un equipo sobre el otro. El problema es que en la vida real esa superioridad que parece enorme en los números puede tener un efecto mínimo en el uso cotidiano, como muestra este video que compara la velocidad de todos los iPhone; los de la 5ta generación tienen diferencias entre sí, pero no parecen ser fundamentales.

El otro problema es que las pruebas se pueden falsear. Eso es lo que sucedió, aparentemente -y por segunda vez- con Samsung y sus Galaxy: según publicó ArsTechnica ayer , en su reseña del Galaxy Note 3 corrieron las pruebas de laboratorio de rigor y se encontraron con que los números le daban altos; mucho más altos incluso que otro equipo con el mismo hardware, el LG G2 (un Qualcomm Snapdragon 800 a 2,3 GHz en ambos casos); casi un 20 por ciento. Decidieron investigar un poco, con el precedente de algo que había marcado otro sitio especializado (AnandTech) que había encontrado algo similar con el Galaxy S4.

En ambos casos el resultado es idéntico: el Android que está en esos equipos reconoce a las pruebas de laboratorio más populares (identifica la aplicación de testeo que las inicia) y modifica el rendimiento del equipo para que mida mejor. Se esmera un poquito para la prueba, digamos, a sabiendas de que un mayor puntaje lo hace más atractivo para quienes le dan importancia a esos parámetros.

En el caso de AnandTech Samsung respondió a la publicación con un texto que indica que el procesador gráfico del S4 corre en circunstancias normales a 480 MHz, pero que para algunas aplicaciones como S Browser, la Galería, la Cámara, el Reproductor de Video (todas aplicaciones propia sde Samsung o de Android) y algunas aplicaciones de benchmarking (lo aclara específicamente) le permite subir a 533 MHz. Aumentar la velocidad de reloj del procesador, no está de más aclararlo, equivale a una mayor rapidez para resolver las tareas encomendadas.

La noticia llega, además, pocos días después de que Samsung anunciara la creación de MobileBench, consorcio para crear herramientas para hacer pruebas de laboratorio; lo integra junto con Broadcom, Huawei, Oppo y Spreadtrum, pero como notan en Engadget no participan Qualcomm y Nvidia, entre otros.

Aunque al que encontraron con las manchas de tinta en las manos es a Samsung, nada evita que otro fabricante haga lo mismo (ni que lo esté haciendo ya). Así que cuando miren los números de una prueba de laboratorio, tengan en cuenta que aunque es en general un dato útil, no es la verdad revelada; y un equipo puede no ser el más rápido del mercado, pero igual ser lo suficientemente veloz como para cumplir todo lo que se le pide. Y lo que en el laboratorio es significativo en una lista puede no serlo en el día a día..