Xiaomi hace trampa con los Benchmarks

Tras los informes de que Samsung redujo el rendimiento de varias aplicaciones y juegos en sus teléfonos insignia (e incluso redujo las tabletas recientes como la serie S8 ), otros fabricantes han sido objeto de escrutinio por sus propios comportamientos de ajuste del rendimiento. Al probar la última línea de Xiaomi con la popular aplicación de evaluación comparativa Geekbench , hemos medido una diferencia de rendimiento notable entre varias versiones “falsificadas” de la aplicación que fueron reconocidas por el sistema como aplicaciones o juegos conocidos. Según Geekbench, este comportamiento hará que los teléfonos afectados se eliminen de sus gráficos de evaluación comparativa a finales de esta semana.

Probamos varias versiones modificadas de la aplicación Geekbench que estaban destinadas a activar cualquier perfil de rendimiento de identificación de aplicaciones en Xiaomi 12 Pro y Xiaomi 12X . Todavía estamos investigando el mecanismo detrás de cómo funciona el ajuste de rendimiento de Xiaomi (y lo actualizaremos cuando sepamos más al respecto), pero nuestros números preliminares indican que Xiaomi está dando a las aplicaciones que reconoce como juegos o puntos de referencia un mejor perfil de rendimiento y rendimiento de aceleración para otras aplicaciones. Esto se confirma con las diferencias en los puntajes de referencia para las versiones modificadas de la aplicación Geekbench:

Los resultados de Geekbench para 12 Pro y 12X comparan las versiones de la aplicación modificadas para parecerse a otras aplicaciones en el sistema (es decir, que fueron “falsificadas”).

Los resultados específicos de nuestras pruebas variaron entre modelos, pero en general indicaron que el teléfono estaba usando múltiples perfiles de rendimiento en todas las aplicaciones. Al revisar dos teléfonos de la serie 12 reciente, el 12 Pro con tecnología Snapdragon 8 Gen 1 se ve más afectado por la aceleración del rendimiento que el 12X equipado con Snapdragon 888.

Las versiones de la aplicación Geekbench que el sistema reconoce como Geekbench o Genshin Impact obtuvieron resultados de referencia con un rendimiento de un solo núcleo hasta un 50 % mejor en el 12 Pro en comparación con las versiones de la aplicación que el sistema creía que eran Netflix o Chrome: una penalización sustancial en el rendimiento . Incluso el 12X se vio afectado hasta cierto punto, con una diferencia similar pero menor en los resultados que, sin embargo, fue mayor que cualquier margen de error esperado.

Curiosamente, el rendimiento simplemente varió cuando la aplicación se identificó correctamente como Geekbench. La versión distribuida de Play Store de la aplicación obtuvo resultados más altos que una versión corporativa ligeramente diferente de la aplicación, que fue limitada. El Xiaomi 12X también vio una mayor diferencia entre el juego y el rendimiento de referencia, que no parecía estar presente en el 12 Pro. Esto podría indicar un sistema de aceleración más complejo o diferentes perfiles de rendimiento según el hardware base o el modelo de teléfono, ya que los conjuntos de chips varían entre los dos dispositivos.

Nuevamente, aún no hemos podido sumergirnos en el funcionamiento técnico interno de cómo podría funcionar el perfilado/aceleración del rendimiento de Xiaomi, pero según estos resultados, parece que Xiaomi simplemente está cargando diferentes perfiles según los detalles de identificación de la aplicación, como los nombres de los paquetes. , con juegos y aplicaciones de evaluación comparativa que obtienen el máximo rendimiento, mientras que otras aplicaciones potencialmente menos exigentes obtienen un perfil de rendimiento limitado.

Xiaomi se ha involucrado en “optimizaciones” similares en el pasado, con el Xiaomi 11T Pro utilizando diferentes perfiles de rendimiento para diferentes aplicaciones , en ese caso, adoptando un perfil de rendimiento de aceleración más rápida para aplicaciones que creía que eran juegos. Aunque no probamos el rendimiento “sostenido” en nuestros dispositivos (no tenemos un estándar establecido para las pruebas “sostenidas” en Android Police, y no estamos seguros de cuáles podrían ser las referencias estándar de Anandtech), la serie 12 podría haber comportamiento similar.

Nos comunicamos con Xiaomi para obtener más información, pero la compañía no respondió de inmediato a una lista de preguntas. El fundador y presidente de Geekbench, John Poole, nos proporcionó la siguiente declaración:

Es decepcionante ver a otro fabricante de dispositivos engañar a los consumidores al reducir el rendimiento de la aplicación pero no el rendimiento de referencia. Estamos investigando qué teléfonos Xiaomi están afectados y esperamos comenzar a eliminar los teléfonos Xiaomi de la tabla comparativa de Android a finales de esta semana.

No se estableció un cronograma preciso, y no sabemos cuántos de los teléfonos de Xiaomi podrían tener este tipo de comportamiento de aceleración selectiva, que Geekbench nos dijo anteriormente que considera una forma de manipulación de referencia, pero los teléfonos que han demostrado ser afectados se eliminarán de los gráficos de Android Benchmark de la compañía a finales de esta semana. Anteriormente, Geekbench eliminó cuatro generaciones de teléfonos Samsung por un comportamiento similar. Aunque una actualización reciente puede haber ajustado ese comportamiento, la política de Geekbench hasta la fecha ha sido que una vez que un dispositivo se elimina de la lista, permanece eliminado (aunque eso podría cambiar).

En este momento, el Xiaomi Mi 11 es el número 3 en las listas Geekbench Single Core, y el Poco F2 Pro es el número 2 en la tabla Multi-Core. Si se demuestra que alguno de los teléfonos está afectado, podrían perder esas coronas.

Fuente: Android Police