Erwischt: Meizu und OnePlus schummeln in Benchmarks

Vor einigen Jahren kam heraus, dass einige Smartphone-Hersteller in Benchmarks mogelten: HTC, LG, Samsung und Sony wurde nachgewiesen, dass sie bei ihren Smartphones CPU- und GPU-Takt anders festlegten als im normalen Betrieb. Wurde erkannt, dass ein Benchmark wie Geekbench 3 startet, schaltete das jeweilige Smartphone in einen speziellen Betriebsmodus, so dass die Ergebnisse noch weniger auf den Alltag übertragbar waren, als das bei synthetischen Benchmarks ohnehin schon der Fall ist. Während die genannten Hersteller nach der entsprechenden Kontroverse in den Medien und Communities jene Praxis ad acta legten, wurde nun dafür Meizu und OnePlus Benchmark-Mogelei nachgewiesen.

Aufgedeckt wurde die Schummelei durch die Kollegen von XDA Developers und Primate Labs. XDA Developers wurde eher durch Zufall auf auffälliges Verhalten des SoCs am OnePlus 3T aufmerksam. Letzten Endes stellte sich heraus, dass das OnePlus 3T bei Erkennung von beispielsweise Geekbench 4 die CPU-Taktraten absichtlich anhebt und weniger auf Akkuverbrauch und Hitze achtet, als das im normalen Betrieb sonst der Fall ist.

So nahm man Geekbench 4 daher. Der Benchmark wurde dann durch das OnePlus 3T als solcher erkannt. Das führte schon direkt zum Start der Anwendung selbst vor den eigentlichen Benchmarks und ohne CPU-Last dazu, dass sich das OnePlus 3T mit gepushten Taktraten präventiv auf die Tests einstellte. Ein auffälliges Verhalten, das natürlich in anderen Apps so nicht auftritt. Man verglich die Ergebnisse mit einer umbenannten App und bastelte zusätzlich am APK herum, so dass das OnePlus 3T das Benchmark nicht als solches erkannte.

Anschließend verhielten sich die Taktraten trotz der ansonsten gleich gebliebenen Anwendung anders und es kam entsprechend auch zu schlechteren Testergebnissen.

Neben OnePlus entlarvte man auf diese Weise auch Meizu bzw. dessen Modell Meizu Pro 6 Plus mit dem SoC Exynos 8890. Hier waren die Unterschiede noch eklatanter, da Meizu im Alltag sehr konservativ mit den Taktraten und auch der Nutzung der Kerne des Chips umgeht. Statt aber das CPU-Scaling zu optimieren, um einen besseren Kompromiss aus Leistung, Wärmeentwicklung und Akkulaufzeit zu gewährleisten, bastelte Meizu sehr aggressiv am Verhalten des Pro 6 Plus in Benchmarks.

Es mag noch legitim sein, dass das Smartphone bei Erkennung von Geekbench von sich aus vorschlägt den „Performance Mode“ zu aktivieren. Allerdings gleicht der im Benchmark aktive Performance Mode im Verhalten leider nicht dem Performance Mode in sonstigen Anwendungen.

Nur in Benchmarks pusht Meizu nämlich sowohl die Taktraten der Stromspar-Kerne (Cortex A53) als auch der leistungsfähigen Kerne (Mongoose) sehr weit voran. Als Ergebnis ist der spezielle Modus in dieser Form nur in Benchmarks aktiv. Dessen Leistung kann im Alltag aber nie beansprucht werden.

Die Kollegen von XDA Developers sind zwar wenig begeistert von der Trickserei, finden aber lobende Worte für OnePlus: Der Hersteller habe sofort sehr offen reagiert und gelobt das strittige Verhalten der Hardware in zukünftigen Builds des hauseigenen OxygenOS nicht mehr in der aktuellen Form zuzulassen.

Auch wenn man OnePlus also Vorwürfe machen kann, dass sie sich überhaupt derartiger Mogeleien bedient haben, darf man dem Hersteller zugutehalten, dass schnell Stellung bezogen und Einsicht gezeigt wurde. Übrigens wird deshalb nicht nur beim OnePlus 3T, sondern auch beim OnePlus 3 in Benchmarks aktuell gemauschelt.

Ob sich derlei Sperenzchen am Ende lohnen? Nun ja, manch potentielle Käufer ist vielleicht beeindruckt, wenn das eine Smartphone mit dem gleichen SoC ein paar Punkte mehr in einem Benchmark mit nach Hause nimmt als ein anderes. Dass derlei Ergebnisse mit dem Nutzungsalltag so oder so oft nur wenig zu tun haben, unterstreicht der aktuelle Fall nur wieder.