Erwischt: Meizu und OnePlus schummeln in Benchmarks

Vor einigen Jahren kam heraus, dass einige Smartphone-Hersteller in Benchmarks mogelten: HTC, LG, Samsung und Sony wurde nachgewiesen, dass sie bei ihren Smartphones CPU- und GPU-Takt anders festlegten als im normalen Betrieb. Wurde erkannt, dass ein Benchmark wie Geekbench 3 startet, schaltete das jeweilige Smartphone in einen speziellen Betriebsmodus, so dass die Ergebnisse noch weniger auf den Alltag übertragbar waren, als das bei synthetischen Benchmarks ohnehin schon der Fall ist. Während die genannten Hersteller nach der entsprechenden Kontroverse in den Medien und Communities jene Praxis ad acta legten, wurde nun dafür Meizu und OnePlus Benchmark-Mogelei nachgewiesen.

Aufgedeckt wurde die Schummelei durch die Kollegen von XDA Developers und Primate Labs. XDA Developers wurde eher durch Zufall auf auffälliges Verhalten des SoCs am OnePlus 3T aufmerksam. Letzten Endes stellte sich heraus, dass das OnePlus 3T bei Erkennung von beispielsweise Geekbench 4 die CPU-Taktraten absichtlich anhebt und weniger auf Akkuverbrauch und Hitze achtet, als das im normalen Betrieb sonst der Fall ist.

So nahm man Geekbench 4 daher. Der Benchmark wurde dann durch das OnePlus 3T als solcher erkannt. Das führte schon direkt zum Start der Anwendung selbst vor den eigentlichen Benchmarks und ohne CPU-Last dazu, dass sich das OnePlus 3T mit gepushten Taktraten präventiv auf die Tests einstellte. Ein auffälliges Verhalten, das natürlich in anderen Apps so nicht auftritt. Man verglich die Ergebnisse mit einer umbenannten App und bastelte zusätzlich am APK herum, so dass das OnePlus 3T das Benchmark nicht als solches erkannte.

Anschließend verhielten sich die Taktraten trotz der ansonsten gleich gebliebenen Anwendung anders und es kam entsprechend auch zu schlechteren Testergebnissen.

Neben OnePlus entlarvte man auf diese Weise auch Meizu bzw. dessen Modell Meizu Pro 6 Plus mit dem SoC Exynos 8890. Hier waren die Unterschiede noch eklatanter, da Meizu im Alltag sehr konservativ mit den Taktraten und auch der Nutzung der Kerne des Chips umgeht. Statt aber das CPU-Scaling zu optimieren, um einen besseren Kompromiss aus Leistung, Wärmeentwicklung und Akkulaufzeit zu gewährleisten, bastelte Meizu sehr aggressiv am Verhalten des Pro 6 Plus in Benchmarks.

Es mag noch legitim sein, dass das Smartphone bei Erkennung von Geekbench von sich aus vorschlägt den „Performance Mode“ zu aktivieren. Allerdings gleicht der im Benchmark aktive Performance Mode im Verhalten leider nicht dem Performance Mode in sonstigen Anwendungen.

Nur in Benchmarks pusht Meizu nämlich sowohl die Taktraten der Stromspar-Kerne (Cortex A53) als auch der leistungsfähigen Kerne (Mongoose) sehr weit voran. Als Ergebnis ist der spezielle Modus in dieser Form nur in Benchmarks aktiv. Dessen Leistung kann im Alltag aber nie beansprucht werden.

Die Kollegen von XDA Developers sind zwar wenig begeistert von der Trickserei, finden aber lobende Worte für OnePlus: Der Hersteller habe sofort sehr offen reagiert und gelobt das strittige Verhalten der Hardware in zukünftigen Builds des hauseigenen OxygenOS nicht mehr in der aktuellen Form zuzulassen.

Auch wenn man OnePlus also Vorwürfe machen kann, dass sie sich überhaupt derartiger Mogeleien bedient haben, darf man dem Hersteller zugutehalten, dass schnell Stellung bezogen und Einsicht gezeigt wurde. Übrigens wird deshalb nicht nur beim OnePlus 3T, sondern auch beim OnePlus 3 in Benchmarks aktuell gemauschelt.

Ob sich derlei Sperenzchen am Ende lohnen? Nun ja, manch potentielle Käufer ist vielleicht beeindruckt, wenn das eine Smartphone mit dem gleichen SoC ein paar Punkte mehr in einem Benchmark mit nach Hause nimmt als ein anderes. Dass derlei Ergebnisse mit dem Nutzungsalltag so oder so oft nur wenig zu tun haben, unterstreicht der aktuelle Fall nur wieder.

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Der Gastautor ist ein toller Autor. Denn er ist das Alter Ego derjenigen, die hier ab und zu für frischen Wind sorgen. Unregelmäßig, oftmals nur 1x. Der Gastautor eben.

Das könnte dir auch gefallen…

Mit dem Absenden eines Kommentars willigst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

11 Kommentare

  1. Irgendwie musste ich gerade an VW und die Dieselgeschichte denken als ich die Überschrift gelesen habe 😀

  2. Das bei Benchmarks geschummelt wird ist doch ein alter Hut. Und Oneplus muss man nicht loben: „…As by this point we had fairly clear evidence that OnePlus was engaging in benchmark cheating …“

  3. Gibts doch überall, VW und der Diesel, Smartphones und Benchmarks, Internetprovider die Speedtests priorisieren…
    Glauben darf man sowieso nichts mehr 😀

  4. Der SoC am OnePlus 3T? Wo ist er denn dran? Hat da jemand ein Foto von? Kann mir das gerade nicht vorstellen.

  5. …wer sich sein Leben als Tester leicht macht und lediglich Specs herunter- und Benchmarks anbetet, darf sich im Nachhinein nicht wundern, wenn er bedubbelt wird.

  6. Wen interessieren diese Benchmarks?!

  7. Wie auch damals bei der Schummelei bei Graka-Benchmarks…ich sehe das eher gelassen. Wenn es die Hardware hergibt, warum nicht? Anders bei VW, da hat es damals die Hardware nicht hergegeben, das tut sie heute mit dem „Update“ auch nicht auf Dauer…sonst hätte man damals auch nicht schummeln müssen. Aber solange es unter bestimmten Anforderungen einen „Overdrive-Modus“ in Bereichen CPU und GPU gibt, wie immer er auch bei den Herstellern heißen mag, kann das von mir aus auch auf dem Smartphone so sein. Sehe da nichts Schlimmes dabei…

  8. Mein Freund Don says:

    Bei OnePlus habe ich nichts anderes erwartet.

  9. LG wurde schon 2010 in Australien erwischt, weil sie Mogelsoftware zur Erkennung von Prüfzyklen in ihre Kühlschränke eingebaut haben. Ich gehe, genau wie bei den Autobauern, davon aus, dass das alle Elektronikhersteller schummeln. Vielleicht einige cleverer als andere, aber Vertrauen habe ich da gar keins. Da bleibt einem als Kunde nur friss oder stirb, solange das keine empfindlichen gesetzlichen Sanktionen nach sich zieht.

  10. @Dax
    Ich weiß nicht, welche Anbieter du meinst, aber ich kann sowas nicht bestätigen.

    Egal, welchen Anbieter ich hatte (hatte sowohl DSL- als auch Kabelanbieter bei mir und Freunden getestet), die Tests auf Speedtest-Seiten waren immer identisch mit realen Testszenarien (= Download von Archiven, ISOs (Linux), Dokumenten etc.).

    Wenn es Schwankungen gab, dann war das i.d.R. immer auf das Endgerät, das WLAN oder die üblichen Schwankungen beim Kabelinternet zurückzuführen.

  11. Zieht euch das Video rein, mehr muss man nicht zur Alltags-Performance wissen:
    https://youtu.be/otwED6s3rCQ

Du willst nichts verpassen?
Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren. Alternativ könnt ihr euch via E-Mail über alle neuen Beiträge hier im Blog informieren lassen. Einfach eure E-Mail-Adresse hier eingeben, dann bekommt ihr 1x täglich morgens eine Zusammenstellung. Mit dem Absenden willigst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.