3DMark: Benchmark-Tool listet nun auch zwei Smartphones von Oppo aufgrund getweakter Werte aus
Erneut meldete sich Jani Joki, Director of Engineering von 3DMark, bei uns per Mail und informierte darüber, dass ein weiterer Hersteller von Smartphones nun damit leben müsse, dass zwei seiner Geräte aufgrund nicht erlaubter Maßnahmen im Zusammenhang mit den Ergebnissen des Benchmark-Tools vorerst von deren Liste entfernt worden sind.
Um genau zu sein trifft es die beiden Geräte Oppo Find X und das Oppo F7, deren Messergebnisse von Tech2-Prüfern angezweifelt wurden, woraufhin man sich direkt an die Entwickler des Benchmark-Tools gewandt hat. Klingt alles bekannt? Das sollte es auch, denn erst vor einigen Wochen machte auch der namhafte Hersteller Huawei mit genau so einer Schlagzeile von sich Reden. Das Unternehmen sah schließlich seine Fehler ein und versprach, gemeinsam mit den 3DMark-Entwicklern an einer zukünftigen Lösung zu schrauben.
Und am Ende decken sich sowohl die Methode des Betrugs, als auch die Art und Weise, wie man beim 3DMark dem Tweaking auf die Schliche kam, den Vorgängen, wie sie zuletzt bei Huawei abgelaufen sind.
Man habe alle Modelle mit der normalen Version des 3DMark getestet, aber auch eine interne Version verwendet. Man fand heraus, dass die Ergebnisse der öffentlichen 3DMark-App bis zu 41 Prozent höher waren als die Ergebnisse der privaten App, obwohl die Tests identisch sind.
Mit der öffentlichen 3DMark-App scheinen diese Geräte einen versteckten „Performance-Modus“ zu verwenden, der das übliche Leistungsprofil der Geräte überschreibt. Der Unterschied in der Punktzahl zeige, dass die Geräte die 3DMark-App einfach nur mit dem Namen erkennen, anstatt sich an die Art der Arbeit im Test anzupassen.
Oppo wurde natürlich kontaktiert und gab bereits zu, dass die Leistung der Geräte sofort automatisch auf ein Maximum geschraubt wird, sobald ein Game oder ein Benchmark vom Smartphone gestartet werden soll. Auch hier gelobt das Unternehmen für die Zukunft Besserung. Dennoch zeigt sich mal wieder, warum wir bei unseren Gerätetests nie viel Wert auf solche Messergebnisse geben und regelmäßig dazu aufrufen, für euch interessante Geräte auch wirklich immer selbst in die Hand zu nehmen und zu bedienen.
Was haben Handy’s und Autos gemeinsam?
Schummelsoftware
Es wäre glaube ich viel effektiver die Geräte in den Tabellen zu lassen und dauerhaft als „nachweislich fake“ zu Kennzeichnen… Dann andere Geräte des gleichen Herstellers mit einer leichteren Warnung a la „hatte bereits fake-scores“ zu versehen…
Wenn du sie rausnimmst ist es den OEMs einerlei… Wenn du sie dauerhaft kennzeichnest ist es den OEMs nicht egal.
Für meine letzten drei Smartphones habe ich überhaupt keine Performancebenchmarks angeschaut… – Einerseits weil es mich nicht interessiert, andererseits auch weil nen ticken langsameres Gerät immer noch ausreicht.
Will ich ein neueres Gerät will ich es i.d.R. nicht weil es schneller ist, sondern weil es von anderen Specs her besser ist. Und mit Specs meine ich nicht nur Gerätedaten sondern eben auch Hersteller-RMA-Prozesse usw.