Benchmark-Cheating: MediaTek bietet eigenen Sports Mode für seine SoCs

Dass diverse Hersteller hin und wieder Optimierungen für Benchmark-Apps in ihren Geräten verstauen, ist nicht neu. Sowohl Meizu als auch OnePlus und im Grunde fast alle anderen Hersteller auch, ließen in der Vergangenheit hin und wieder CPU-Optimierungen dafür sorgen, dass Benchmark-Ergebnisse gefälscht wurden und deutlich höher ausgefallen sind, als es die Leistung der Geräte im Alltag zugelassen hätte. Wie AnandTech nun berichtet, konnte man dort anhand eines Oppo Reno 3 mit unterschiedlichen SoCs herausfinden, dass der Chip-Hersteller MediaTek einen eigenen Sports Mode entwickelt habe, der das Gerät völlig auf Effizienz und Temperaturentwicklung pfeifen lasse und stattdessen selbst bei Benchmarks, die eigentlich nur von der Presse für gezielte Tests genutzt werden, Höchstleistung erbringen lasse.

Beim getesteten Oppo Reno 3 stellte sich das Ganze dann so dar, dass ausschließlich die europäische Version des Geräts mit MediaTeks Helio P95 als SoC entsprechend hoch in den üblichen Benchmarks abgeliefert hat, während das eigentlich deutlich leistungsstärkere SoC Dimensity 1000L die niedrigere Punktzahl im PCMark erntete.

AnandTech hat sich an die Entwickler des PCMarks gewandt, welche dann eine angepasste Version des Benchmarks zur Verfügung stellten, welche von den üblichen Mogel-Methoden nicht automatisch erkannt wird. Und siehe da: Das „echte“ Ergebnis lag um 30 Prozent unter dem Wert, den das Reno 3 bei der normalen Version des Benchmarks produzierte. In einigen Subtests kam das Gerät sogar ganze 75 Prozent schlechter weg, als bei seinem geschönten Ergebnis.

Eine auf dem Gerät gefundene Whitelist-Datei lieferte dann den entsprechenden Hinweis darauf, dass MediaTek diese Methode als „Sports Mode“ betitelt, der anscheinend direkt bei allen üblichen, aber eben auch speziellen Benchmarks aktiviert wird und fernab jeglicher normaler Nutzungsszenarien die Leistung des Chips hochtreibt. Warum nun davon ausgegangen worden ist, dass die Optimierungen nicht vom Smartphone-Hersteller, sondern schon von MediaTek als Chip-Produzent vorgenommen wurden, liegt daran, dass diese Whitelist-Datei auch auf anderen Geräten mit entsprechendem Chip, nämlich Smartphones von Sony, Vivo, Xiaomi, Realme und iVoomi, gefunden wurde.

MediaTek hat sich zu den Vorwürfen mittlerweile geäußert und gibt an, dass jener Sports Mode in Absprache mit den Geräteherstellern entstanden sei. Dieser sollte in Benchmarks dafür sorgen, dass dort (und nur dort) wirklich die maximale Leistung des Geräts demonstriert wird. Dass solche Prahlereien Käufer eher irritieren, ist dabei offensichtlich nicht bedacht oder eher unter den Teppich gekehrt worden. MediaTek sieht sich mit seinem Sports Mode zumindest im Recht und verweist darauf, dass sich diese Methode mit den Methoden anderer SoC-Produzenten decken würde.

MediaTek Statement for AnandTech

MediaTek follows accepted industry standards and is confident that benchmarking tests accurately represent the capabilities of our chipsets. We work closely with global device makers when it comes to testing and benchmarking devices powered by our chipsets, but ultimately brands have the flexibility to configure their own devices as they see fit. Many companies design devices to run on the highest possible performance levels when benchmarking tests are running in order to show the full capabilities of the chipset. This reveals what the upper end of performance capabilities are on any given chipset.

Of course, in real world scenarios there are a multitude of factors that will determine how chipsets perform. MediaTek’s chipsets are designed to optimize power and performance to provide the best user experience possible while maximizing battery life. If someone is running a compute-intensive program like a demanding game, the chipset will intelligently adapt to computing patterns to deliver sustained performance. This means that a user will see different levels of performance from different apps as the chipset dynamically manages the CPU, GPU and memory resources according to the power and performance that is required for a great user experience. Additionally, some brands have different types of modes turned on in different regions so device performance can vary based on regional market requirements.

We believe that showcasing the full capabilities of a chipset in benchmarking tests is in line with the practices of other companies and gives consumers an accurate picture of device performance.