Huawei、そしてOPPOもベンチマーク詐欺。「AIがやった」と弁解するも嘘か すまほん!!

 海外サイトAnandTechは、Huawei端末がベンチマークテスト実行中に異常な性能向上と発熱が起きることを発見。3DMarkを提供するULは、P20 / P20 Pro / Nova 3 / Honor Playをベンチマークテストから削除しました。

 過去にはSamsungOnePlusもベンチマーク詐欺を行ったことがありますが、いずれも発覚後反省し、SamsungとOnePlusはそのようなことをもう行っていないはずです。

 Huaweiは本件について、人工知能が負荷のかかるアプリを判別してブーストしている、などと弁解。ユーザーが任意にオンにできるブーストモードとして実装し直すと声明していました。

 この説明は本当なのか?ULの行ったテストでは、公式配布されているベンチマークではブーストが掛かり、内部バージョンのベンチマークアプリではブーストが掛からなかったとしており、AI判断によるブーストという説明自体が疑わしいものでした。

 海外サイトFirst Postは、ベンチマークテストを300回に渡って実行しテストした、といいます。

Cheating-Phones-768-with-logo

(画像出典:FirstPost

 公開されているベンチマークアプリと、ベンチマークアプリではない名前に変えたプライベートアプリでの、比較検証。不正を行っていないと思われるメーカーは20回、不正を行っていると思われるものは70回行ったなどとしています。

 まず、「正直な」スマホメーカーについて。Nokia、Xiaomi(&Poco)、Samsung Galaxy、OnePlusはベンチマークテストを欺く行為は行っていませんでした。公開アプリ、プライベートアプリ、いずれの場合でもほぼ同じスコアが出ています。同じアプリなので当たり前の話ですが。

Honest-phones

 SamsungやOnePlusはもう改心して真っ当にやっているようですね。

 一方で、HuaweiとOPPOの端末だと以下の通り。Huaweiとそのサブブランド「honor」、OPPOとそのサブブランド「Realme」において、疑わしい結果となっています。同様に負荷のかかる同じベンチマークアプリにもかかわらず、全く違う結果になるのです。

Cheating-phones-scores-720

 これを決定づけるのが端末の温度。明らかにハードウェアの発熱が異なります。

Cheating-phones-temps-720 (1)

 負荷をAIが判別するという説明が嘘で、単にベンチマークテストのアプリ名を指定して、最大のスコアが出るように細工しているのでは?という疑惑が大きく強まった形です。

Sponsored Links

 これに関連して、ベトナムのWebサイトGenk.vnは、Helio P60オクタコアプロセッサを搭載するOPPO F7が異常にベンチマークスコアが高すぎる問題を検証。コードのない「Hello World」アプリケーションをAnTuTu Benchmarkの名前に変更して、OPPO F7で実行したところ、ただのHello Worldなのに8コアとも全て2GHzにCPUクロックが跳ね上がる現象を観測したとのこと。OPPOもあくまでAIによるパフォーマンス向上の結果などと回答しているようです。

benchmark

 First PostはHuawei、Honor、Oppo、Realmeに調査結果とデータの一部を送付。どちらの企業からも返信はないとしています。3DMarkを展開するULにもデータを送付しており、現在調査中とのこと。調査結果次第ではHuaweiやOPPOの製品に対してベンチマーク側から何らかの措置が取られる可能性があります。