Huawei、そしてOPPOもベンチマーク詐欺。「AIがやった」と弁解するも嘘か
掲載日時: 2018/09/30(日) 00:01
海外サイトAnandTechは、Huawei端末がベンチマークテスト実行中に異常な性能向上と発熱が起きることを発見。3DMarkを提供するULは、P20 / P20 Pro / Nova 3 / Honor Playをベンチマークテストから削除しました。
過去にはSamsungやOnePlusもベンチマーク詐欺を行ったことがありますが、いずれも発覚後反省し、SamsungとOnePlusはそのようなことをもう行っていないはずです。
Huaweiは本件について、人工知能が負荷のかかるアプリを判別してブーストしている、などと弁解。ユーザーが任意にオンにできるブーストモードとして実装し直すと声明していました。
この説明は本当なのか？ULの行ったテストでは、公式配布されているベンチマークではブーストが掛かり、内部バージョンのベンチマークアプリではブーストが掛からなかったとしており、AI判断によるブーストという説明自体が疑わしいものでした。
海外サイトFirst Postは、ベンチマークテストを300回に渡って実行しテストした、といいます。
（画像出典：FirstPost）
公開されているベンチマークアプリと、ベンチマークアプリではない名前に変えたプライベートアプリでの、比較検証。不正を行っていないと思われるメーカーは20回、不正を行っていると思われるものは70回行ったなどとしています。
まず、「正直な」スマホメーカーについて。Nokia、Xiaomi（&Poco）、Samsung Galaxy、OnePlusはベンチマークテストを欺く行為は行っていませんでした。公開アプリ、プライベートアプリ、いずれの場合でもほぼ同じスコアが出ています。同じアプリなので当たり前の話ですが。
SamsungやOnePlusはもう改心して真っ当にやっているようですね。
一方で、HuaweiとOPPOの端末だと以下の通り。Huaweiとそのサブブランド「honor」、OPPOとそのサブブランド「Realme」において、疑わしい結果となっています。同様に負荷のかかる同じベンチマークアプリにもかかわらず、全く違う結果になるのです。
これを決定づけるのが端末の温度。明らかにハードウェアの発熱が異なります。
負荷をAIが判別するという説明が嘘で、単にベンチマークテストのアプリ名を指定して、最大のスコアが出るように細工しているのでは？という疑惑が大きく強まった形です。
これに関連して、ベトナムのWebサイトGenk.vnは、Helio P60オクタコアプロセッサを搭載するOPPO F7が異常にベンチマークスコアが高すぎる問題を検証。コードのない「Hello World」アプリケーションをAnTuTu Benchmarkの名前に変更して、OPPO F7で実行したところ、ただのHello Worldなのに8コアとも全て2GHzにCPUクロックが跳ね上がる現象を観測したとのこと。OPPOもあくまでAIによるパフォーマンス向上の結果などと回答しているようです。
First PostはHuawei、Honor、Oppo、Realmeに調査結果とデータの一部を送付。どちらの企業からも返信はないとしています。3DMarkを展開するULにもデータを送付しており、現在調査中とのこと。調査結果次第ではHuaweiやOPPOの製品に対してベンチマーク側から何らかの措置が取られる可能性があります。