『HUAWEIベンチマーク不正判明』 の クチコミ掲示板

[舞来餡銘]

AnandTechのアンドリュー・フルムアヌ氏とイアン・クトレス氏は、Huaweiのハイエンドスマートフォン「Honor Play」で
ベンチーマークテストを行っている中で、まったく同じSoCを使っているHuaweiの「P20」に比べてベンチマーク結果が
異様に高いことに気づきました。なお、P20が旧モデルのHuawei Mate10に比べてもスコアが悪く、その後のアップデ
ートでスコアが向上するなど結果にばらつきがあったこともAnandTechは確認していたことから、Honor Playのベンチ
マークをより詳細に検証することになったようです。

https://gigazine.net/news/20180906-huawei-benchmark-cheating/

書込番号：22088913　スマートフォンサイトからの書き込み

[ユニコーンII]

＞舞来餡銘さん

既にこちらで。

http://s.kakaku.com/bbs/J0000027663/SortID=22087587/

書込番号：22088965　スマートフォンサイトからの書き込み

[でそでそ]

こんばんは。

さすがに同列には語れないでしょうけど、自動車業界であったVWのディーゼル排ガス問題みたいなもんでしょうかね。
（明確な基準とか、企業責任が全然違うので）

元々Huaweiに批判的であったり懐疑的な人にとっては「ほれ見た事か」ぐらいで、何とも思っていなかった人にとってはまぁまぁのイメージダウン？

普段ベンチマークってほとんど気にしていないんですけど、当件がどの程度世間に影響するのか、情報を追いかけた方が良さそうですね。
Huaweiにとってどの程度のダメージになるのか気になりますね。

書込番号：22089011

[舞来餡銘]

＞ユニコーンIIさん
P20 liteに関して疑いが有るとは言えないのに特定機種にクチコミ書き込みするのは本来おかしいと思いまして

書込番号：22089447　スマートフォンサイトからの書き込み

[まっちゃん2009]

SIMフリー版P20 liteがHUAWEIブランドの人気ランキング1位ですから、より目立つように？特定機種でスレ立てするってパターンでしょうね。

書込番号：22089462　スマートフォンサイトからの書き込み

[sandbag]

＞まっちゃん2009さん
スレ主は林檎ファンなので、P20とP20 liteの区別がつかなかったのではないかと

書込番号：22089534　スマートフォンサイトからの書き込み

[舞来餡銘]

例のスレ主さんはHonor Playの方が問題なのは無視してますからねえ、、

書込番号：22089572　スマートフォンサイトからの書き込み

[まっちゃん2009]

過去の書き込みからHUAWEIを嫌ってる(ZTEも？)感じはありますからね。

まあ好みの問題ですから別に使いたくなければそれはそれでOKですが、最近使ってもないのに注意目的？でスレ立てするパターンが多い感じがします。

スマホでもタブレットでも特定機種に同じようなスレが立つ印象...。

書込番号：22089580　スマートフォンサイトからの書き込み

[ありりん00615]

Futuremarkでは、該当するP20、P20 Proのデーターはすでに無効となっています。
https://benchmarks.ul.com/compare/best-smartphones?redirected=true&search=Huawei%20P
チートの内容は、ホワイトリストに一致するアプリを実行した際にこっそりベンチマークモードにするといったもののようです。同様にベンチマークモパワーモードがあるMeizuのスマホは、このモードを利用する際にプロンプトが表示される点が健全だそうです。

書込番号：22090730

[ユニコーンII]

＞舞来餡銘さん
さようでございましたか。
おっしゃる通りですね。

結局、
HUAWEIもやる事やってんじゃんって感じです。

書込番号：22090957　スマートフォンサイトからの書き込み

[黄昏信州人]

こちらのスレで論議するのが筋でしてね。
こちらのスレはどうしての目につきにくいので、問題定義をするにはアクセス数が多いほうがいいんですけどね。
自分はアップル信者と言われても仕方ないかもしれませんが、ファーウエイとZTEの問題は色々騒がれているので書き込んでいます。これは日本人として中共の支配力を心配していることにも起因します。
色々騒がせて申し訳ありません。

書込番号：22091429

[黄昏信州人]

＞舞来餡銘さん
ほんと勝手なことをして、申し訳ありませんでした。
honor Playについて調べましたが、ゲーミングスマホとして売り出しているんですね。だから今回のファーウェイはこのようなことをしたのかと思いました。

悲しいことに、ここのスレで問題定義しても、あまり話題にならないんですよね。このように問題を目立たさせるために、一番アクセス数が多い場所で起こります。iPhoneのスレも同じですね。
＞舞来餡銘さんはどう思われますか？

書込番号：22091479

[でそでそ]

情報ソースの信頼性とかまではわからないんですが、Huaweiの広報がTechCrunchという所向けにコメントしたっぽい？？
https://techcrunch.com/2018/09/06/huawei-caught-cheating-performance-test-for-new-phones/

以下、Google翻訳した内容をそのまま貼り付けます。
--
更新：木曜日の夜遅くのコメントで、Huawei広報担当者はTechCrunchに語った：

Huaweiは、特にスマートフォンベンチマークとユーザーエクスペリエンスの間に直接の関連性がないため、高いベンチマークスコアを追求するのではなく、ユーザーエクスペリエンスを常に優先しています。 HuaweiのスマートフォンはAIなどの高度なテクノロジーを使用して、CPU、GPU、NPUなどのハードウェアのパフォーマンスを最適化します。

通常のベンチマークシナリオでは、Huaweiのソフトウェアがベンチマークアプリケーションを認識すると、「パフォーマンスモード」にインテリジェントに対応し、最適なパフォーマンスを提供します。 Huaweiはユーザーに「パフォーマンスモード」へのアクセスを提供し、必要なときに最大限の電力を使用できるようにする予定です。

業界リーダーであるHuaweiは、パートナーと協力して、ユーザーエクスペリエンスを正確に評価できる最高のベンチマーク基準を探しています。
--

参考程度に。（別カテゴリの類似スレとかで既出でしたらすみません）

書込番号：22091987

[黄昏信州人]

>https://jp.techcrunch.com/2018/09/07/2018-09-06-huawei-caught-cheating-performance-test-for-new-phones/
>「ベスト・スマートフォン」ランキングからHuaweiの端末を削除した。外されたのは、HuaweiのP20、P20 Pro、Nova 3、およびHonor Playの4機種。

>「問題の端末を当社の実験室でテストした結果、当方のルールに違反していることが確認されたため、該当機種をランキングから外す決定に至った」と、同社が声明で語った。

>実はHuaweiのケースに関わるルールは少々曖昧だ。端末が作業負荷に応じて性能を調整することは許されており、その結果アプリによって性能が上下することはある。しかし、ベンチマークアプリに限ってピーク性能が出るように個別対応することは許されていない。Huaweiは、ベンチマークアプリの実行中に見られたピーク性能はAIの判断による直感的急上昇だと主張したとされている。しかし、ラベルのないバージョンのベンチマークテストを走らせたとき、端末はテストを認識せず低い性能を示した。
とありますね。

書込番号：22092489

[†うっきー†]

お邪魔します。うっきーと申します。よろしくお願いします。

https://pc.watch.impress.co.jp/docs/news/1142089.html

>ULがこの結果についてHuaweiに確認をとったところ、Huaweiは過失を認め、透明性あるアプローチを実施すると約束。今後のアップデートで、ユーザーがパフォーマンスモードを利用できるようにするという。ユーザーによる選択が可能な場合は、パフォーマンスモードの実装自体はULのルール違反とはならない。

ユーザーが自由に利用出来るようになれば、通常のアプリでも、利用出来るようになって便利になる可能性がありそうですね。
今後のアップデートに期待でしょうか。

書込番号：22092720

[黄昏信州人]

ユーザーが選べるのはいいことですね。その代わり、熱を持ちますから、快適さが損なわれます。バッテリーの消耗が早くなります。
ゲームを楽しむ場合は高い処理能力はありがたいですが、冷却方法を考えないと、精密機械ですから、熱を逃すような工夫が求められますね。そのまま使用しても自分は大丈夫だというなら別に構わないですが、今後のユーザー体験が聞けるといいですね。

書込番号：22092782

[†うっきー†]

別のスレッドで、プライベートアプリって何？
何が不正なのと思われている方がいるので、こちらに情報を追記させてもらいます。
別の特定の機種に書き込むと、一般の方に迷惑がかかりますので。

https://japanese.engadget.com/2018/09/07/3dmark-p20-huawei/
>Google Playで公開している3DMarkアプリと、3DMarkの名前がない（ファイル名やアプリケーションIDなどを変更した）非公開アプリとで結果を比較したところ、テスト内容は変えていないにも関わらず、公開バージョンでは最大で47%も高いスコアを示したとのことです。
>この結果から、AIが処理内容に合わせ自動調整したわけではなく、ホワイトリスト方式でピーク性能を上げるベンチマークブーストを行っていたことがわかります。

わかりやすく書くと、

アプリの開発元が、
Google Playで公開しているアプリ（A）
開発元が一般には分からないようにプライベートアプリとして、アプリ名だけを変更したアプリ（B）
を用意して、計測した結果、
アプリの中身はまったく同じなのに、公開しているものだけがベンチマークの良い結果が出た。

Huawei側の端末に特定のアプリ(A)が動いた時だけ、ブーストモードで動くように、
端末内にホワイトリスト(特定のアプリだけブーストさせるためのアプリの一覧)の存在が確認された。

という意味となります。

書込番号：22096443

[ありりん00615]

本質的な問題は正当な方法でベンチマークを行うと、Mate10どころかMate9以下までパフォーマンスが落ちてしまうことです。
https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache/3
なお、anandtechの原文ではプライベートアプリではなく、「non-whitelisted titles」と記載されています。

書込番号：22096521

[モモちゃんをさがせ!]

そもそも、「AnandaTech」ってなんなんですかね。何かの公的認証機関なのでしょうか？
そんなものが、誰でも情報発信できるネット上で披露した話に飛びついて､何かをディする格好の材料にする…。日本人特有のイジメの構造かな…。

全国学力調査テストの結果を､都道府県・政令指定都市別に発表し、ランク付けし､大のオトナが一喜一憂しているのと同じような｡
いくら学業成績優秀で卒業しても、いざ社会に出たら、ちょっとしたイレギュラーなアクシデントに遭遇したら､解決策を自分で判断出来ずに右往左往して使い物(者)にならない高学歴の新人よりも、早くから大人の世界で揉まれた人の方が、同じ年齢でも、より多くの人と良好な対人関係を築き、業績を伸ばせるわけで…。

ちょっと前の SAMSUNG がそうだったように、HUAWEI の端末が、全世界で､一般のユーザーに支持されてきているのが面白くない人がいるのかな、と､ふと思う今日この頃です。

あくまでも、個人的な雑感です。

書込番号：22096749

[†うっきー†]

Huawei公式にアナウンスがあったようです。
EMUI9.0で改善されるようです。

https://consumer.huawei.com/en/press/news/2018/statement-from-Huawei-and-UL-regarding-benchmark-tests/

以下、翻訳結果の一部
>ULはHuaweiのアプローチの意図を理解していますが、ベンチマークアプリケーションがデバイスによって検出されたときに、デフォルトで「パフォーマンスモード」の使用を強制することに反対しています。 ULルールでは、ベンチマークを他のアプリケーションと同じように実行する必要があります。
>HuaweiはユーザーにEMUI 9.0の「Performance Mode」へのオープンアクセスを提供し、ユーザーはいつデバイスの最大電力を使用するかを選択できます。
>現在のベンチマーク結果の混乱を避けるため、議論の末、ULとHuaweiはHuaweiのデバイスのベンチマークスコアを一時的に廃止し、HuaweiがHuaweiハンドセットのすべてのユーザーにパフォーマンスモードへのアクセスを許可した後に復活させます。

※ここで言うハンドセットとは、EMUI9.0が搭載された端末という意味でよいかと。

※※※※※※※※※※※※※※※※※※※※※※※
Huawei公式アナウンスからの推測になりますが、
※※※※※※※※※※※※※※※※※※※※※※※

UL側では特定のアプリをホワイトリストなどを利用して検出した時のみ、パフォーマンスモードで動くことには反対なので、
今後リストに載るとしたら、ユーザーが選択したモードでのみしか動作しないようになったのを確認でき次第、リストに載せることになるのではないかと思います。

ユーザーによる切り替えでのみ挙動が変化。
このことを行わない限りは、リストには載らないのではないかと思っています。
つまりユーザーに意思のみによって動く（隠れてベンチマークの時だけに動くようなことはしない）、極めて公平なことをすればということ。
こうあるべきで、こうならない場合（ホワイトリストを残したまま、通常時でもベンチマークアプリだけ裏で勝手にパフォーマンスモードで動く）は、リストからは除外したままにして欲しいと思いました。

今後は、姑息なことを行わないで、まっとうに作って頂きたいものです。

書込番号：22099104

[でそでそ]

自身用の備忘も兼ねて、一部の固有名詞の整理ですが…
（認識違い等あれば適宜ご指摘ください）

AnandaTech：
　・コンピュータのハードウェアに関するWebマガジンであり、1997年に開設されたもの。
　・主にベンチマーク計測などのハードウェアレビューを行っている。
　・近年はタブレット端末やスマートフォンも対象としている。
　・レビュー記事が、PC雑誌や技術系のニュースサイトに引用されることもある。

3DMark：
　・ハイエンドPCからタブレットPCまで利用できる定番3Dベンチマークソフト。
　・フィンランドのFuturemarkが開発したソフト。

Futuremark：
　・前述の3DMarkの開発元。
　・2014年10月31日、UL認証で知られるアメリカ保険業者安全試験所により買収された。

UL：
　・ULとはUnderwriters Laboratoriesの略称。
　・試験、検査および認証を行う企業。（UL認証マーク）
　・認証企業として、世界10位前後の規模。
　・前述のFuturemarkを傘下に収める。

以上、Wikipedia等で齧った程度の情報ですが。
（認識違いがあればすみません）

書込番号：22099252

[†うっきー†]

UL側の発表以外にも、共同声明の発表もあったようです。

UL、Huawei社の電話機に疑わしいベンチマークスコアを付け加える
https://benchmarks.ul.com/news/ul-delists-huawei-phones-with-suspect-benchmark-scores

ULとHUAWEI、ベンチマーク最適化に関する共同声明を発表
https://benchmarks.ul.com/news/ul-and-huawei-issue-joint-statement-about-benchmark-optimization

共同声明の方は、既に発表があったULの発表とHuaweiの発表を合わせて、
短く纏めただけみたいではありますが。

要約すると、すでに発表があった通り以下のようなことですね。
既出の内容を記載しているだけでした。

【Huawei】
AIを使って最大限に活用できるようにしています。

【UL】
AIを使うのは問題ない(理解している)けど、
※※※※※※※※※※※※※※※※※※※※※※※※※※※
特定のアプリ名を検知して、そのアプリのみをパフォーマンスを上げるという不正行為はダメですよ。
※※※※※※※※※※※※※※※※※※※※※※※※※※※
（アプリ名で判断するのはAIじゃないでしょ・・・・・）

【Huawei】
EMUI 9.0でユーザーがパフォーマンスモードを選択出来るように修正し、ユーザーの意志に委ねることにします。


パフォーマンスモードのオンオフが、
全てのアプリで共通でのオンオフか、アプリごとに設定出来るようになるかは明言されていませんが、
アプリごとに設定できるようになるといいですね。
特定のゲームのみ、バッテリー消費や熱が上がってもいいので、パフォーマンスを上げたいということもあると思いますし。

書込番号：22110036

[鬼の爪]

UL、Huawei社の電話機に疑わしいベンチマークスコアを付け加える
　↓
UL、Huawei社のスマートフォンの疑わしいベンチマーク・スコアを取り下げる

書込番号：22110048

[でそでそ]

なるほど、共同声明も出たんですね。
情報ありがとうございます。

別スレの方はなかなか解決済みになりませんね。

書込番号：22110719

[†うっきー†]

＞でそでそさん
>別スレの方はなかなか解決済みになりませんね。

ですよね。
でそでそさんが、とても丁寧に書いているのですが、
今回の一番肝心なホワイトリストを使っての不正行為については、触れずに、関係ない話を延々されていますよね。
ひょっとしてですが、別スレッドのスレ主さんは、「プライベートアプリの意味はわかりました｡」と記載されていますが、
「ホワイトリストの意味もわかりました。」とは記載されていないので、そこが分からなくて、延々、関係ない話をされているのかもしれません・・・・・・

問題になっている、
>※※※※※※※※※※※※※※※※※※※※※※※※※※※
>特定のアプリ名を検知して、そのアプリのみをパフォーマンスを上げるという不正行為はダメですよ。
>※※※※※※※※※※※※※※※※※※※※※※※※※※※
この話を、一切スルーしていますからね。

問題になっている話をしないで延々別のことを話されているので、他の方と、話がかみ合わないのかもしれませんね。

みなさんが、一生懸命、今回の問題を何度も記載しているのですが、一切スルーされていますから・・・・・

書込番号：22111174

[でそでそ]

＞†うっきー†さん
ありがとうございます。
「別スレ」の方ですが、要約ですが多分言いたい事は伝わったんじゃないかと思っています。
※コチラからリンクを貼るのは適当かどうか迷ったので、何となく控えていますが

＞舞来餡銘さん
勝手に別スレの雑談を交えてしまい失礼しました。


Huawei単独の公式声明はGlobalサイト（英語圏のみ？）のみのようですが、今後は日本法人（ファーウェイ・ジャパン）のサイトでもプレスリリースするのかは気になります。
特段、日本国内ではこのニュースは大きく取り上げられませんし、ファーウェイ・ジャパンは特に動きは取りませんかね、コレは。

ULとしては、メーカーを糾弾したい程でも無いんだろうし、このまま収束して思ったよりHuaweiにはダメージは無さそうな雰囲気ですね。
海外でのこの問題の取り扱われ方までは情報収集していないので、完全に温度感をわかっているわけではないですが。

無論、公約通りEMUI 9.0で改善されるのか、今後ベンチマーク関連で不正を働かないかなど様子見の部分もありますが。

書込番号：22112128

[でそでそ]

意味が変わってしまいそうな誤記があり、失礼しました。

要約ですが
↓
漸くですが

書込番号：22112145

[†うっきー†]

>多分言いたい事は伝わったんじゃないかと思っています。

残念ながら、その後の書き込みでも、伝わっていないようです・・・・・
でそでそさんが、今回の問題である「ホワイトリスト」について尋ねているのに、
一切回答がなく、不正とは関係ない、GPU TURBOの話を延々されています・・・・・


>ULとしては、メーカーを糾弾したい程でも無いんだろうし

私もそう思います。
不正を行うと、ユーザーにとっての性能評価での購入判断に影響しますからね。
正当に評価しなければならないと判断しているだけだと思います。


>無論、公約通りEMUI 9.0で改善されるのか、今後ベンチマーク関連で不正を働かないかなど様子見の部分もありますが。

はい。
公式ページに明言しましたから、不正は行わないようにして頂けると信じます。

書込番号：22112710

[ユニコーンII]

＞舞来餡銘さん

別スレの話で恐縮ですが・・・


＞†うっきー†さん

伝わるか伝わらないかではなくて、
認めるか認めないかではないですか？

しかも、
書込む度に主張が変わり、結論がないし、
他人の書込は永遠に認めないので、ああなってるだけです。

書込番号：22113618　スマートフォンサイトからの書き込み

[†うっきー†]

＞ユニコーンIIさん

>伝わるか伝わらないかではなくて、
>認めるか認めないかではないですか？

おっしゃる通りかもしれないです。
伝わっているんだけど、認めたくないので、関係ない話ではぐらかせているとも取れますね。


いずにしろ、P20 Proの掲示板で、機種に関係ない話を延々として、ユーザーさんに迷惑をかける行為はやめて頂きたいですよね。
私以外にも、何人かが記載してくれたので、引っ越ししてくれるかもしれませんが。

書込番号：22113855

[Tron2240]

＞†うっきー†さん
この件について調査を行なったAnandtechも「これからは公開版とカスタム（非公開版）の両方でテストを行う」と明言していますからね。
これでまだ不正を行う様なら救いようがありませんが、Huaweiも大企業ですしそこまでバカではないかと。

＞伝わっているんだけど、認めたくないので、関係ない話ではぐらかせているとも取れますね。
都合の悪い発言は根拠無しに否定・スルーする上、「GPUターボがベンチマークのスコアを下げた」などといった意味不明な供述もしていますし、とりあえず出鱈目言って問題を有耶無耶にしようという意図があるのではないでしょうか。

書込番号：22114217

[†うっきー†]

＞Tron2240さん
>この件について調査を行なったAnandtechも「これからは公開版とカスタム（非公開版）の両方でテストを行う」と明言していますからね。

すみません。この情報は知りませんでした。
既に記載があるのに、私が見落としていたらすみません。

記載元のURLと英語の場合は、その場所を引用して頂くことは出来ないでしょうか。

これは、非常に頼もしいですね。

書込番号：22114283

[Tron2240]

＞†うっきー†さん
いえいえ、謝らなくても良いですよ。
このページに記載されています↓
https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache/3

”I naturally test with our custom benchmark versions, as they enable us to get other data from the tests than just a simple FPS value. It never crossed my mind to test the public versions of the benchmarks to check for any discrepancy in behaviour. Suffice to say, this will change in our testing in the future, with numbers verified on both versions.”
「カスタム版のベンチマークはFPSの値以外のデータを提供してくれるので、私はカスタム版を使ってテストを行っています。端末の振る舞いに矛盾を見つける為に公開版のベンチマークでもテストを行うという事は今まで思いつきませんでした。これからはテストの方式が変更され、両方のバージョンのベンチマークを用いて数値が正しいか確認される、とだけ言っておきましょう。

書込番号：22114417

[でそでそ]

＞Tron2240さん
情報ありがとうございます。参考になりました。

そこまでやるかわかりませんが、もし遡って旧機種も含めた再検証を始められたら困る…というメーカーもあるのかもしれませんね。
検証にあたってどれ程の労力がかかるか理解せずのコメントですが。

書込番号：22114453

[†うっきー†]

＞Tron2240さん

情報ありがとうございます。
翻訳は自分でしようと思っていたのですが、翻訳結果まで！


＞でそでそさん

>そこまでやるかわかりませんが、もし遡って旧機種も含めた再検証を始められたら困る…というメーカーもあるのかもしれませんね。

是非やって欲しいですね！

Huawei機では、問題としては取り上げられていない、Kirin 970のMate 10 Proの情報でもあるといいのですが、
そうすれば、Kirin 970でも不正がない端末もあるということもわかりますし。

今後の情報提供に期待したいと思います。

書込番号：22114490

[†うっきー†]

EMUI8	EMUI9	EMUI9

#22099104
>EMUI9.0で改善されるようです。

EMUI9では約束通り、パフォーマンスモードを設けてくれたようです。

設定→電池
もしくは
端末管理アプリ→左下のバッテリーアイコン
で設定画面に遷移。

すべてオフ（デフォルト設定）の通常モードか、
パフォーマンスモード、省電力モード、どちらかをオン。自動的に反対側はオフ。
ウルトラ省電力は終了時に前回値と同じ状態をキープ。
という状況でした。

「電池消費量を最適化」をタップすると、３枚目の画像に遷移します。

これにより、通常モードでは不正行為は行わないようにしてくれたはずです・・・・・

書込番号：22300808