會原 
FCNT（富士通コネクテッドテクノロジーズ）のarrows 5Gの目玉機能の一つである、Photoshop Expressカメラモードの画質が期待外れという問題。
FCNTは公式サイト上の宣伝やカメラ起動時のチュートリアルで、このモードでは逆光や夜景でもディテールを描き出せると謳っているものの、それらのシーンでも画質は悪いです。
なぜダメなのか？どうやったら改善できるのか？考察します。
Index
arrows 5GカメラのPhotoshop Expressモード考察
画像を渡しているだけ？
（『夜景や逆光のような細部の表現が難しいシーンの利用におすすめ』）
まず、arrows 5GのカメラのPhotoshop Expressモードは、あくまで写真をPhotoshop Expressにデータを渡しているに過ぎず、このアプリはGoogle Playにあるものと同一となっています。つまり画像加工処理をarrows 5G側で行わず、Adobeの汎用的なアプリに投げているだけという状況。
―― ということは、arrows 5Gのソフトウェア側で連携実装をしているということですか。
高見氏 そういう認識で大丈夫です。（アドビ側で）連携するための「入り口」だけ作ってもらって、arrows 5Gのカメラアプリからそれを呼び出す形を取っています。
arrows 5Gへの「Photoshop Express」統合はどう実現した？ 担当者に聞いてみよう – ITmedia Mobile
撮影直後に渡されたPhotoshop Expressが、それを「自動調節」によって処理しているということになります。
元々Photoshop Expressのアプリは、スマートフォンのプアな画質の写真を処理するのに最適ではないためか、「自動調節」が良く出来ているとは言えません。
なので、Adobeがこのアプリをどう調整していくかによって、画質が左右されることになります。
厳しい条件での撮影、問題になるのがダイナミックレンジ
（arrows 5GのPhotoshop Expressモードで撮影）
スマートフォンのカメラはダイナミックレンジが狭く、暗い部分と明るい部分の差が激しいシーンではレンジ外の描写が失われます。その代表例が逆光シーンです。失われたものをいくらPhotoshopにかけようが、どうにも加工できないわけです。
なお、カメラセンサーのDR性能が高い場合には、RAWからハイキー、ローキーの部分を拾えます。（そもそもarrows 5Gが橋渡しという部分で、果たしてjpgではなくしっかりRAWデータを送信しているのかすら怪しいところではあるのですが）
スマートフォンの低感なカメラセンサーの場合、逆光への解決策として考えられるのが、「HDR（High Dynamic Range Imaging）」です。
たとえば炎天下にひまわりが同居した写真があるとして、明るい空の青さと逆光のひまわりの黄色さを同時に出すことは難しいです。仮に空の明るさに合わせて青空を優先すれば、ひまわりの黄色は影で潰れます。
（arrows 5GのPhotoshop Expressモードで撮影。背景のハイライト細部が消失）
ここでHDRの出番です。マルチショットでハイキー ローキー、普通の写真を撮影し、合成することで、広いダイナミックレンジを実現、それぞれの色を出せるわけです。
なのでスマホでの逆光対策には、複数枚の画像を用いて合成処理を行うべきということ。
もしarrows 5GのPhotoshop Expressカメラモードが「単に1枚のjpgを投げてるだけ」となると、夜景や逆光下で細部を表現できるという宣伝文句が絵に描いた餅となっているのは仕方ないと言えるわけです。
スマホとしての賢さも捨てている
スマートフォンには、カメラ専用機を超えた優位性も持ちます。それが多くのセンサーを搭載しているということ。複数のカメラセンサーの搭載、加速度センサー、ジャイロセンサーなどがそれです。高性能なチップを積んでいるので、撮った写真の後処理が可能。1枚の画像だけではなく、カメラの向いてる角度や向き、手の動き、前に写っていたものなど複合的に判断することも可能。
例えば上のほうを向いていれば、センサーによりスマートフォンは「これは空の撮影だろう」と判断、望遠していて月とおぼしきものが写っていれば「月を望遠で撮ろうとしているのだな」と確実にわかるので、適切なモードに切り替えさせることだって可能。
下の方を向いていれば、スマホは「こいつは今、飯を撮ろうとしている可能性が高いな」と判断材料にすることもありえるわけです。AQUOS R5Gは、筆者の手持ちの全スマホの中で最も高速に飯を認識します。スマートフォン（賢い電話）ならではの、賢い写真撮影が可能なのです。
君は知っているか？シャープの爆速旗艦AQUOS R5Gは、全スマホ中最速でメシを認識することを！ pic.twitter.com/oUIaeZ3XSj
— すまほん!!5G (@sm_hn) August 5, 2020
夜景なら、長秒露光や連写によるノイズ削除を行うといった処理も考えられます。
ところが、そういった写真に活かせる「スマートフォンならでは」の様々な情報が、arrows 5Gの「単に1枚の画像を送るだけ」という工程によって、削ぎ落とされてしまうということになります。本来は、状況に応じた対策や加工処理が施せるにも関わらずです。
arrows 5GはSnapdragon 865を搭載していますが、発熱対策のためか性能が制限されます。それでも本来なら「Snapdragon 865ならではの最新DSP/ISPチップで画像処理できる」というメリットは想定されるも、実際は画像処理をAdobe側に投げてしまっているため、このSoCを選択した意味を最大限享受できているとは言い難いわけです。
やはりマルチショットが最適
（Huawei P40 Proで撮影）
昨今のスマートフォンの夜景モードは、連写して露出の異なる写真を複数枚撮影、それらを合成することで、ダイナミックレンジの広い写真とノイズ除去を実現しています。夜景にせよ逆光にせよ、やはり複数枚で画像処理がカギとなってきます。
「様々なセンサーの最大限の活用」「複数枚による合成処理」に、現時点でのarrows 5Gの発想は相反するものということになります。少なくともプロセスのどこかを見直す必要があるでしょう。
色が変なのはAdobeのアップデートでいくらか精度は上がっていくでしょうし、ノイズを単純に絵の具のように塗り潰して誤魔化すことはできるでしょう。しかし単純に細部を塗り潰してしまうと謳い文句の逆を行くので、それは本末転倒かとは思います。
arrows 5G、通常モードではAQUOS R5Gと同水準
通常モードの方がマシ
一応補足しておくと、arrows 5Gは通常モードで撮影すると、はっきり言って最新ハイエンドスマートフォンという括りの中では悪いにしても、日中屋外など光量さえあれば普通に撮れる廉価モデル相当の実力はあります。
いずれもarrows 5Gの通常モードで撮影。
ハイエンドといえば夜景・低照度。同水準のAQUOS R5Gと並べてみました。はっきり言ってどちらも微妙。arrows 5Gはのっぺりしており、拡大すると見れたものではありませんが、それでもPhotoshop Expressモードのようなノイズはなく、むしろ階調が無くなるほど絵の具塗ったくり。
夜景モードも同様の傾向。絵の具塗り潰し。AQUOS R5Gはオート判定でHDRが出ることもありますが、夜景用ではありません。
実はマニュアルが良いAQUOS R5Gだが、同じ原因での限界
以下マニュアル撮影。arrows 5G（左）は利用できる項目に乏しく、AQUOS R5G（右）はやたら詳細。両者シャッタースピードは1/2秒。どちらも三脚こそ用いていないものの、手すりに手をつけてブレないようにおそるおそる撮っています。選択できる項目が違いすぎるのであまり比較にはなってませんが。
AQUOS R5Gのマニュアルはシャドーが潰れていないか、ゼブラピーキングによってグラフィカルにリアルタイムで確認可能なのも良い。彩度などの調整までできて面白いので、「これP20 Pro辺りで撮ったのかな？」というテイストに仕上げてみました。これは好意的に言えばポテンシャルの高さでもあり、一方でスマホとしてオートでサクッと綺麗に撮れる工夫を怠っていることの裏返しでもあります。
マニュアルで最大限頑張ってノイズ少なめでそれっぽいものが撮れるにしても、ハイライトのイマイチさだけは抑えられていません。そこをしっかり描写するとなると、やはり夜景のために露出の異なる多数の静止画を合成する処理を、任意で呼び出せるよう、専用モードはあって然るべきだと思います。そしてそのモードを、手動だけではなく、AIシーン認識でも呼び出せるようにすべきだと思います。
無理難題を言っているわけではない
マルチショットを用いるべきというのは、決して無理難題を言っているわけではありません。AQUOS R5GがHDRに対応しているように、既にarrows 5Gも通常モードにおいて、明暗差が激しい王道シチュエーションで判定が効けばHDRが作動するようになっています。
左がarrows 5GのHDR、右がPhotoshop Expressモード。現に、特に力を入れていないであろうただのHDRのほうが、まだノイズも少なく細部を描き出せています。
左がHDR、右がPhotoshop Expressモード。
標準カメラのHDRにも劣るPhotoshop Expressモードの処理に、バックグラウンド処理すらできず5、6秒かかり次の撮影が阻害されるというのは、時間のロスが大きいばかりです。
総評
arrows 5Gのカメラは、「そのままAdobeのアプリに渡して画像処理させてしまえば、夜景も逆光も細部まで描けるのでは」という素朴な着想だと思われます。
しかし実際にはそういった理想は実現できておらず、それは同時に、昨今のスマホのカメラ処理への制約になってしまうのではと思います。
SonyのXperiaは、ミッドレンジラインは専用の夜景モードを備えてテコ入れ、フラッグシップラインはPhoto ProアプリにてオートHDRを選択可能とし、今風の複数枚合成処理を選択できるようになりました。
（Xperia 1IIはマニュアル撮影の大幅強化だけではなく、今風の画質処理にもしっかり対応してきた）
やはりarrows 5Gのカメラの発想はこのまま行くのは根本的に難しく、より深い共同開発に踏み込むぐらいの覚悟が必要ではないかと思います。もしRAWすら渡していない仕組みであれば（さすがにそんなわけはないと思いますが）、最低限RAWを渡せるようになればかなりマシになる可能性はあり、そして宣伝文句通り本当の意味で夜景と逆光で細部を表現するなら、工程のどこかにマルチショットを取り入れるべきです。
ハイエンドスマホであるからには、大して何も考えずにサクッと綺麗に夜景が撮りたいと思ってしまうもの。FCNT、ついでにオートや夜景がまだ弱いSHARPも、もう少し頑張って欲しいですね。
| スマホで予約、自宅に届く。購入はキャリア公式サイト [AD] | |||
| docomo | au | SoftBank | Rakuten Mobile |
(編集協力: 綾鷹らいち)
