Googleは、Pixel 8 Pro向けに12月のFeature Dropを配信し、アップデートで動画ブースト機能を追加。動画ブースト機能を使用すると、色、明るさ、手振れ補正、画像の粗さが自動調整され、端末上で動画処理された動画よりも高画質に。低照度で有効にすると、自動でビデオ夜景モードとして実行されます。
通常の動画処理は、端末上の画像処理チップやAIチップと実装されているアルゴリズムを用いて撮影された動画データを処理します。しかしながら、30fpsの動画を1分記録するには1800枚という膨大なデータを処理する必要があり、動画を撮影してから保存する際のスマホの動画処理では写真撮影のような十分な処理を行うことは難しいのが現状です。
動画ブーストではデータセンター上で動画を処理するという新たな試みにより、デバイス上の端末単体ではできない高度な動画処理を実現。
動作原理としてはデバイス上のTensor G3がまずデバイスの動画処理とノイズ除去を実行。その動画が元の動画としてGoogle Photoに保存されると同時に、バックグラウンドでGoogleのクラウドAIにも送信されます。
その後、Googleの最先端のハードウェアとソフトウェアやITインフラを持つデータセンターにおいて、HDR+アルゴリズムにより動画のすべてのフレームに対して自動露出調整と手振れの安定化、ノイズによる粒さを除去の処理が実行。
結果、アップロードしてから数分から数時間の間に元のバージョンからクラウド処理された、端末単体では撮影できない高画質な動画に置き換わると同時に通知が届きます。
Googleフォトではブーストが行われた動画と元の動画の両方を確認することができます。元動画は撮影設定を4K 30fpsに設定していても1080p 30fpsのSDR動画として保存され、クラウド処理される前にその動画を閲覧・編集・共有をすることもできるようです。また、クラウド上で処理が行われている間はGoogle Cloudの使用容量に含まれないとのこと。
動画ブーストはビデオモードのビデオ設定から有効化でき、最大4K 30fps 10bit HDRで記録することが可能。
動画ブーストの注意点として、クラウドに多大なデータ量を送信する必要があり、高速なWi-Fi通信に接続する必要である点と、動画を撮影・送信してからGoogleのクラウド上の処理が終了するまでにラグが生じる点、最大録画制限が10分である点が挙げられます。さっと撮ってSNSに共有する用途には向きませんが、記録した動画を後日見返す場合やラグを気にしなければ大活躍できる機能なのではないでしょうか。
この他、12月のアップデートではPixel 8シリーズで夜景タイムラプス撮影や、犬や猫へのボケ補正の適用、AIにより人物撮影の極端な影を除去する改善されたGoogleフォトのポートレートライト機能の使用が可能になります。
また、Pixel 8 Proで高性能AIモデル「Gemini」の軽量型サイズGemini Nanoも利用可能になります。本アップデートは既に日本国内で配信開始しています。