會原 
スマホの中のAI、着実に賢くなっています。Android Authorityが、Googleの次世代オンデバイスAI「Gemini Nano 4」の実機ベンチマーク結果を公開しました。テスト端末はPixel 10 Pro XLで、Tensor G5のTPU上で動作させています。なお、今回はAICore Developer Preview経由の先行テストとなります。
Nano 4には「Fast」（20億パラメータ級/4.2GB）と「Full」（40億パラメータ級/5.9GB）の2モデルが用意されており、どちらもGemma 4系がベースです。
速度面では、Nano 4 Fastが推計で平均19.14トークン/秒を記録。Nano 3の9.6トークン/秒から平均では約2倍の向上です。
一方のNano 4 Fullは5.3トークン/秒にとどまり、Nano 3より遅い結果でした。Googleは「最大4倍速」と説明していますが、Android Authorityの実機平均ではそこまでは伸びていません。
そもそもトークン/秒というのは、AIが1秒間にどれくらいの速度で文章を出せるかの目安です。Android Authorityは、人が読むうえでの最低限の目安をおおむね5〜10トークン/秒としています。そう考えると、Nano 4 Fastの19前後は体感としてはかなり快適と言えます。Nano 4 Fullは、かなり物足りないですね……。
精度面でも進化が見られます。Nano 3が間違えた「3x+27=48を解け」（正解はx=7）では、Nano 4は両モデルとも正解しました。一方で、「strawberry」に含まれる「r」の数を数えるタスクでは、正解は3つです。しかしAndroid Authorityの例ではFastもFullも「2つ」と答えており、この点にはまだ取りこぼしがあります。この「strawberry」問題は2024年にGPT-4oなどでも話題になりました。
ただし気になる点もあります。Nano 4 Fastには回答がやや冗長になる傾向があり、Nano 3より5割増し、時には2倍近い量のテキストを出すケースがあるそうです。つまり、トークン/秒では速くても、出力量が増えるぶん返答が終わるまでの体感時間はNano 3とあまり変わらない場面もあるわけです。速くなった代わりに少しおしゃべりになった、という副作用は否めないかもしれません。
今後はツール呼び出し、構造化出力、システムプロンプト、「thinking mode」対応も予定されています。対応はGoogle、MediaTek、Qualcommの最新世代AIアクセラレータが中心で、AICore非対応端末では当面CPU実装でも試すことができます。さらにGoogleは電力面でも最大60%のバッテリー削減をうたっています。オンデバイスAIがここまで来たというのは、なかなか胸が熱くなる話です。ポケットの中の「そこそこ賢い相棒」は、かなり現実味を帯びてきました。
