會原 
スマホで動くAIが1GB未満に。
Googleが、軽量AIモデル「Gemma 4」に量子化を前提にした訓練（モデルを軽量化する前提で学習させる手法）を施した新しいチェックポイントを公開しました。Android Authorityが伝えています。
最小構成のGemma 4 E2Bは、モバイル向けフォーマットでメモリ使用量を約1GBまで抑え、テキスト専用なら1GB未満で動かせるといいます。
カギになっているのがQAT（Quantization-Aware Training、量子化を見込んで学習する手法）です。一般的なPTQ（学習後に圧縮するやり方）はモデルが完成してから小さくするため品質が落ちがちですが、QATは訓練の段階から圧縮後の姿を想定しておくので劣化を抑えられます。Googleは「標準的なPTQと比べて全体の品質はむしろ高い」としています。
平たく言えば、引っ越しでスーツケースに荷物を詰めるとき、最後に力ずくで押し込むのがPTQ、最初から畳み方を考えて詰めるのがQAT、というイメージですね。後者のほうが中身が無事でいられる、というわけです。
効果は数字にも表れています。Googleの推論メモリ要件の表では、Q4_0の4bit形式にするとBF16比でおおむね75%のメモリ削減になります。26B A4BはQ4_0で約14.4GBのメモリ要件に収まり、ベンチマークでは31Bに近い成績の項目もあります。
モバイル向けの圧縮では、トークンを生成する部分を2bitまで思い切って削る一方、推論の中核となる層は精度を高く保つという使い分けをしています。
端末の中で完結するAIがここまで軽くなると、クラウドに頼らない使い方の現実味が一気に増します。手元のスマホが、いつの間にか頼れる相棒になっていく。そんな方向性がまた少し近づいたと言えそうです。
