楽天、日本語特化のAI言語モデルを無償提供へ

　楽天グループは2月12日、日本語に最適化した新しい大規模言語モデル「Rakuten AI 2.0」と、同社初となる小規模言語モデル「Rakuten AI 2.0 mini」の提供を開始したと発表しました。

　両モデルは基盤モデルとインストラクションチューニング済モデルの2種類が用意され、Apache 2.0ライセンスで提供されるため、商用利用が可能となっています。

　「Rakuten AI 2.0」は、基盤モデルのファインチューニングにおいて、最新の研究成果であるSimPO（Simple Preference Optimization with a Reference-Free Reward）を活用したとのことです。この手法は、従来のRLHFやDPOと比較して、シンプルで安定的、かつ効率的な特徴を持ち、人間の嗜好に合わせたファインチューニングを実現するそうです。

　楽天によると、日本語版MT-Benchによる評価では、「Rakuten AI 2.0」インストラクションチューニング済モデルが同程度のアクティブパラメータ数を持つ他のモデルと比較して最高性能を達成したとしています。また、「Rakuten AI 2.0 mini」インストラクションチューニング済モデルも、同サイズのオープンモデルの中で最高性能を記録したとのことです。

　「Rakuten AI 2.0」は、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されており、高品質な日本語と英語の言語データで学習を重ねているとしています。一方、「Rakuten AI 2.0 mini」は15億パラメータのモデルで、内製の多段階データフィルタリングとアノテーションプロセスを通して構築された高品質なデータで学習が行われているそうです。