弊誌はアフィリエイト広告を利用しています。

プレステ5を脱獄し、ローカルAIを動作させることが可能に!

PS5LM Plusのダッシュボード

アプリのダッシュボード。Qwen 3.8 27B 生成中(abhi245y/PS5LM)

 ゲーム機のPS5を脱獄し、270億パラメーターの大規模言語モデル(LLM)がそこそこの速さで動作したという驚くべき報告が上がってきました。

 PS5LMは、開発者のMert Cobanov氏が10月にGitHubで公開したプロジェクト。llama.cppを移植し、GGUF形式の言語モデルをPS5上で直接動かします。対象はファームウェア7.00〜13.60で脱獄したPS5。10月時点で公開されているv0.1は「ペイロード」として動作し、扱えるモデルは1.6GBまで(Qwen3.5の0.8Bと2B)に限られています。

 今回の成果は、別の開発者abhi245y氏が10月9日にPS5LMへ提出したプルリクエストによるもの。ペイロードではなくネイティブアプリとして動かすことで、本体の12GiBのダイレクトメモリーとGPUを利用可能にし、llama.cppのVulkanバックエンドで推論を行います。

 ファームウェア13.x環境で報告された結果によると、Qwen3.8-27Bを2ビット前後に量子化したモデル(6.77GiB、コンテキスト64k)で、GPU推論により毎秒20.7トークンを記録。9.15GiBの量子化版でも毎秒20.3トークンに達しました。より軽量なGemma 4 E4Bでは毎秒61トークン、Llama 3.2 3Bでは毎秒124トークンに達します。

 アプリは、生成速度やGPU・メモリーの使用状況を表示するダッシュボードとモデル一覧をテレビ画面に表示。同一ネットワーク上のPCやスマートフォンからも、ブラウザのチャット画面やOpenAI互換API経由で利用できます。

 このプルリクエストはまだPS5LM本体に取り込まれていません。Cobanov氏は「大きな一歩だ」と評価しつつも、READMEの手順からビルドを再現できない点などを取り込みに向けた課題に挙げています。

 Zen 2世代のCPUを積むPS5はPCに近い設計とはいえ、27Bクラスが毎秒20トークンで動くというのは痛快な結果です。とはいえ脱獄が前提なうえに、モデルも2ビット前後まで削った極限構成。実用的なAI環境として飛びつくというよりは、ゲーム機のハードウェアの底力を引き出した実験として楽しむのが良さそうです。

PlayStation 5を購入する
PlayStation 5 (Amazon) [AD]
情報元GitHubGitHub
すまほん!!を購読しませんか?

Twitterでも最新更新を配信・通知しています

フォローする 再度表示しない
広告
広告