Liquid AIが決定モデル公開、エッジで最短16ms応答

端末側で推論を完結させるAIモデル「d1-3B」と「d1-omni-600M」の重みが、Hugging Faceで公開された。トークンを順次生成する従来のモデルと異なり、単一のフォワードパスで回答を出力する。Liquid AIの基盤モデル「Liquid Foundation Models（LFMs）」をベースに開発した。

小型ながら既存の大型モデルを上回る精度を示す。d1-3Bはベンチマーク「Decision Index 0.2.1」で48.57を記録し、Decider 35B-A3Bの47.11や4B、9Bのモデルを上回った。読解や意図分類など7つの公開データセットの平均でも、d1-3Bが82.9、d1-omni-600Mが78.4と高い水準を示している。

推論速度はNVIDIAとの共同測定で高い数値を残した。d1-3Bの単一質問に対する応答時間は、NVIDIA Jetson AGX Thorで16 ms、Jetson AGX Orin 64GBで26 msとなった。Jetson Orin Nanoでは50 ms、Apple M5 Proでは30 msで動作する。GPU環境ではRTX 4090で8 ms、AMD MI325Xで9 msを記録した。

入力形態はモデルごとに分かれる。d1-3Bはビジョン言語モデル「LFM2.5-VL-3B」を使い、テキストと画像を入力として受け付ける。d1-omni-600Mは「LFM2.5-Encoder-350M」をベースにエンコーダーを追加し、テキストと画像、またはテキストと音声の組み合わせに対応する。

実装にはtransformers 5.14以上やPyTorch、torchvision、Pillowが必要となる。コードはモデルに同梱されており、AutoModel経由で読み込んで動かす。

なお、d1-omni-600Mは初期研究リリース段階にあり、推論速度は公表されていない。視覚や音声に関する決定ベンチマークの数値についても、未解決の課題や非公開データがあるため公表を見送った。

開発者にとっての意味

手元の実装は変えない。単一フォワードパスで動くが、視覚や音声の測定条件は原文で触れていない。そのため自社データでの精度評価をやり直す必要がある。経営者にとっては推論費用が未定であり、投資判断への影響は未確定だ。開発者にとっては重みが公開され、AutoModelで読める利点がある。しかし既存の逐次生成処理を単一出力へ直す実装の手間が生じる。手元の機材で分類精度を実測し、現行コードを上回るまで移行は見送る。