CloudflareのWorkers AIで他ユーザーのデータが混入、KVキャッシュの不具合で

Cloudflareが提供する「Workers AI」のGLM-5.3モデルにおいて、テナント分離が適切に行われず、他ユーザーのデータが応答に含まれる事象が発生した。8月27日から9月9日にかけて、681,280トークンを超えるプロンプトに対する155件の応答で混入が確認されている。なお、意図的な悪用の証拠は見つかっていない。

事象の原因は、設定ミスと推論エンジン「SGLang」のバグが重なったことにある。GLM-5.3のコンテキスト長は1,048,576トークンだが、KVキャッシュプールは681,280トークンに設定されていた。

プロンプトがプールサイズを超えた際、SGLangはリクエストを拒否せず、1トークンのプレースホルダーに置き換えて処理を継続した。この際、分散型のプリフィル/デコードモードにおいて、デコードノード側がリクエストの拒否を認識できなかった。その結果、過去のリクエストのKVキャッシュが残ったまま応答が生成され、他ユーザーのデータが混入した。

Cloudflareは9月9日にモデルを一時停止し、KVキャッシュプールをコンテキスト長以上に拡大する設定修正を行った。あわせてSGLangにパッチを適用し、拒否されたリクエストが適切に終了されるよう改修している。

同社はSGLangのメンテナーであるRadixArkと連携し、修正をupstreamに反映させた。SGLang v0.5.22以降でこの問題は解消されている。CloudflareはSGLangを利用する他の事業者に対し、v0.5.22以降へのアップデート、KVプールサイズとコンテキスト長の検証、deferred KV releaseの有効化を推奨している。

開発者にとっての意味

SGLangを利用する開発者は、直ちにv0.5.22以降へ更新し、KVプールサイズとコンテキスト長を再検証すべきだ。本件は設定ミスと推論エンジンのバグが重なり、他者のデータが混入した深刻な事案である。自社でSGLangを運用している場合、KVキャッシュの解放処理が正しく行われているか、deferred KV releaseの設定を含めて確認が必要だ。運用中の製品で同様の構成をとるなら、キャッシュの分離が担保されているか、境界条件での挙動を改めてテストしなければならない。この修正を適用できない環境であれば、当該モデルの利用を即座に停止すべきだ。