LLM事前学習、言語混合がハイパーパラメータ調整を凌駕　データ量最大13倍相当

データ不足下でのLLM事前学習において、他言語データの混合がパラメータ調整を上回る改善を示した。対象言語のデータ量を2〜13倍に増やした効果に匹敵し、モデル規模が拡大するほど差が開く。

世界の多くの言語では学習データが足りず、同じデータを繰り返して学習させるため汎化性能が落ちる。これまでは重み減衰（weight decay）を強めるパラメータ調整が使われてきたが、補助言語を混ぜる手法のほうが効果的だと分かった。

研究では対象言語にアラビア語、補助言語に英語を用い、1億5,000万から14億3,000万パラメータの4規模で検証した。約1,000回の学習を比較したところ、検証損失と実タスク精度の両面でデータ混合がパラメータ調整を圧倒した。

改善幅をデータ量に換算すると、検証損失で2〜3倍、下流タスク精度では2〜13倍に達した。パラメータ調整が容量を絞るだけなのに対し、言語混合は訓練信号を多様化させつつ新しい知識を与えるためだ。

さらに、対象言語の検証損失だけを見ると言語混合の価値を過小評価してしまうことも明らかになった。検証損失は多様化による正則化の効果しか測れず、データ混合がもたらす知識の供給を反映できない。

研究チームはLLM開発の実務指針として、高リソース言語データの積極的な混合を推奨する。開発リソースはハイパーパラメータの徹底探索よりも、補助データの混合比率の最適化へ優先して配分すべきだとした。

また、パラメータのチューニングが必要な場合は、μPを用いて小規模なモデルから設定値を転送する手法を挙げている。計算資源を過度に費やさず、低リソース言語の性能を効率よく引き出す道筋を示した。

経営にとっての意味

運用は変えない。記事は事前学習の研究であり、API費用や実装方針の判断材料が足りない。業務への影響は未確定である。下流タスクの具体的な測り方は原文では触れていない。日本語環境への効果や提供時期、価格も未定である。基幹業務の事前学習を内製する開発責任者には、パラメータ調整より英語混合を優先する示唆がある。だが商用利用時の情報管理や調達費用の記述はない。自社での事前学習案件が発生し、学習費用と安全性が確定するまで見直さない。