NVIDIAとAI4Bharat、インド22言語の学習用データセットと生成パイプラインを公開

インドの憲法で定められた22言語を対象とした学習用データセット「Nemotron-pretraining-Indic-v1」が公開された。NVIDIAとインド工科大学マドラス校のAI研究ラボ「AI4Bharat」が共同で開発したもので、生成に使用したGPUアクセラレーション対応のパイプラインも利用できる。

データセットは合計で約2.8兆トークンに及ぶ。内訳は、固有文字のデータが2兆6,010億トークン、ローマ字表記のデータが2,246億トークンだ。対象はヒンディー語やタミル語など、インドの主要な言語を網羅している。

データ生成には、NVIDIAのオープンソースフレームワーク「NeMo Data Designer」を採用した。12言語については、英語のソースドキュメントを「Gemma-4-31B-it」で翻訳し、品質評価を経て生成する手法をとっている。

品質評価にはMultidimensional Quality Metrics（MQM）を参考にし、100点満点中75点以上の出力を採用した。残る10言語は、Bodhan AIが開発した「Indic Translate」で翻訳し、同様にGemma-4-31B-itで評価を行っている。

本データセットを用いた「Nemotron 3.5 Super VL」の継続事前学習（CPT）の結果も報告された。100億トークンのインド言語データを追加学習したところ、MILUやIndic MMLU-Proなど5つのベンチマークでスコアが向上した。

利用にあたっては、ライセンスおよびデータセットカードの確認が推奨される。翻訳データは元の言語のテキストを完全に代替するものではなく、自然言語データとの併用が望ましい。評価は主に自動化されており、言語によってカバー範囲が異なる点には注意が必要だ。

開発者にとっての意味

インド市場向け製品を開発するエンジニアは、本データセットを即座に採用すべきではない。公開されたデータは翻訳ベースの合成データが主であり、自然言語との併用が推奨されているためだ。既存のパイプラインを変えるなら、手元の評価データセットで、このデータを用いたモデルと現行モデルの出力をMQM基準で比較し、品質の差を測り直す必要がある。経営者は、翻訳データの品質が自社製品の要件を満たすか、言語ごとの人間によるレビュー範囲が十分かを確認せよ。現時点では、特定の言語で精度が向上したというベンチマーク結果のみでは、実運用への移行を判断する根拠として不十分である。