BigQueryのObjectRefが一般提供へ。非構造化データをSQLで直接操作可能に

BigQueryの機能「ObjectRef」が一般提供（GA）を開始した。Cloud Storage上の画像、動画、音声、ドキュメントといった非構造化データを、BigQueryのテーブル内で直接扱えるようになる。

ObjectRefは、BigQueryの組み込みSTRUCTデータ型として実装された。Cloud Storage上のファイルへのポインタを保持する仕組みで、非構造化データを標準的な列と同様に扱える。

最大の特徴は「Zero-copy」アーキテクチャだ。データをCloud Storageに置いたままクエリを実行できるため、データの複製が不要になる。

SQLやPythonとの親和性も高い。標準SQLやBigQuery DataFramesでクエリを実行できるほか、BigQuery Python UDFを通じてOpenCVなどのライブラリを適用可能だ。

ガバナンス面では、BigQueryのセキュリティポリシーとIAM制御により、構造化データと非構造化ファイルを一元管理できる。Cloud Storageの世代番号を追跡し、特定のバージョンのファイルを参照することも可能だ。

ユーザーはSQLのみでETLパイプラインを構築できる。GeminiモデルをSQLクエリ内で呼び出し、非構造化データから特徴抽出やアノテーションを行うことも可能だ。Snap社では、この機能を活用してコンテンツモデレーションの効率化を実現している。

GAに伴い、機能も拡充された。個人のIAM IDを使用して直接非構造化データをクエリできる「End User Credentials（EUC）」をサポートした。

また、BigQueryオブジェクトテーブルやCloud Storageインサイトデータセットなど、複数のソースからのメタデータ統合にも対応する。ObjectRefを含む配列の処理も可能になり、画像シーケンスの分析や複数ドキュメントの比較が容易になった。

本機能は、すべてのBigQueryエディションおよびオンデマンド価格帯で利用できる。なお、具体的な料金体系やリージョン別の制限については現時点で公表されていない。

経営にとっての意味

経営者は、本機能の導入を見送る。理由は、ObjectRef利用時の追加費用やリージョン制限が原文で不明なためだ。コスト対効果を算出できない現状では、既存のETLパイプラインを刷新するリスクを負えない。料金体系と提供地域の詳細が公開され次第、構造化データと非構造化データの統合分析にかかる運用人件費を再試算する。開発者は、Cloud Storage上の非構造化データをSQLで直接扱えるため、データ複製の手間が省ける。ただし、GeminiモデルをSQL内で呼び出す際のAPI単価が不明なため、現時点では実装の判断材料が足りない。まずはコスト構造が判明した段階で、既存のパイプラインとの比較検証を行う。