Vision Warehouse の概要

Vision Warehouse は、デベロッパーが非構造化メディア コンテンツ（ストリーミング動画、画像、バッチ動画）のストレージと AI ベースの検索を既存のツールやアプリケーションに統合できるようにする API です。

Vision Warehouse は、Gemini Enterprise Agent Platform Vision の主要コンポーネントです。ストレージ リポジトリとして機能し、複数のデータ型とユースケースに対応した高度な検索機能を提供します。詳細は以下のとおりです。

  • 動画のストリーミング: Gemini Enterprise Agent Platform Vision プラットフォーム アプリケーションまたは Vision Warehouse API を使用して、ライブ動画ストリームとライブ動画分析データをインポートし、Vision Warehouse API または Google Cloud コンソールを使用して画像を検索できます。
  • 画像: Vision Warehouse API を使用して画像とメタデータをインポートし、Vision Warehouse API を使用して画像を分析し、Vision Warehouse API または Google Cloud コンソールを使用して画像を検索できます。
  • バッチ動画: Vision Warehouse API を使用してバッチ動画とメタデータをインポートし、Vision Warehouse API を使用してバッチ動画を分析し、Vision Warehouse API または Google Cloud コンソールを使用してバッチ動画を検索できます。

API リソースの概要

Vision Warehouse の API リソース階層図。

Storage API リソース

コーパス: 特定のタイプのメディア アセットを保持するコンテナ。複数のコーパスを作成して、さまざまな種類のメディア アセットを整理できます。

アセット: コーパス内に保存されているメディア オブジェクト。アセットは、画像、バッチ動画、動画ストリームにすることができます。コーパスには通常、同じタイプのアセットが多数含まれています。アセットに関連付けるアノテーションを指定できます。アセットは、管理のためにコレクションにグループ化することもできます。

コレクション: アセットへの参照のコンテナとして機能するコーパス内のリソース。

アノテーション: アセットに関連付けられた、ユーザーが指定したメタデータ、または Gemini Enterprise Agent Platform Vision から派生したデータ。アセットには複数のアノテーションを付けることができます。

  • 例 1: バッチ動画アセットに「video-title」という名前のテキスト アノテーションを指定します。
  • 例 2: Gemini Enterprise Agent Platform Vision モデルから分析されたデータをアノテーションとして保存します。たとえば、異なる動画タイムフレームのオブジェクト認識ラベルをアノテーションとして保存できます。

データ スキーマ: コーパス内でアノテーションがどのように解釈されるかを定義します。データスキーマは、1 つのアノテーション タイプとその検索戦略を定義します。各アノテーションはデータ スキーマに関連付ける必要があります。

Search API リソース

インデックス（画像とバッチ動画の業種で使用可能）: 分析されたアセットとアノテーションのマネージド表現であるコーパスレベルのリソース。インデックスは、メディア コンテンツの意味を表すエンベディング ベクトルとセマンティック制限のデータセットと見なすことができます。インデックスは、検索用にインデックス エンドポイントにデプロイできます。

インデックス エンドポイント（画像とバッチ動画の業種で使用可能）: Vision Warehouse インデックスを提供するマネージド環境。インデックス エンドポイントは、検索リクエストを送信するための単一のアクセス ポイントを提供します。

検索構成: 検索の動作と検索結果に影響するさまざまなプロパティを保存します。

  • ファセット プロパティ（ストリーミング動画カテゴリで使用可能）: ファセットベースのヒストグラム検索結果を有効にする構成を作成します。
  • 検索条件プロパティ（ストリーミング動画とバッチ動画の業種で利用可能）: カスタム検索条件と 1 つ以上のデータ スキーマキー間のマッピングを作成します。

上位語検索: 検索サービスが単語の上位語を認識する機能をカスタマイズできる特定のタイプの検索構成。たとえば、ユーザーは「猫」と「犬」の上位語として「動物」を指定できます。「animal」で検索すると、インデックス データに「cat」と「dog」が含まれている結果も返されます。

サポートされている言語

バッチ動画ウェアハウスと画像ウェアハウスは、セマンティック検索で次の言語をサポートしています。

  • 英語
  • スペイン語
  • ポルトガル語
  • フランス語
  • 日本語
  • 中国語

Streaming Warehouse に言語の制限はありません。

次のステップ