Dataplex Universal Catalog ジョブログは、Cloud Logging で表示、検索、フィルタ、アーカイブできます。
費用については、Google Cloud Observability の料金をご覧ください。
ロギングの保持の詳細については、ログの保持期間をご覧ください。
すべてのログを無効にするか、Logging からログを除外するには、除外フィルタをご覧ください。
Logging から Cloud Storage、BigQuery、Pub/Sub にログを転送するには、ルーティングとストレージの概要をご覧ください。
Logging で Dataplex Universal Catalog サービスログにアクセスする
Dataplex Universal Catalog は、次のサービスログを Cloud Logging に公開します。
| ログタイプ | ログ名 | logName クエリ |
ログの説明 |
|---|---|---|---|
| データスキャンのイベントログ | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
ジョブの状態、結果、統計情報を示すデータスキャン ジョブのイベントログ |
| データ品質スキャンルールの結果ログ | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
データ品質ジョブのデータ品質スキャンルールの結果 |
| 検出ログ | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
ゾーン内のアセットの検出進行状況と更新情報 |
| メタデータ ジョブのログ | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
メタデータのインポート ジョブとメタデータのインポート ファイル内のインポート アイテムに関するログ |
| プロセスログ | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
データ処理タスクの結果、ジョブを実行する |
次のように置き換えます。
- PROJECT_ID: プロジェクトの ID
Logging にアクセスするには、Google Cloud コンソールのログ エクスプローラ、gcloud logging コマンド、または Logging API を使用します。
データスキャン イベントログをクエリする
Dataplex Universal Catalog でデータスキャンを作成して実行すると、その結果となるジョブのデータスキャン イベントログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex DataScan] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名を検索] フィールドに
dataplex.googleapis.com%2Fdata_scanと入力します。[data_scan] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
[クエリを実行] をクリックします。
gcloud
データスキャン イベントログ エントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
データ品質スキャンルールの結果ログをクエリする
Dataplex Universal Catalog でデータ品質スキャンを作成して実行すると、その結果となるジョブのデータ品質スキャンルールの結果ログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex DataScan] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名の検索] フィールドに
dataplex.googleapis.com%2Fdata_quality_scan_rule_resultと入力します。[data_quality_scan_rule_result] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
[クエリを実行] をクリックします。
gcloud
データ品質スキャンルールの結果ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
クエリ検出ログ
Dataplex Universal Catalog を使用してアセット内のデータを検出すると、Logging に検出ログが生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex ゾーン] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名の検索] フィールドに
dataplex.googleapis.com%2Fdiscoveryと入力します。[検出] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のアセットにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
[クエリを実行] をクリックします。
gcloud
検出ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
メタデータ ジョブログをクエリする
メタデータのインポート ジョブを実行すると、メタデータ ジョブログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex メタデータ ジョブ] を選択します。
省略可: 特定のロケーションまたはメタデータ ジョブ ID にログをフィルタリングするには、ロケーションまたはジョブ ID を選択します。
[適用] をクリックします。
[ログ名] メニューをクリックします。
「
dataplex.googleapis.com%2Fmetadata_job」と入力して、[metadata_job] を選択します。[適用] をクリックします。
gcloud
メタデータ ジョブのログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/MetadataJob" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
resource.labels.location=LOCATION AND
resource.labels.metadata_job_id=METADATA_JOB_ID
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
プロセスログをクエリする
Dataplex Universal Catalog でタスクをスケジューリングして実行すると、その結果となるジョブのプロセスログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex タスク] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名の検索] フィールドに
dataplex.googleapis.com%2Fprocessと入力します。[プロセス] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のタスクにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
[クエリを実行] をクリックします。
gcloud
プロセス ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
次のステップ
- Cloud Logging の詳細を確認する。
- Dataplex Universal Catalog のモニタリングの詳細を確認する。