Dataflow のウェブベースのモニタリング インターフェースには、プロジェクト レベルで Dataflow ジョブをモニタリングするダッシュボードが含まれています。グラフには、1 つのプロジェクト内のすべてのジョブのデータが表示されます。
ダッシュボードは次のタスクに役立ちます。
- 割り当てエラーの原因を検出して特定する。
- ジョブ内の異常な水平自動スケーリングを検出する。
- 遅いまたは停止しているストリーミング ジョブを特定する。
ダッシュボードは、Cloud Monitoring を使用して Dataflow ジョブの指標にアクセスします。グラフに表示される情報をカスタマイズするには、Metrics Explorer を使用します。
機能
ダッシュボードには次の機能があります。
- 正規表現を使用して、ダッシュボードに表示するジョブを選択する。
- 個々のグラフからジョブの詳細ページにアクセスする。
- ダッシュボードのウィジェットとグラフをカスタマイズする。
必要なロール
グラフデータを表示するために必要な権限を取得するには、モニタリング閲覧者（roles/monitoring.viewer）IAM ロールの付与を管理者に依頼してください。ロールの付与の詳細については、アクセス権の管理をご覧ください。
この事前定義ロールには、グラフデータを表示するために必要な monitoring.timeSeries.list 権限が含まれています。
カスタムロールや他の事前定義ロールを使用して、この権限を取得することもできます。
指標
デフォルトでは、次のグラフがダッシュボードに表示されます。表示される指標の詳細については、ジョブの指標をご覧ください。
| 図 | 説明 | サポート |
|---|---|---|
| 実行中のジョブ | プロジェクトで実行されているジョブの数を示す時系列グラフ。 | バッチジョブとストリーミング ジョブ |
| ジョブあたりのワーカー数 | ジョブごとに使用されているワーカーの数を示す時系列グラフ。このグラフでは、プロジェクト全体の自動スケーリングの動作を把握できます。ジョブに予期しない、または異常なスケーリング動作があるかどうかを確認できます。 このグラフと、割り当ておよび CPU のグラフを一緒に使用して、割り当てエラーによってスケーリングが制限されているジョブを特定します。 |
バッチジョブとストリーミング ジョブ |
| 割り当て超過エラー | プロジェクトの割り当て超過エラーの履歴を示す時系列グラフ。範囲は Compute Engine の CPU 割り当てです。Compute Engine には、リージョンごとの合計 CPU 割り当てがあります。また、一部のマシン ファミリーではリージョンとタイプごとの割り当てがあります。これらの割り当てにより、ジョブの開始やスケールアップができなくなる可能性があります。 割り当ておよび CPU のグラフと一緒にこのグラフを使用して、割り当てエラーの原因を特定します。 |
バッチジョブとストリーミング ジョブ |
| ジョブあたりの CPU 数 | 各ジョブのワーカーによって使用されている CPU の数を示す時系列グラフ。このグラフには、各ジョブのマシンタイプとロケーションも表示されます。同じファミリーのマシンタイプでは CPU の数が異なります。CPU の合計数は Compute Engine の割り当てに影響します。 このグラフを使用して、割り当てエラーの原因を特定します。 |
バッチジョブとストリーミング ジョブ |
| システム レイテンシ | 各ジョブでデータ項目が処理中か処理を待機している時間の最大秒数を示す時系列グラフ。 このグラフを使用して、データがソースに表示され、すべてのシンクに書き込まれるまでの間に異常な遅延が発生しているストリーミング ジョブを特定します。 |
ストリーミング ジョブ |
| データの更新速度 | 各ジョブのステージにおけるデータの更新頻度の最大値を示す時系列グラフ。 このグラフを使用して、遅いまたは停止している可能性のあるストリーミング ジョブを見つけます。 |
ストリーミング ジョブ |
| バックログの最大バイト数 | 各ジョブのステージの最大バックログのバイト数を示す時系列グラフ。 このグラフを使用して、処理のボトルネックを示す異常を特定します。 |
ストリーミング ジョブ |
ダッシュボードにアクセスする
ダッシュボードにアクセスする手順は次のとおりです。
- Google Cloud コンソールにログインします。
- Google Cloud プロジェクトを選択します。
- ナビゲーション メニューを開きます。
- [分析] で、[Dataflow] をクリックします。
ナビゲーション メニューで、[モニタリング] をクリックします。
ダッシュボードをカスタマイズする
ダッシュボードのコンテンツとグラフに表示される情報をカスタマイズできます。ダッシュボードを編集すると、カスタマイズされた新しいダッシュボードが作成されます。
ダッシュボードは、Cloud Monitoring を使用して Dataflow ジョブの指標にアクセスします。Cloud Monitoring ツールを使用してグラフをカスタマイズします。
- ダッシュボードを開き、[ダッシュボードをカスタマイズ] をクリックします。
- ダッシュボードを変更します。
- ダッシュボードに表示されるジョブをフィルタリングするには、カスタム ダッシュボードに一時的なフィルタを追加するとカスタム ダッシュボードに永続的なフィルタを追加するをご覧ください。
- ウィジェットを編集または削除するには、ダッシュボード ウィジェットを管理するをご覧ください。
- グラフの内容を編集するには、ダッシュボード上のグラフの指標を選択するをご覧ください。
- ダッシュボードにグラフを追加するには、カスタム ダッシュボードにグラフとテーブルを追加するをご覧ください。
- [保存] をクリックし、[カスタマイズされたダッシュボードを表示] をクリックします。
カスタマイズされたダッシュボードを作成してデフォルトのダッシュボードに戻るには、[ダッシュボード] メニューで [事前定義] を選択します。
トラブルシューティング
このセクションでは、一般的な問題のトラブルシューティングについて説明します。
データがない
ダッシュボードを開くと、1 つ以上のグラフに次のメッセージが表示されます。
No data is available for the selected time frame.
このメッセージは、グラフの対象期間にデータがない場合に表示されます。この問題を解決するには、期間を変更または拡大します。
表示期間を変更するには、グラフの [データを探索] をクリックし、期間セレクタを使用します。
削除したウィジェットを復元できない
ダッシュボードからウィジェットを削除すると、カスタマイズされたダッシュボードが作成されます。カスタマイズされたダッシュボードを作成してデフォルトのダッシュボードに戻るには、[ダッシュボード] メニューで [事前定義] を選択します。
グラフを表示できない
グラフデータを表示するには、monitoring.timeSeries.list 権限が必要です。詳細については、必要なロールをご覧ください。
次のステップ
- 個々のジョブ指標の詳細を確認する。
- Cloud Monitoring で指標を調べる。
- 遅いジョブや停止したジョブのトラブルシューティング