L'interfaccia di monitoraggio basata sul web di Dataflow include una dashboard che monitora i job Dataflow a livello di progetto. I grafici mostrano i dati per tutti i job in un progetto.
La dashboard può aiutarti con le seguenti attività:
- Rileva e identifica l'origine degli errori di quota.
- Rileva la scalabilità automatica orizzontale anomala in un job.
- Identifica job di flussi di dati lenti o bloccati.
La dashboard utilizza Cloud Monitoring per accedere alle metriche dei job Dataflow. Per personalizzare le informazioni visualizzate nei grafici, utilizza Metrics Explorer.
Funzionalità
La dashboard include le seguenti funzionalità:
- Scegli i job da visualizzare nella dashboard utilizzando le espressioni regolari.
- Accedi alla pagina dei dettagli del job dai singoli grafici.
- Personalizza i widget e i grafici della dashboard.
Ruoli obbligatori
Per ottenere l'autorizzazione necessaria per visualizzare i dati del grafico,
chiedi all'amministratore di concederti il ruolo IAM
Visualizzatore Monitoring (roles/monitoring.viewer
).
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questo ruolo predefinito contiene l'autorizzazione monitoring.timeSeries.list
, necessaria per visualizzare i dati del grafico.
Potresti anche essere in grado di ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.
Metriche
Per impostazione predefinita, nella dashboard vengono visualizzati i seguenti grafici. Per ulteriori informazioni sulle metriche visualizzate, consulta Metriche dei job.
Grafico | Description | Assistenza |
---|---|---|
Job in esecuzione | Un grafico delle serie temporali che mostra il numero di job in esecuzione nel progetto. | Job batch e flussi di dati |
Worker per job | Un grafico delle serie temporali che mostra il numero di worker utilizzati per
job. Utilizza questo grafico per comprendere il comportamento della scalabilità automatica nel progetto.
Puoi vedere se i job hanno un comportamento di scalabilità imprevisto o insolito. Utilizza questo grafico con i grafici della quota e della CPU per identificare i job la cui scalabilità è limitata da errori di quota. |
Job batch e flussi di dati |
Errori di superamento quota | Un grafico delle serie temporali che mostra la cronologia degli errori di superamento della quota nel progetto, con ambito alle quote di CPU di Compute Engine. Compute Engine prevede quote di CPU totali per area geografica e, per alcune famiglie di macchine, quote per area geografica, per tipo. Ognuna di queste quote potrebbe impedire l'avvio o lo scale up di un job. Utilizza questo grafico con i grafici relativi alle quote e alla CPU per identificare l'origine degli errori di quota. |
Job batch e flussi di dati |
CPU per job | Un grafico delle serie temporali che mostra il numero di CPU utilizzate dai worker di ogni job. Questo grafico mostra anche il tipo di macchina e la località per ciascun job. I tipi di macchina nella stessa famiglia hanno un numero diverso di CPU. Il numero totale di CPU influisce sulle quote di Compute Engine. Utilizza questo grafico per identificare l'origine degli errori di quota. |
Job batch e flussi di dati |
Latenza di sistema | Un grafico delle serie temporali che mostra il numero massimo di secondi
durante i quali un elemento di dati è stato elaborato o è in attesa di elaborazione
per ogni job. Utilizza questo grafico per identificare i job di inserimento di flussi che presentano un ritardo insolito tra il momento in cui i dati vengono visualizzati in un'origine e vengono scritti in tutti i sink. |
Job di streaming |
Aggiornamento dei dati | Un grafico delle serie temporali che mostra l'aggiornamento massimo dei dati per qualsiasi fase di ogni job. Utilizza questo grafico per trovare job di inserimento dei flussi che potrebbero essere lenti o bloccati. |
Job di streaming |
Byte di backlog massimi | Un grafico delle serie temporali che mostra il numero massimo di byte di backlog per qualsiasi fase di ogni job. Utilizza questo grafico per identificare le anomalie che indicano un collo di bottiglia dell'elaborazione. |
Job di streaming |
Accedere alla dashboard
Per accedere alla dashboard, procedi nel seguente modo:
- Accedi alla console Google Cloud.
- Selezionare il tuo progetto Google Cloud.
- Apri il menu di navigazione.
- In Analytics, fai clic su Dataflow.
Nel menu di navigazione di Dataflow, fai clic su Monitoring.
Personalizzare la dashboard
Puoi personalizzare i contenuti della dashboard e le informazioni visualizzate nei grafici. Quando modifichi la dashboard, viene creata una nuova dashboard personalizzata.
La dashboard utilizza Cloud Monitoring per accedere alle metriche dei job Dataflow. Utilizza gli strumenti di Cloud Monitoring per personalizzare i grafici.
- Apri la dashboard e fai clic su Personalizza dashboard.
- Modifica la dashboard.
- Per filtrare i job visualizzati nella dashboard, consulta gli articoli Aggiungere filtri temporanei a una dashboard personalizzata e Aggiungere filtri permanenti a una dashboard personalizzata.
- Per modificare o rimuovere i widget, vedi Gestire i widget della dashboard.
- Per modificare i contenuti dei grafici, consulta Selezionare metriche per i grafici nelle dashboard.
- Per aggiungere grafici alla dashboard, consulta Aggiungere grafici e tabelle a una dashboard personalizzata.
- Fai clic su Salva e poi su Visualizza dashboard personalizzata.
Dopo aver creato una dashboard personalizzata, per tornare alla dashboard predefinita, seleziona Predefinito nel menu Dashboard.
Risoluzione dei problemi
Questa sezione fornisce istruzioni per la risoluzione dei problemi più comuni
Nessun dato disponibile
Quando apri la dashboard, uno o più grafici mostrano il seguente messaggio:
No data is available for the selected time frame.
Questo messaggio viene visualizzato quando il periodo di tempo coperto nei grafici non contiene dati. Per risolvere il problema, modifica o espandi l'intervallo di tempo.
Per modificare l'intervallo di tempo visualizzato, fai clic su Esplora i dati nel grafico e poi utilizza il selettore dell'intervallo di tempo.
Impossibile ripristinare i widget eliminati
Quando rimuovi un widget dalla dashboard, ne crei una personalizzata. Dopo aver creato una dashboard personalizzata, per tornare alla dashboard predefinita, seleziona Predefinito nel menu Dashboard.
Impossibile visualizzare i grafici
Per visualizzare i dati del grafico, devi disporre dell'autorizzazione monitoring.timeSeries.list
. Per ulteriori informazioni, consulta la sezione Ruoli obbligatori.
Passaggi successivi
- Scopri di più sulle singole metriche del job.
- Esplora le metriche con Cloud Monitoring.
- Risolvi i problemi relativi a job lenti o bloccati.