Painel de monitoramento de projetos do Dataflow

A interface de monitoramento do Dataflow baseada na Web inclui um painel que monitora os jobs do Dataflow no nível do projeto. Os gráficos mostram dados de todos os jobs em um projeto.

Acessar o painel

O painel pode ajudar você com as seguintes tarefas:

  • Detectar e identificar a origem dos erros de cota.
  • Detectar escalonamento automático horizontal anômalo em um job.
  • Identifique jobs de streaming lentos ou travados.

O painel usa o Cloud Monitoring para acessar as métricas de jobs do Dataflow. Para personalizar as informações exibidas nos gráficos, use o Metrics Explorer.

Recursos

O painel inclui os seguintes recursos:

  • Escolha quais jobs aparecem no painel usando expressões regulares.
  • Acesse a página de detalhes do job em gráficos individuais.
  • Personalizar os widgets e os gráficos do painel.

Funções exigidas

Para receber a permissão necessária para ver os dados do gráfico, peça ao administrador para conceder a você o Leitor do Monitoring (roles/monitoring.viewer) do IAM. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esse papel predefinido contém a permissão monitoring.timeSeries.list, que é necessária para ver os dados do gráfico.

Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.

Métricas

Por padrão, os gráficos a seguir aparecem no seu painel. Para mais informações sobre as métricas exibidas, consulte Métricas do job.

Gráfico Descrição Suporte
Jobs em execução Um gráfico de série temporal que mostra o número de jobs em execução no projeto. Jobs em lote e de streaming
Workers por job Um gráfico de série temporal que mostra o número de workers usados por job. Use esta tabela para entender o comportamento do escalonamento automático em todo o projeto. Você pode ver se os jobs têm um comportamento de escalonamento inesperado ou incomum.

Use este gráfico com os gráficos de cota e CPU para identificar jobs com escalonamento limitado por erros de cota.		 Jobs em lote e de streaming
Erros de cota excedida Gráfico de série temporal que mostra o histórico de erros de cota excedida no projeto, com escopo para as cotas de CPU do Compute Engine. O Compute Engine tem cotas totais de CPU por região e, para algumas famílias de máquinas, cotas por região e tipo. Qualquer uma dessas cotas pode impedir que um job seja iniciado ou escalonado.

Use este gráfico com os gráficos de cota e CPU para identificar a origem dos erros de cota.		 Jobs em lote e de streaming
CPUs por job Um gráfico de série temporal que mostra o número de CPUs usadas pelos workers de cada job. Esse gráfico também mostra o tipo de máquina e o local de cada job. Os tipos de máquina da mesma família têm números diferentes de CPUs. O número total de CPUs afeta as cotas do Compute Engine.

Use este gráfico para identificar a origem dos erros de cota.		 Jobs em lote e de streaming
Latência do sistema Um gráfico de série temporal que mostra o número máximo de segundos que um item de dados está processando ou aguardando processamento para cada job.

Use este gráfico para identificar jobs de streaming que têm um atraso incomum entre o momento em que os dados aparecem em uma origem e são gravados em todos os coletores.		 Jobs de streaming
Atualização de dados Um gráfico de série temporal que mostra a atualização máxima de dados de qualquer estágio em cada job.

Use este gráfico para encontrar jobs de streaming que podem estar lentos ou travados.		 Jobs de streaming
Máximo de bytes do backlog Um gráfico de série temporal que mostra o número máximo de bytes do backlog de qualquer estágio em cada job.

Use esse gráfico para identificar anomalias que indicam um gargalo de processamento.		 Jobs de streaming

Acessar o painel

Para acessar o painel, siga estas etapas:

  1. Faça login no Console do Google Cloud.
  2. Selecione seu projeto do Google Cloud.
  3. Abra o Menu de navegação.
  4. No Google Analytics, clique em Dataflow.

  5. No menu de navegação do Dataflow, clique em Monitoring.

    Acessar o painel

Personalizar o painel

É possível personalizar o conteúdo do painel e as informações exibidas nos gráficos. Quando você edita o painel, um novo painel personalizado é criado.

O painel usa o Cloud Monitoring para acessar as métricas de jobs do Dataflow. Use as ferramentas do Cloud Monitoring para personalizar os gráficos.

  1. Abra o painel e clique em Personalizar painel.
  2. Modifique seu painel.
  3. Clique em Salvar e em Ver painel personalizado.

Depois de criar um painel personalizado, para retornar ao painel padrão, no menu Painel, selecione Predefinido.

Solução de problemas

Esta seção fornece instruções para solucionar problemas comuns

Não há dados disponíveis

Quando você abre o painel, um ou mais gráficos mostram a seguinte mensagem:

No data is available for the selected time frame.

Essa mensagem aparece quando o período coberto nos gráficos não tem dados. Para resolver esse problema, altere ou amplie o período.

Para mudar o período mostrado, no gráfico, clique em Explorar dados e use o seletor de período.

Não foi possível restaurar os widgets excluídos

Ao remover um widget do painel, você cria um painel personalizado. Depois de criar um painel personalizado, para retornar ao painel padrão, no menu Painel, selecione Predefinido.

Não é possível ver os gráficos

Para ver os dados do gráfico, você precisa da permissão monitoring.timeSeries.list. Para mais informações, consulte Papéis necessários.

A seguir