La interfaz de supervisión basada en la Web de Dataflow incluye un panel que supervisa los trabajos de Dataflow a nivel de proyecto. Los gráficos muestran los datos de todos los trabajos de un proyecto.
El panel puede ayudarte con las siguientes tareas:
- Identifica y detecta la fuente de los errores de cuota.
- Detecta el ajuste de escala automático horizontal anómalo en un trabajo.
- Identifica trabajos de transmisión lentos o atascados.
El panel usa Cloud Monitoring para acceder a las métricas de los trabajos de Dataflow. Para personalizar la información que se muestra en los gráficos, usa el Explorador de métricas.
Características
El panel incluye las siguientes características:
- Elige qué trabajos aparecen en el panel con el uso de expresiones regulares.
- Accede a la página de detalles del trabajo desde gráficos individuales.
- Personaliza los gráficos y widgets del panel.
Funciones obligatorias
Con el objetivo de obtener el permiso que necesitas para ver los datos del grafo, pídele a tu administrador que te otorgue el rol de IAMVisualizador de Monitoring (roles/monitoring.viewer).
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
Este rol predefinido contiene el permiso monitoring.timeSeries.list, que es necesario para ver los datos del grafo.
También puedes obtener este permiso con roles personalizados o con otros roles predefinidos.
Métricas
De forma predeterminada, los siguientes gráficos aparecen en tu panel. Para obtener más información sobre las métricas que se muestran, consulta Métricas del trabajo.
| Gráfico | Descripción | Asistencia |
|---|---|---|
| Trabajos en ejecución | Un gráfico de series temporales que muestra la cantidad de trabajos que se ejecutan en el proyecto. | Trabajos por lotes y de transmisión |
| Trabajadores por trabajo | Un gráfico de series temporales que muestra la cantidad de trabajadores que se usan por trabajo. Usa este gráfico para comprender el comportamiento del ajuste de escala automático de todo el proyecto.
Puedes ver si los trabajos tienen un comportamiento de escalamiento inesperado o inusual. Usa este gráfico con los gráficos de cuotas y de CPU para identificar los trabajos cuyo escalamiento está limitado por errores de cuota. |
Trabajos por lotes y de transmisión |
| Errores de superación de la cuota | Un gráfico de serie temporal que muestra el historial de errores de cuota excedidos en el proyecto, con alcance para las cuotas de CPU de Compute Engine. Compute Engine tiene cuotas de CPU totales por región y, para algunas familias de máquinas, y por cuota de tipo por región. Cualquiera de estas cuotas puede evitar que un trabajo se inicie o escale verticalmente. Usa este gráfico con los gráficos de cuotas y de CPU para identificar el origen de los errores de cuota. |
Trabajos por lotes y de transmisión |
| CPUs por trabajo | Un gráfico de series temporales que muestra la cantidad de CPUs que usan los trabajadores de cada trabajo. En este gráfico, también se muestra el tipo de máquina y la ubicación de cada trabajo. Los tipos de máquina de la misma familia tienen diferentes números de CPU. La cantidad total de CPU afecta las cuotas de Compute Engine. Usa este gráfico para identificar el origen de los errores de cuota. |
Trabajos por lotes y de transmisión |
| Latencia del sistema | Un gráfico de series temporales que muestra la cantidad máxima de segundos que un elemento de datos ha procesado o está esperando el procesamiento para cada trabajo. Usa este gráfico para identificar los trabajos de transmisión que tienen una demora inusual entre el momento en que los datos aparecen en una fuente y los que se escriben en todos los receptores. |
Trabajos de transmisión |
| Actualidad de los datos | Un gráfico de series temporales que muestra la actualidad máxima de los datos para cualquier etapa de cada trabajo. Usa este gráfico para encontrar trabajos de transmisión que podrían ser lentos o estar atascados. |
Trabajos de transmisión |
| Bytes máximos de tareas pendientes | Un gráfico de series temporales que muestra el máximo de bytes de tareas pendientes para cualquier etapa de cada trabajo. Usa este gráfico para identificar anomalías que indiquen un cuello de botella en el procesamiento. |
Trabajos de transmisión |
Accede al panel
Para acceder al panel, sigue estos pasos:
- Accede a la consola de Google Cloud.
- Selecciona tu proyecto de Google Cloud.
- Abre el Menú de navegación.
- En Analytics, haz clic en Dataflow.
En el menú de navegación de Dataflow, haz clic en Monitoring.
Personaliza el panel
Puedes personalizar el contenido del panel y la información que se muestra en los gráficos. Cuando editas el panel, se crea un panel nuevo y personalizado.
El panel usa Cloud Monitoring para acceder a las métricas de trabajo de Dataflow. Usa las herramientas de Cloud Monitoring para personalizar los gráficos.
- Abre el panel y haz clic en Personalizar panel.
- Modifica tu panel.
- Para filtrar los trabajos que se muestran en el panel, consulta Agrega filtros temporales a un panel personalizado y Agrega filtros permanentes a un panel personalizado.
- Para editar o quitar widgets, consulta Administra widgets de panel.
- Para editar el contenido de los gráficos, consulta Elige métricas para los gráficos en paneles.
- Para agregar gráficos al panel, consulta Agrega gráficos y tablas a un panel personalizado.
- Haz clic en Guardar y, luego, en Ver panel personalizado.
Después de crear un panel personalizado, para volver al panel predeterminado, en el menú Panel, elige Predefinido.
Solución de problemas
En esta sección, se proporcionan instrucciones para solucionar problemas comunes.
No hay datos disponibles
Cuando abras tu panel, uno o más gráficos mostrarán el siguiente mensaje:
No data is available for the selected time frame.
Este mensaje aparece cuando el período cubierto en los gráficos no tiene datos. Para resolver este problema, cambia o expande el intervalo de tiempo.
Para cambiar el intervalo de tiempo que se muestra, en el gráfico, haz clic en Explorar datos y, luego, usa el selector de intervalo de tiempo.
No se pueden restablecer los widgets borrados
Cuando quitas un widget del panel, creas un panel personalizado. Después de crear un panel personalizado, para volver al panel predeterminado, en el menú Panel, elige Predefinido.
No se pueden ver los gráficos
Para ver los datos del grafo, necesitas el permiso monitoring.timeSeries.list. Para obtener más información, consulta los Roles requeridos.
¿Qué sigue?
- Obtén más información sobre las métricas individuales de los trabajos.
- Explora las métricas con Cloud Monitoring.
- Soluciona problemas de trabajos lentos o atascados.