Colete e visualize registros e métricas dos clusters Ray no Google Kubernetes Engine (GKE)

Nesta página, mostramos como configurar o Google Kubernetes Engine (GKE) para coletar registros e métricas dos clusters Ray em execução no Google Kubernetes Engine (GKE), além de visualizar registros e métricas do Ray no Cloud Logging e no Cloud Monitoring.

Para mais mais informações sobre Ray e KubeRay, Visão geral do Ray no Google Kubernetes Engine (GKE).

Antes de começar

Antes de começar, verifique se você realizou as tarefas a seguir:

• Ativar a API Google Kubernetes Engine.
Ativar a API Google Kubernetes Engine
• Se você quiser usar a Google Cloud CLI para essa tarefa, instale e, em seguida, inicialize a CLI gcloud. Se você instalou a CLI gcloud anteriormente, instale a versão mais recente executando gcloud components update.

• Ative o operador Ray para o Google Kubernetes Engine (GKE).

Requisitos e limitações

• Ative a geração de registros do sistema e de cargas de trabalho em uma instância antes de ativar a coleta de registros para clusters Ray.
• Se você ativar a coleta de registros para clusters Ray em um o cluster do GKE, o GKE só coleta registros criou os pods do Ray, e não dos pods do Ray existentes.
• Para clusters padrão do GKE, você precisa ativar Google Cloud Managed Service para Prometheus para ativar a coleta de métricas em clusters do Ray. Nos clusters do Autopilot, o Google Cloud Managed Service para Prometheus é ativado pela padrão.
• Não é possível implantar um volume chamado ray-logs em qualquer contêiner do Ray no cluster do Ray. Caso contrário, o GKE não vai coletar registros.

Ativar a coleta de registros em um cluster do Ray

É possível ativar a coleta de registros para clusters Ray com recursos novos ou atuais clusters do GKE Autopilot ou Standard. O raio que o GKE coleta nos clusters do Ray são classificados como registros de contêiner do Compute Engine. Isso inclui todos os registros produzidos pelo cabeçalho do cluster Ray e nós de trabalho.

É possível ativar a coleta de registros para clusters Ray usando o console do Google Cloud ou a gcloud CLI.

gcloud container clusters create CLUSTER_NAME \
    --cluster-version=VERSION \
    --addons=RayOperator \
    --enable-ray-cluster-logging

Ver registros do Ray

É possível visualizar os registros coletados de clusters do Ray em execução no GKE usando o Logging.

1. Acesse a página do Cloud Logging no console do Google Cloud.

   Acessar o Cloud Logging

2. Execute a seguinte consulta:

     resource.type="k8s_container"
     labels."k8s-pod/ray_io/is-ray-node"="yes"
   

3. Opcionalmente, filtre os resultados usando o filtro Nome do conjunto.

Ativar a coleta de métricas de um cluster Ray

É possível ativar a coleta de métricas para clusters Ray com recursos novos ou atuais clusters do GKE Autopilot ou Standard.

Depois de ativar a coleta de métricas para clusters Ray, o GKE coleta métricas de clusters Ray atuais e novos. O GKE coleta todas as métricas do sistema exportadas pelo Ray no Prometheus formato.

É possível ativar a coleta de métricas para clusters Ray usando o o console do Google Cloud ou a CLI gcloud.

gcloud container clusters create CLUSTER_NAME \
    --cluster-version=VERSION \
    --addons=RayOperator \
    --enable-ray-cluster-monitoring

Conferir métricas do Ray

É possível visualizar as métricas coletadas dos clusters do Ray em execução no GKE usando o Monitoring.

1. Acesse a página do Explorador de métricas no console do Google Cloud.

   Acessar o Metrics Explorer

2. No menu suspenso Selecionar uma métrica, insira Destino do Prometheus.

3. Na seção Categorias de métricas ativas, selecione Ray.

A seguir

• Saiba mais sobre o Ray no Kubernetes.
• Confira a documentação do KubeRay.