Collecter et afficher les journaux et les métriques des clusters Ray sur Google Kubernetes Engine (GKE)

Cette page explique comment configurer Google Kubernetes Engine (GKE) pour collecter les journaux et les métriques des clusters Ray exécutés sur Google Kubernetes Engine (GKE), et comment afficher les journaux et les métriques Ray dans Cloud Logging et Cloud Monitoring.

Pour en savoir plus sur Ray et KubeRay, consultez la page Présentation de Ray sur Google Kubernetes Engine (GKE).

Avant de commencer

Avant de commencer, effectuez les tâches suivantes :

• Activez l'API Google Kubernetes Engine.
Activer l'API Google Kubernetes Engine
• Si vous souhaitez utiliser Google Cloud CLI pour cette tâche, installez puis initialisez gcloud CLI. Si vous avez déjà installé gcloud CLI, assurez-vous de disposer de la dernière version en exécutant la commande gcloud components update.

• Activez l'opérateur Ray pour Google Kubernetes Engine (GKE).

Conditions requises et limites

• Vous devez activer la journalisation du système et de la charge de travail sur un cluster GKE existant avant d'activer la collecte de journaux pour les clusters Ray.
• Si vous activez la collecte de journaux pour les clusters Ray sur un cluster GKE existant, GKE ne collecte les journaux que des pods Ray nouvellement créés, et non des pods Ray existants.
• Pour les clusters GKE standards, vous devez activer Google Cloud Managed Service pour Prometheus afin d'activer la collecte de métriques pour les clusters Ray. Pour les clusters Autopilot, Google Cloud Managed Service pour Prometheus est activé par défaut.

• Vous ne devez pas déployer de volume nommé ray-logs dans un conteneur Ray du cluster Ray. Sinon, GKE ne collecte pas de journaux.

• GKE ne déploie pas de volume de journaux Ray dans un conteneur Ray du cluster Ray. Vous ne devez pas déployer manuellement un volume de journaux Ray.

Activer la collecte de journaux pour un cluster Ray

Vous pouvez activer la collecte de journaux pour les clusters Ray avec des clusters GKE Autopilot ou standards nouveaux ou existants. Les journaux Ray que GKE collecte à partir de clusters Ray sont classés en tant que journaux de conteneurs. Cela inclut tous les journaux générés par l'en-tête du cluster Ray et les nœuds de calcul.

Vous pouvez activer la collecte de journaux pour les clusters Ray à l'aide de la console Google Cloud ou de gcloud CLI.

gcloud container clusters create-auto CLUSTER_NAME \
    --cluster-version=VERSION \
    --addons=RayOperator \
    --enable-ray-cluster-logging

Afficher les journaux Ray

Vous pouvez afficher les journaux collectés à partir des clusters Ray exécutés sur GKE à l'aide de Logging.

1. Accédez à la page Cloud Logging dans la console Google Cloud.

   Accéder à Cloud Logging

2. Exécutez la requête suivante :

     resource.type="k8s_container"
     labels."k8s-pod/ray_io/is-ray-node"="yes"
   

3. Vous pouvez éventuellement filtrer les résultats à l'aide du filtre Nom du pod.

Activer la collecte de métriques pour un cluster Ray

Vous pouvez activer la collecte de métriques pour les clusters Ray avec des clusters GKE Autopilot ou standards nouveaux ou existants.

Une fois la collecte de métriques activée pour les clusters Ray, GKE collecte les métriques des clusters Ray existants et des nouveaux clusters Ray. GKE collecte toutes les métriques système exportées par Ray au format Prometheus.

Vous pouvez activer la collecte de métriques pour les clusters Ray à l'aide de la console Google Cloud ou de gcloud CLI.

gcloud container clusters create-auto CLUSTER_NAME \
    --cluster-version=VERSION \
    --addons=RayOperator \
    --enable-ray-cluster-monitoring

Afficher les métriques Ray

Vous pouvez afficher les métriques collectées à partir des clusters Ray exécutés sur GKE à l'aide de Monitoring.

1. Accédez à la page Explorateur de métriques dans la console Google Cloud.

   Accéder à l'explorateur de métriques

2. Dans le menu déroulant Sélectionner une métrique, saisissez Cible Prometheus.

3. Dans la section Catégories de métriques actives, sélectionnez Ray.

Étape suivante

• Découvrez Ray sur Kubernetes.
• Explorez la documentation de KubeRay.