Gérer l'administration de Studio

Cette page décrit les fonctionnalités d'administration Cloud Data Fusion Studio fournit pour gérer les configurations. Cloud Data Fusion suit une hiérarchie, dans laquelle chaque instance peut avoir plusieurs espaces de noms. Dans Cloud Data Fusion Studio, les administrateurs peut gérer tous les espaces de noms de manière centralisée ou individuellement. Cloud Data Fusion Studio fournit le système et l'espace de noms suivants : .

Administration système

Cliquez sur System admin (Administrateur système) dans Cloud Data Fusion Studio pour afficher le onglets suivants:

  • L'onglet Gestion vous permet d'afficher l'état de fonctionnement aux services Cloud Data Fusion. Vous pouvez également afficher les journaux services.

  • L'onglet Configuration vous permet de créer, d'afficher et de modifier les commandes suivantes :

Les approvisionneurs sont chargés de créer, d'initialiser et de détruire cloud dans lequel les pipelines s'exécutent. Chaque approvisionneur expose un ensemble de configuration permettant de contrôler le type de cluster créé et supprimé. Les différents approvisionneurs créent différents types de clusters.

Chaque profil de calcul est associé à un champ d'application: système ou utilisateur. Vous pouvez utiliser une instance pour tous les espaces de noms sous-jacents. Les profils de calcul utilisateur existent dans d'espace de noms. Seuls les pipelines de cet espace de noms peuvent utiliser profils.

Dans l'onglet Configurations de l'administrateur système, vous pouvez créer un s'applique à tous les espaces de noms. Cloud Data Fusion attribue un profil de calcul par défaut.

Lorsque vous créez un profil de calcul, vous sélectionnez l'approvisionneur, que le profil utilise pour créer et configurer les détails de Cloud Runtime.

Préférences système

Les préférences sont des configurations prédéfinies qui s'appliquent à différents niveaux au sein Cloud Data Fusion, y compris le système lui-même, les espaces de noms et les applications (qui contiennent des pipelines) et des programmes individuels dans les pipelines. Préférences fournir un moyen de définir des valeurs par défaut pour les configurations couramment utilisées. Ces les valeurs par défaut peuvent être héritées par les pipelines et les programmes à des niveaux inférieurs, ce qui réduit des tâches de configuration répétitives. Pour en savoir plus, consultez l'article Gérer les macros, préférences et arguments d'exécution.

Action d'appel HTTP

L'action d'appel HTTP sur la page Administration système vous permet d'interagir avec API de Cloud Data Fusion, ou éventuellement d'autres services Google Cloud directement depuis l'interface Cloud Data Fusion Studio. Toutefois, créer des pipelines de traitement de données avec des sources de données externes, utilisez plutôt le plug-in HTTP et son exécuteur d'appel HTTP dans vos pipelines pour une solution complète. Elle diffère légèrement de l'action d'appel HTTP, mais concepts sous-jacents sont similaires.

Configurations et cas d'utilisation

L'action d'appel HTTP est principalement utilisée pour les tâches d'administration ou de configuration dans Cloud Data Fusion. Elle vous permet d'interagir avec l'API Cloud Data Fusion ou d'autres services Google Cloud qui exposent une API HTTP, directement depuis Cloud Data Fusion dans Google Marketing Platform Studio.

Configurations

Vous pouvez définir les détails suivants pour un appel HTTP:

  • URL: point de terminaison cible du service Web que vous souhaitez .
  • Méthode: méthode HTTP à utiliser (par exemple, GET) POST ou PUT.
  • Facultatif – En-têtes : les en-têtes personnalisés éventuellement requis pour le paramètre requête.
  • Facultatif – Corps : données à envoyer dans le corps de la requête, par exemple pour les appels POST et PUT.

Vous pouvez ensuite exécuter l'appel HTTP défini et afficher la réponse du dans Cloud Data Fusion Studio.

Cas d'utilisation
  • Tester les appels d'API Cloud Data Fusion Vous pouvez utiliser l'appel HTTP Action permettant de tester ou d'explorer les fonctionnalités de l'API Cloud Data Fusion directement depuis l'interface Web. Cette action peut être utile pour comprendre le comportement des API ou résoudre les problèmes potentiels.
  • Gérer les espaces de noms (avancé) : Bien qu'il existe une interface utilisateur dédiée la gestion des espaces de noms, l'action d'appel HTTP peut être utilisée pour les tâches avancées en appelant directement l'API Cloud Data Fusion pour l'espace de noms création, suppression ou configuration.
  • Interagir avec d'autres services Google Cloud (limité) : Si les autres services Google Cloud que vous utilisez disposent d'une vous pouvez utiliser l'action d'appel HTTP pour interagir des services Google Cloud, bien que ce cas d'utilisation soit rare.
Remarques importantes
  • Sécurité: soyez prudent lorsque vous utilisez l'action d'appel HTTP. en particulier pour les données sensibles ou les appels d'API Cloud Data Fusion peut avoir un impact sur votre environnement. Assurez-vous de bien comprendre les les implications de chaque appel d'API avant de l'exécuter.
  • Limites: l'appel HTTP est principalement destiné tâches administratives et à des fins de test. Il n'est pas conçu pour construire des pipelines de traitement de données complexes impliquant la manipulation des données dans Cloud Data Fusion.
  • Alternative aux pipelines: pour intégrer des sources de données externes ou services dans vos pipelines de données, utilisez le plug-in HTTP et son l'exécuteur d'appels HTTP associé dans vos définitions de pipeline. Ce offre une méthode plus robuste et plus contrôlée pour gérer les interactions HTTP dans vos workflows de traitement des données.

Administration des espaces de noms

En cliquant sur Administrateur d'espaces de noms dans Cloud Data Fusion Studio, vous pouvez gérer les configurations de l'espace de noms spécifique. Pour chaque espace de noms, vous devez peut définir les aspects suivants:

  • Profils Compute: les profils configurés dans Administrateur d'espaces de noms sont des profils utilisateur. profils de calcul. Seuls les pipelines de cet espace de noms peuvent utiliser ces identifiants profils de calcul. Pour en savoir plus, consultez la page Gérer les profils de calcul.
  • Preferences (Préférences) : les préférences définies au niveau de l'espace de noms s'appliquent à l'espace de noms, les applications (qui contiennent des pipelines) et les données dans des pipelines. Pour en savoir plus, consultez l'article Gérer les macros, préférences et arguments d'exécution.
  • Connexions: Cloud Data Fusion vous permet de réutiliser des connexions sources et récepteurs dans les pipelines de données. Vous pouvez ajouter des connexions d'administration des espaces de noms. Pour en savoir plus, consultez Créer et gérer des connexions
  • Pilotes: certains plug-ins de Cloud Data Fusion nécessitent un pilote JDBC pour doit être ajouté à l'espace de noms. Par exemple, avant de pouvoir exécuter un pipeline Plug-in source par lot MySQL, vous devez ajouter le pilote MySQL compatible au espace de noms. Vous pouvez importer ou supprimer des pilotes JDBC dans un espace de noms à partir de d'administration des espaces de noms ou directement depuis le hub. Pour en savoir plus, consultez Pilotes de plug-in.
  • Gestion du contrôle des sources: pour gérer efficacement le processus de développement des pipelines déployés, la gestion du contrôle des sources vous permet de connecter avec le dépôt de votre système de contrôle du code source. Pour plus consultez la page Gérer les pipelines à l'aide de la gestion du contrôle des sources.
  • Compte de service: pour contrôler l'accès aux ressources Google Cloud les espaces de noms dans Cloud Data Fusion utilisent Agent de service de l'API Cloud Data Fusion par défaut.

Pour une meilleure isolation des données, vous pouvez associer Compte de service Identity and Access Management (IAM) (appelé par espace de noms Service Account) avec chaque espace de noms. Service IAM personnalisé qui peut varier selon les espaces de noms, vous permet de contrôler un accès aux ressources Google Cloud entre les espaces de noms pour le pipeline des opérations au moment de la conception dans Cloud Data Fusion, telles que l'aperçu du pipeline, Wrangler et validation du pipeline. Pour en savoir plus, consultez Contrôle des accès avec le compte de service d'espace de noms.

Étape suivante