Studio-Verwaltung verwalten

Auf dieser Seite werden die Verwaltungsfunktionen erläutert, die vom Cloud Data Fusion Studio bietet Ihnen die Möglichkeit, Konfigurationen zu verwalten. Cloud Data Fusion folgt einer Hierarchie, bei der jede Instanz mehrere Namespaces In Cloud Data Fusion Studio können Administratoren kann alle Namespaces zentral oder einzeln verwalten. Cloud Data Fusion Studio stellt das folgende System und den folgenden Namespace bereit Steuerelementen.

System administration

Wenn Sie in Cloud Data Fusion Studio auf Systemadmin klicken, wird die folgenden Tabs:

  • Tab Verwaltung: Hier können Sie den Systemstatus verschiedener Cloud Data Fusion-Dienste Sie können auch Protokolle für jede der Dienstleistungen.

  • Auf dem Tab Konfiguration können Sie die folgenden Steuerelemente erstellen, ansehen und bearbeiten:

Bereitsteller sind für das Erstellen, Initialisieren und Löschen der in der Pipelines ausgeführt werden. Jeder Bereitsteller stellt eine Reihe von Konfigurationen, mit denen gesteuert wird, welcher Clustertyp erstellt wird und gelöscht. Verschiedene Bereitsteller erstellen unterschiedliche Clustertypen.

Jedes Compute-Profil hat einen Bereich: System oder Nutzer. Mit einem System-Computing können Sie für alle darunter liegenden Namespaces an. Compute-Profile von Nutzern sind in einem und nur Pipelines in diesem Namespace können die Compute Engine-Instanz Profilen.

Auf dem Tab Konfigurationen des Systemadministrators können Sie ein System Compute-Profil erstellen, das auf alle Namespaces angewendet wird. Cloud Data Fusion weist ein Standard-Computing-Profil zu.

Wenn Sie ein Compute-Profil erstellen, wählen Sie den Bereitsteller aus, zum Erstellen und Konfigurieren der Details zur Cloud-Laufzeit verwendet wird.

Systemeinstellungen

Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Cloud Data Fusion, einschließlich System selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelne Programme innerhalb von Pipelines. Einstellungen bieten eine Möglichkeit, Standardwerte für häufig verwendete Konfigurationen festzulegen. Diese Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wiederkehrende Konfigurationsaufgaben. Weitere Informationen finden Sie unter Makros verwalten, Einstellungen und Laufzeitargumente.

HTTP-Aufrufaktion

Über die HTTP-Call-Aktion auf der Seite Systemadmin können Sie mit Die eigene API von Cloud Data Fusion oder möglicherweise ein anderer Google Cloud-Dienst APIs direkt über die Cloud Data Fusion Studio-Oberfläche Für Erstellen von Datenverarbeitungspipelines mit externen Datenquellen verwenden Sie stattdessen HTTP-Plug-in und dessen HTTP-Aufruf-Executor in Ihren Pipelines für eine umfassende Lösung. Sie unterscheidet sich geringfügig von der HTTP-Aufrufaktion, zugrunde liegende Konzepte gleich sind.

Konfigurationen und Anwendungsfälle

Die HTTP-Aufrufaktion wird hauptsächlich für Verwaltungsaufgaben oder in Cloud Data Fusion konfigurieren. Sie können damit interagieren, mit der Cloud Data Fusion API oder anderen Google Cloud-Diensten die eine HTTP API direkt in Cloud Data Fusion bereitstellen, Studio

Konfigurationen

Für einen HTTP-Aufruf können Sie die folgenden Details definieren:

  • URL: Zielendpunkt des Webdienstes, auf den der Webdienst verweist aufrufen.
  • Method: Die zu verwendende HTTP-Methode, z. B. GET. POST oder PUT.
  • Optional: Header: alle benutzerdefinierten Header, die für den
  • Optional: Body: Daten, die im Anfragetext gesendet werden sollen, z. B. für POST- und PUT-Anrufe.

Anschließend können Sie den definierten HTTP-Aufruf ausführen und die Antwort im Webdienst in Cloud Data Fusion Studio.

Anwendungsfälle
  • Cloud Data Fusion API-Aufrufe testen Sie können den HTTP-Aufruf Aktion zum Testen oder Erkunden von Cloud Data Fusion API-Funktionen direkt über die Weboberfläche. Diese Aktion kann hilfreich sein, das API-Verhalten zu verstehen oder potenzielle Probleme zu beheben.
  • Namespaces verwalten (erweitert). Es gibt zwar eine dedizierte Benutzeroberfläche für Namespace-Verwaltung kann die HTTP-Call-Aktion für erweiterte Aufgaben verwendet werden Durch direkte Aufrufe der Cloud Data Fusion API für Namespace Erstellung, Löschung oder Konfiguration.
  • Interaktion mit anderen Google Cloud-Diensten (eingeschränkt). Wenn andere von Ihnen verwendete Google Cloud-Dienste eine öffentlich dokumentierte HTTP API verwenden, können Sie die HTTP-Aufrufaktion verwenden, um mit diesen Dies ist jedoch ein ungewöhnlicher Anwendungsfall.
Was Sie bedenken sollten
  • Sicherheit: Seien Sie vorsichtig, wenn Sie die HTTP-Call-Aktion verwenden. insbesondere bei sensiblen Daten oder Cloud Data Fusion API-Aufrufen, die auf Ihre Umgebung auswirken könnte. Stellen Sie sicher, dass Sie die Auswirkungen jedes API-Aufrufs vor der Ausführung.
  • Einschränkungen: Die HTTP-Aufrufaktion ist hauptsächlich für administrative Aufgaben und Testzwecke. Es ist nicht für den Aufbau von Pipelines für die Datenverarbeitung mit Datenmanipulationen Cloud Data Fusion.
  • Alternative für Pipelines: zum Einbinden externer Datenquellen oder Dienste in Ihre Datenpipelines einbinden, verwenden Sie das HTTP-Plug-in zugehörigen HTTP-Aufruf-Executor in Ihren Pipelinedefinitionen. Dieses bietet eine robustere und kontrolliertere Möglichkeit, HTTP-Interaktionen zu verwalten in Ihren Datenverarbeitungs-Workflows.

Namespace-Verwaltung

Wenn Sie in Cloud Data Fusion Studio auf Namespace-Verwaltung klicken, können Sie um die Konfigurationen für den jeweiligen Namespace zu verwalten. Für jeden Namespace können folgende Aspekte definiert werden:

  • Compute-Profile: Die in Namespace-Verwaltung eingerichteten Profile sind user. Compute-Profilen. Nur Pipelines in diesem Namespace können diese Nutzer verwenden Compute-Profilen. Weitere Informationen finden Sie unter Computing-Profile verwalten.
  • Preferences (Einstellungen): Auf Namespace-Ebene definierte Einstellungen gelten für Namespace, Anwendungen (die Pipelines enthalten) und einzelne Programme innerhalb von Pipelines. Weitere Informationen finden Sie unter Makros verwalten, Einstellungen und Laufzeitargumente.
  • Verbindungen: Mit Cloud Data Fusion können Sie Verbindungen zu Quellen und Senken in Datenpipelines. Sie können Verbindungen in der Namespace-Verwaltungsseite. Weitere Informationen finden Sie unter Verbindungen erstellen und verwalten
  • Treiber: Einige Plug-ins in Cloud Data Fusion benötigen einen JDBC-Treiber, um kann dem Namespace hinzugefügt werden. Bevor Sie beispielsweise eine Pipeline mit einer MySQL-Batch-Quell-Plug-in – Sie müssen den unterstützten MySQL-Treiber dem -Namespace auf sie zugegriffen werden. Sie können JDBC-Treiber von der Namespace-Verwaltung oder direkt über den Hub. Weitere Informationen finden Sie unter Plug-in-Treiber.
  • Source Control Management: zur effizienten Verwaltung des Entwicklungsprozesses bereitgestellter Pipelines können Sie mit Source Control Management eine Verbindung Namespace mit dem Repository Ihres Versionsverwaltungssystems. Weitere Informationen finden Sie unter Pipelines mit Versionsverwaltung verwalten.
  • Dienstkonto: zum Steuern des Zugriffs auf Google Cloud-Ressourcen Namespaces in Cloud Data Fusion verwenden die Standardmäßig Cloud Data Fusion API-Dienst-Agent.

Für eine bessere Datenisolation können Sie eine benutzerdefinierte Dienstkonto für Identity and Access Management (IAM) (bekannt als „Pro Namespace“) Dienstkonto) mit jedem Namespace. Benutzerdefinierter IAM-Dienst die für verschiedene Namespaces unterschiedlich sein kann, Zugriff auf Google Cloud-Ressourcen zwischen Namespaces für die Pipeline in Cloud Data Fusion zu erstellen, z. B. Pipelinevorschau, Wrangler und Pipeline-Validierung. Weitere Informationen finden Sie unter Zugriffssteuerung mit Namespace-Dienstkonto

Nächste Schritte