Aus einer Pub/Sub-Streamingquelle lesen

Cloud Data Fusion unterstützt Pub/Sub-Quellen in Streaming-Datenpipelines.

Hinweise

Rollen und Berechtigungen

So erhalten Sie die erforderlichen Berechtigungen zum Lesen aus einer Pub/Sub-Streamingquelle: bitten Sie Ihren Administrator, Ihnen Die IAM-Rolle Pub/Sub-Bearbeiter (roles/pubsub.editor) für das Dienstkonto, das für den Zugriff auf das Pub/Sub-Abo verwendet wird. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält Berechtigungen zum Lesen aus einer Pub/Sub-Streamingquelle Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Lesen aus einer Pub/Sub-Streamingquelle erforderlich:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Sie gewähren die Rolle dem Dienstkonto, das Sie in den Plug-in-Eigenschaften angegeben haben. für den Zugriff auf Pub/Sub. Ist kein Wert angegeben, gewähren Sie den Rolle für das Dataproc-Dienstkonto.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Pub/Sub-Quelle zur Streamingdatenpipeline hinzufügen

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Um die Instanz in Cloud Data Fusion Studio zu öffnen, Klicken Sie auf Instanzen und dann auf Instanz ansehen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie in der Weboberfläche von Cloud Data Fusion auf Studio.

  3. Wählen Sie Data Pipeline – Realtime aus.

  4. Wählen Sie im Menü Quelle die Option Pub/Sub aus. Pub/Sub in der Pipeline angezeigt.

  5. Klicken Sie auf dem Pub/Sub-Knoten auf Attribute, um die Quelle. Weitere Informationen finden Sie unter Pub/Sub-Streamingquelle.

Unterstützung einer einzelnen Pub/Sub-Quelle ohne Windower-Plug-ins

Cloud Data Fusion Version 6.9.1 unterstützt Echtzeit-Pipelines mit einer einzigen Pub/Sub-Streamingquelle und keine Windower-Plug-ins.

  • Die Pub/Sub-Streamingquelle bietet integrierte Unterstützung und die Daten werden mindestens einmal verarbeitet. Das Aktivieren der Spark-Prüfpunktausführung erforderlich.
  • Die Pub/Sub-Streamingquelle erstellt eine Pub/Sub-Snapshot am Anfang jedes Batches und entfernt ihn am Ende jedes Batches.
  • Für das Erstellen von Pub/Sub-Snapshots fallen Kosten an. Weitere Informationen finden Sie unter Pub/Sub – Preise
  • Sie können die Snapshot-Erstellung in Cloud-Audit-Logs.

Pipeline mit einer Pub/Sub-Streamingquelle upgraden

Cloud Data Fusion unterstützt direkte Anwendungsupgrades. für Streamingpipelines mit einer Pub/Sub-Streamingquelle, die in 6.9.1 oder höher.

Cloud Data Fusion unterstützt keine Upgrades für Datenpipelines mit einem Pub/Sub-Streamingquelle in Version 6.9.0 oder niedriger. Stattdessen diese Pipelines auf 6.9.1 aktualisieren:

  1. Beenden Sie die Veröffentlichung der Daten für das Thema, wenn das Instanzupgrade geplant ist.
  2. Warten Sie, bis die Pipeline die Verarbeitung der veröffentlichten Daten abgeschlossen hat.
  3. Nachdem die Daten vollständig verarbeitet wurden, beenden Sie die Pipeline.
  4. Führen Sie ein Upgrade der Instanz durch.
  5. Duplizieren Sie die vorhandene Pipeline und aktualisieren Sie sie auf die neuesten Plug-ins.
  6. Stellen Sie die Pipeline bereit.

  7. Führen Sie die neue Pipeline aus, um Daten zu lesen.

    Die neue Version verwendet automatisch Snapshots anstelle der Spark-Prüfpunktausführung.

  8. Löschen Sie die alte Pipeline.

Nächste Schritte