Lettura da un database PostgreSQL

Questa pagina descrive come leggere i dati da un database PostgreSQL in un'istanza di Cloud Data Fusion.

Prima di iniziare

  • Crea un'istanza di Cloud Data Fusion.
  • Abilita il database PostgreSQL per accettare connessioni da Cloud Data Fusion. Per farlo in modo sicuro, ti consigliamo di utilizzare un'istanza privata di Cloud Data Fusion.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per la connessione a un database PostgreSQL, chiedi all'amministratore di concederti i ruoli IAM seguenti:

  • Worker Dataproc (roles/dataproc.worker) sull'account di servizio Dataproc nel progetto che contiene il cluster
  • Cloud Data Fusion Runner (roles/datafusion.runner) sull'account di servizio Dataproc nel progetto che contiene il cluster
  • Per utilizzare Cloud SQL senza il proxy di autenticazione Cloud SQL: Client Cloud SQL (roles/cloudsql.client) nel progetto che contiene l'istanza Cloud SQL

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Apri l'istanza in Cloud Data Fusion

  1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

  2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

    Vai a Istanze

Memorizza la password PostgreSQL come chiave sicura

Inserisci la password PostgreSQL come chiave sicura per criptarla nell'istanza di Cloud Data Fusion. Per ulteriori informazioni sulle chiavi, consulta Cloud KMS.

  1. Nell'interfaccia utente di Cloud Data Fusion, fai clic su Amministratore di sistema > Configurazione.

  2. Fai clic su Effettua chiamate HTTP.

    Configurazione.

  3. Nel menu a discesa, scegli PUT.

  4. Nel campo del percorso, inserisci namespaces/default/securekeys/pg_password.

  5. Nel campo Corpo, inserisci {"data":"POSTGRESQL_PASSWORD"}. Sostituisci POSTGRESQL_PASSWORD con la tua password PostgreSQL.

  6. Fai clic su Invia.

    Password.

Nel campo Risposta vengono segnalati eventuali errori.

Connettersi a Cloud SQL per PostgreSQL

  1. Nell'interfaccia utente di Cloud Data Fusion, fai clic sul menu e vai alla pagina Wrangler.

  2. Fai clic su Aggiungi connessione.

  3. Scegli Database come tipo di origine da connettere.

    Aggiungi connessione.

  4. In Google Cloud SQL per PostgreSQL, fai clic su Carica.

    Scegli l'origine.

  5. Carica un file JAR contenente il driver PostgreSQL. Il file JAR deve essere nel formato NAME-VERSION.jar. Se il file JAR non segue questo formato, rinominalo prima di caricarlo.

  6. Tocca Avanti.

  7. Inserisci il nome del conducente, il nome del corso e la versione nei campi.

  8. Fai clic su Fine.

  9. Nella finestra Aggiungi connessione visualizzata, fai clic su Google Cloud SQL per PostgreSQL. Il nome JAR dovrebbe apparire in Google Cloud SQL per PostgreSQL.

    JAR caricato.

  10. Compila i campi di connessione obbligatori. Nel campo Password, seleziona la chiave sicura archiviata in precedenza. Ciò garantisce che la password venga recuperata utilizzando Cloud KMS.

    Scegli la password.

  11. Nel campo Stringa di connessione, inserisci la stringa di connessione come segue:

    jdbc:postgresql://google/DATABASE_NAME?cloudSqlInstance=INSTANCE_CONNECTION_NAME&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false
    

    Sostituisci quanto segue:

    • DATABASE_NAME: il nome del database Cloud SQL elencato nella scheda Database della pagina dei dettagli dell'istanza.
    • INSTANCE_CONNECTION_NAME: il nome della connessione dell'istanza Cloud SQL come visualizzato nella scheda Panoramica della pagina dei dettagli dell'istanza.
    Nome connessione istanza.

    Ad esempio:

    jdbc:postgresql://google/postgres?cloudSqlInstance=dis-demo:us-central1:pgsql-1&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false
    

  12. Abilitare l'API Cloud SQL Admin.

  13. Fai clic su Verifica connessione per assicurarti che la connessione possa essere stabilita con il database.

  14. Fai clic su Aggiungi connessione.

Dopo aver connesso il database PostgreSQL, puoi applicare trasformazioni ai dati (in Wrangler), creare una pipeline e scrivere l'output in un sink (in Studio).