Esegui un DAG Apache Airflow in Cloud Composer 1
Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa guida rapida mostra come creare un ambiente Cloud Composer ed eseguire un DAG Apache Airflow in Cloud Composer 1.
Se non hai mai utilizzato Airflow, consulta le Tutorial sui concetti di Airflow in Apache Airflow documentazione di Airflow per ulteriori informazioni su concetti, oggetti e il loro utilizzo.
Se invece vuoi utilizzare Google Cloud CLI, consulta Esegui un DAG Apache Airflow in Cloud Composer (Google Cloud CLI).
Se vuoi creare un ambiente utilizzando Terraform, consulta Crea ambienti (Terraform).
Prima di iniziare
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Enable the Cloud Composer API.
-
Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:
-
Per visualizzare, creare e gestire l'ambiente Cloud Composer:
-
Amministratore oggetti di ambiente e archiviazione (
roles/composer.environmentAndStorageObjectAdmin
) -
Utente account di servizio (
roles/iam.serviceAccountUser
)
-
Amministratore oggetti di ambiente e archiviazione (
-
Per visualizzare i log:
Visualizzatore log (
roles/logging.viewer
)
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.
-
Per visualizzare, creare e gestire l'ambiente Cloud Composer:
Creazione di un ambiente
Nella console Google Cloud, vai alla pagina Crea ambiente.
Nel campo Nome, inserisci
example-environment
.Nell'elenco a discesa Località, seleziona una regione per nell'ambiente Cloud Composer. Questa guida utilizza la regione
us-central1
.Per altre opzioni di configurazione dell'ambiente, utilizza i valori predefiniti forniti.
Fai clic su Crea e attendi che venga creato l'ambiente.
Al termine, accanto al nome dell'ambiente viene visualizzato un segno di spunta verde.
Crea un file DAG
Un DAG Airflow è una raccolta di attività organizzate che che vuoi pianificare ed eseguire. I DAG sono definiti in file Python standard.
Questa guida utilizza un esempio di DAG Airflow definito nel file quickstart.py
.
Il codice Python in questo file esegue le seguenti operazioni:
- Crea un DAG,
composer_sample_dag
. Questo DAG viene eseguito ogni giorno. - Esegue un'attività,
print_dag_run_conf
. L'attività stampa l'esecuzione del DAG configurazione utilizzando l'operatore bash.
Salva una copia del file quickstart.py
sul computer locale:
Carica il file DAG nel bucket del tuo ambiente
Ogni ambiente Cloud Composer dispone di un
associato a questo bucket. Airflow solo in pianificazioni di Cloud Composer
I DAG che si trovano nella cartella /dags
di questo bucket.
Per pianificare il DAG, carica quickstart.py
dalla macchina locale al tuo
cartella /dags
dell'ambiente:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente,
example-environment
. Si apre la pagina Dettagli ambiente.Fai clic su Apri cartella dei DAG. Si apre la pagina Dettagli bucket.
Fai clic su Carica file e seleziona la tua copia di
quickstart.py
.Per caricare il file, fai clic su Apri.
Visualizza il DAG
Dopo aver caricato il file DAG, Airflow fa quanto segue:
- Analizza il file DAG che hai caricato. Potrebbero essere necessari alcuni minuti i DAG per renderli disponibili per Airflow.
- Aggiunge il DAG all'elenco dei DAG disponibili.
- Esegue il DAG in base alla pianificazione fornita nel file DAG.
Verifica che il DAG venga elaborato senza errori e che sia disponibile in Airflow e lo visualizzi nella UI dei DAG. La UI di DAG è l'interfaccia di Cloud Composer per la visualizzazione Informazioni sui DAG nella console Google Cloud. Cloud Composer offre inoltre accesso alla UI di Airflow, che è un ambiente web di Airflow nativo a riga di comando.
Attendi circa cinque minuti per concedere ad Airflow il tempo di elaborare il file DAG caricato in precedenza e per completare la prima esecuzione del DAG (come spiegato più avanti).
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente,
example-environment
. Si apre la pagina Dettagli ambiente.Vai alla scheda DAG.
Controlla che sia presente il DAG
.composer_quickstart
nell'elenco dei DAG.
Visualizza dettagli esecuzione DAG
Una singola esecuzione di un DAG è chiamata esecuzione di DAG. Airflow immediatamente esegue un'esecuzione di DAG per il DAG di esempio perché la data di inizio nel file DAG è impostato su ieri. In questo modo, Airflow raggiunge i DAG specificati programmazione.
Il DAG di esempio contiene un'attività, print_dag_run_conf
, che esegue echo
nella console. Questo comando restituisce metadati sul DAG
(Identificatore numerico dell'esecuzione di DAG).
Nella scheda DAG, fai clic su
composer_quickstart
. La scheda Esecuzioni per Si apre il DAG.Nell'elenco delle esecuzioni di DAG, fai clic sulla prima voce.
.Vengono visualizzati i dettagli dell'esecuzione del DAG, che contengono i dettagli delle informazioni delle attività del DAG di esempio.
.La sezione Log per l'esecuzione di DAG elenca i log per tutte le attività nell'esecuzione del DAG. Puoi visualizzare l'output del comando
.echo
nei log.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi per le risorse utilizzate in questa pagina, segui questi passaggi.
Elimina le risorse utilizzate in questo tutorial:
Elimina l'ambiente Cloud Composer:
Nella console Google Cloud, vai alla pagina Ambienti.
Seleziona
example-environment
e fai clic su Elimina.Attendi fino a quando l'ambiente non viene eliminato.
Elimina il bucket dell'ambiente. Eliminazione di Cloud Composer di rete non elimina il proprio bucket.
Nella console Google Cloud, vai a Storage > Pagina Browser.
Seleziona il bucket dell'ambiente e fai clic su Elimina. Ad esempio, questo il bucket può essere denominato
us-central1-example-environ-c1616fe8-bucket
.
Elimina il disco permanente dalla coda Redis del tuo ambiente. L'eliminazione del L'ambiente Cloud Composer non elimina il disco permanente.
Nella console Google Cloud, vai a Compute Engine > Dischi.
Seleziona il disco permanente della coda Redis dell'ambiente e fai clic su Elimina.
Ad esempio, questo disco può essere denominato
gke-us-central1-exampl-pvc-b12055b6-c92c-43ff-9de9-10f2cc6fc0ee
. I dischi per Cloud Composer 1 hanno sempre ilStandard persistent disk
tipo e le dimensioni di 2 GB.
Passaggi successivi