Panoramica su routing e archiviazione

Questo documento spiega come Cloud Logging elabora le voci di log e descrive i componenti chiave del routing e dell'archiviazione di Logging. Il routing è il processo utilizzato da Cloud Logging per determinare quale a che fare con una voce di log appena visualizzata. Puoi indirizzare le voci di log alle destinazioni come i bucket Logging, in cui è archiviata la voce di log, oppure in Pub/Sub. Per esportare i log in destinazioni di terze parti, esegui il routing i log in un argomento Pub/Sub e poi autorizzare la destinazione di terze parti per la sottoscrizione all'argomento Pub/Sub.

A livello generale, questo è il modo in cui Cloud Logging instrada e archivia le voci di log:

Figura che mostra come Cloud Logging instrada le voci dei log.

Esegui il routing dei log con il router dei log

Le sezioni seguenti spiegano come Il logging instrada i log con il router dei log utilizzando i sink.

Router dei log

Viene inviata una voce di log Risorsa Google Cloud specificato nel relativo campo logName durante la sua entries.write chiamata.

Cloud Logging riceve voci di log con API Cloud Logging a cui passano il router dei log. I sink nel router dei log controllano ogni voce di log rispetto al relativo filtro di inclusione e filtri di esclusione e poi determinare quali destinazioni, tra cui Bucket Cloud Logging a cui deve essere inviata la voce di log. Puoi utilizzare la modalità combinazioni di sink per instradare una voce di log a più destinazioni.

Il router dei log memorizza temporaneamente la voce di log. Questo comportamento buffer contro interruzioni e interruzioni temporanee che potrebbero verificarsi quando un sink instrada una voce di log a una destinazione. Il buffering non protegge dai sink di configurazione. Se il sink è configurato in modo errato, le voci di log, viene generato un log di errore e viene inviata un'email di notifica di un errore di configurazione del sink. Quando non è possibile eseguire il routing delle voci di log, vengono ignorate.

L'archiviazione temporanea del router dei log è separata dalla più lunga dell'archiviazione a termine fornita dai bucket Logging.

Voci di log in entrata con timestamp superiori a periodo di conservazione dei log nel passato o se sono più di 24 ore nel futuro vengono scartati.

Sink

I sink controllano il modo in cui Cloud Logging instrada i log. Con i sink, puoi instradare alcuni o tutti i tuoi log alle destinazioni supportate. Alcuni dei per cui potresti voler controllare il routing dei log includono seguenti:

  • Archiviare i log che è improbabile che vengano letti, ma che devono essere conservati ai fini della conformità.
  • Organizzare i log in bucket in un formato utile.
  • Per utilizzare strumenti di analisi dei big data sui tuoi log.
  • Per trasmettere i log ad altre applicazioni, altri repository o servizi parti. Ad esempio, se vuoi esportare i log da Google Cloud, in modo che sia possibile vederle su una piattaforma di terze parti e poi configurare un sink per eseguire il routing delle voci di log in Pub/Sub.

I sink appartengono a una determinata risorsa Google Cloud: i progetti Google Cloud, account di fatturazione, cartelle e organizzazioni. Quando la risorsa riceve un di voce di log, la instrada la voce di log in base ai sink contenuti e, se abilitato, qualsiasi sink ancestrale appartenente al gerarchia delle risorse. La voce di log viene inviata alla destinazione associata a ogni sink corrispondente.

Cloud Logging offre due sink predefiniti per ogni progetto Google Cloud: account di fatturazione, cartella e organizzazione: _Required e _Default. Tutti i log generati in una risorsa, vengono automaticamente elaborati sono archiviati nel cluster denominati rispettivamente Bucket _Required o _Default.

I sink agiscono in modo indipendente l'uno dall'altro. Indipendentemente dal modo in cui i sink predefiniti elaborare le tue voci di log, puoi creare sink per instradare alcuni o tutti dai tuoi log a varie destinazioni supportate o per escluderle l'archiviazione da parte di Cloud Logging.

Le voci di log che vengono instradate da un sink vengono controllate configurando il valore Filtro di inclusione e filtri di esclusione. A seconda della configurazione del sink, ogni voce di log ricevuta Cloud Logging rientra in una o più di queste categorie:

  • Archiviati in Cloud Logging e non con routing altrove.

  • Archiviati in Cloud Logging e con routing a una destinazione supportata.

  • Non archiviato in Cloud Logging, ma indirizzato a una destinazione supportata.

  • Né archiviato in Cloud Logging né eseguito altrove.

Di solito crei sink nella A livello di progetto Google Cloud, ma se vuoi combinare e indirizzare i log risorse contenute in un'organizzazione o una cartella Google Cloud, creano sink aggregati.

I sink solo per le voci di log che arrivano dopo la creazione del sink il routing avviene quando i log passano attraverso l'API Logging. Se devi eseguire il routing delle voci di log in modo retroattivo, consulta Copiare i log.

Filtri di inclusione

Quando un sink non specifica filtri, tutte le voci di log corrispondono e vengono indirizzate a della destinazione del sink. Puoi configurare il sink per selezionare le voci di log impostando un filtro di inclusione. Puoi anche impostare uno o più filtri di esclusione per escludere le voci di log dal routing.

Quando configuri un sink, e specificare i propri filtri mediante il linguaggio di query di Logging.

Una voce di log viene instradata da un sink in base a queste regole:

  • Se la voce di log non corrisponde al filtro di inclusione, allora non viene indirizzata. Quando un sink non specifica un filtro di inclusione, ogni voce di log corrisponde a quel filtro.

  • Se la voce di log corrisponde al filtro di inclusione e ad almeno uno filtro di esclusione, non verrà indirizzato.

  • Se la voce di log corrisponde al filtro di inclusione e non corrisponde a qualsiasi filtro di esclusione, viene indirizzato alla destinazione del sink.

Filtri di esclusione

Quando crei un sink, puoi impostare più filtri di esclusione. I filtri di esclusione ti consentono di escludere il routing delle voci di log corrispondenti al filtro di inclusione della destinazione o dall'essere in un bucket di log. Per definire i filtri di esclusione, utilizza il Linguaggio di query di Logging.

Le voci di log escluse utilizzano il consumo entries.write quota API perché sono esclusi dopo che sono stati ricevuti dall'API Logging. Non puoi ridurre il numero di entries.write chiamate API di escluse le voci di log.

Le voci di log escluse non sono disponibili in Esplora log.

Voci di log che non sono instradate ad almeno un bucket di log, o in modo esplicito con filtri di esclusione o perché non corrispondono ad alcun sink con destinazione di archiviazione dei log, sono esclusi anche dalla Error Reporting. Pertanto, queste voci di log non sono disponibili per risolvere gli errori. Le metriche basate su log definite dall'utente vengono calcolate dalle voci di log in entrambe le risorse incluse e le voci di log escluse. Per ulteriori informazioni, vedi Monitora i log.

Destinazioni supportate

Puoi utilizzare il router dei log per instradare determinate voci di log ai destinazioni in qualsiasi progetto Google Cloud. Logging supporta le seguenti destinazioni sink:

  • Bucket Cloud Logging: fornisce spazio di archiviazione in Cloud Logging. Un bucket di log può archiviare le voci di log ricevute da più progetti Google Cloud. Il bucket di log può trovarsi nello stesso progetto in cui hanno origine le voci di log. in un altro progetto. Puoi combinare I dati di Cloud Logging con altri dati eseguendo l'upgrade di un bucket di log da utilizzare Analisi dei log e creazione di un set di dati BigQuery collegato. Per informazioni sulla visualizzazione delle voci di log archiviate nei bucket di log, consulta Panoramica delle query e delle visualizzazioni dei log e visualizzare i log con routing ai bucket Cloud Logging.
  • Set di dati BigQuery: fornisce l'archiviazione delle voci di log in set di dati BigQuery. Il set di dati BigQuery può trovarsi nello stesso progetto in cui si trovano le voci di log o in un altro progetto. Puoi utilizzare le funzionalità di analisi dei big data sulle voci di log archiviate. Per combinare i dati di Cloud Logging con altri origini dati, ti consigliamo di eseguire l'upgrade dei bucket di log Analisi dei log e poi creare un set di dati BigQuery collegato. Per informazioni sulla visualizzazione delle voci di log indirizzate a BigQuery, consulta Visualizza i log indirizzati a BigQuery.
  • Bucket Cloud Storage: fornisce l'archiviazione delle voci di log in Cloud Storage. Il bucket Cloud Storage può trovarsi nello stesso progetto in cui sono presenti le voci di log o in un altro progetto. Le voci di log vengono archiviate come file JSON. Per informazioni sulla visualizzazione delle voci di log indirizzate a Cloud Storage: consulta Visualizzare i log con routing a Cloud Storage.

  • Argomento Pub/Sub: fornisce assistenza per le piattaforme di terze parti come integrazioni Splunk. Le voci di log vengono formattate in JSON e quindi instradate a un Pub/Sub per ogni argomento. L'argomento può trovarsi nello stesso progetto in cui si trovano le voci di log o in un altro progetto. Per informazioni sulla visualizzazione delle voci di log indirizzate a vedi Pub/Sub, Visualizza i log con routing a Pub/Sub.

  • Progetto Google Cloud: esegui il routing delle voci di log a un altro progetto Google Cloud. Nel configurazione, i sink nel progetto di destinazione elaborano le voci di log.

Per ulteriori informazioni, vedi Esegui il routing dei log alle destinazioni supportate.

Archiviazione, visualizzazione e gestione dei log

La sezione seguente descrive in dettaglio come vengono archiviati i log in Cloud Logging e come puoi visualizzarle e gestirle.

Bucket di log

Cloud Logging usa i bucket di log come container nei tuoi progetti Google Cloud, account di fatturazione, cartelle e organizzazioni per archiviare e organizzare i log e i dati di Google Cloud. Le voci di log archiviate in Cloud Logging sono indicizzate, ottimizzate e ti permette di analizzare i log in tempo reale. Bucket Cloud Logging sono entità di archiviazione diverse rispetto ai bucket Cloud Storage con nomi simili.

Per ogni progetto, account di fatturazione, cartella e organizzazione di Google Cloud, Logging crea automaticamente due bucket di log: _Required e _Default. Logging crea automaticamente sink denominati _Required e _Default che, nella configurazione predefinita, instradano le voci di log nei bucket denominati corrispondenti.

Puoi disabilitare il sink _Default, che instrada le voci di log all'_Default di log del bucket. Puoi anche modificare il comportamento dei sink _Default creati per eventuali nuovi progetti o cartelle Google Cloud. Per ulteriori informazioni, vedi Configura le impostazioni predefinite per organizzazioni e cartelle.

Non puoi modificare le regole di routing per il bucket _Required.

Inoltre, puoi creare bucket definiti dall'utente per qualsiasi progetto Google Cloud.

Puoi creare sink per instradare tutte le voci di log o solo un sottoinsieme a qualsiasi di log del bucket. Questa flessibilità ti consente di scegliere il progetto Google Cloud che consente di archiviare le voci di log di più risorse in un'unica posizione.

Per ulteriori informazioni, vedi Configura i bucket di log.

_Required bucket di log

Cloud Logging instrada automaticamente i seguenti tipi di voci di log al _Required bucket:

Cloud Logging conserva le voci di log nel bucket _Required per 400 giorni; non puoi modificare questo periodo di conservazione.

Non puoi modificare o eliminare il bucket _Required. Non puoi disattivare Sink _Required, che instrada le voci di log al bucket _Required.

_Default bucket di log

Qualsiasi voce di log non archiviata nel bucket _Required viene instradata dal Sink _Default nel bucket _Default, a meno che non disabiliti o modifichi in altro modo nel sink _Default. Per istruzioni sulla modifica dei sink, consulta Gestisci i sink.

Ad esempio, Cloud Logging instrada automaticamente i seguenti tipi di voci di log nel bucket _Default:

Cloud Logging conserva le voci di log nel bucket _Default per 30 giorni, a meno che configurare la conservazione personalizzata di sincronizzare la directory di una VM con un bucket.

Non puoi eliminare il bucket _Default.

Bucket di log definiti dall'utente

Puoi anche crea bucket di log definiti dall'utente in qualsiasi progetto Google Cloud. Applicando i sink ai bucket di log definiti dall'utente, puoi instradare qualsiasi sottoinsieme delle tue voci di log a qualsiasi bucket di log, scegli il progetto Google Cloud che consente di archiviare le voci di log di più risorse in un'unica posizione.

Ad esempio, per qualsiasi log generato nel progetto A, puoi configurare un sink instradare queste voci di log a un bucket definito dall'utente nel progetto A o a un bucket di log nel progetto B.

Puoi configurare la conservazione personalizzata per nel bucket.

Per informazioni sulla gestione dei bucket di log definiti dall'utente, inclusa l'eliminazione o per aggiornarli, consulta Configurare e gestire i bucket di log.

Aree geografiche

I bucket di log sono risorse a livello di regione. L'infrastruttura che archivia, indicizza e cerca che le voci di log si trovino in un'area geografica specifica in ogni località. Google Cloud gestisce l'infrastruttura in modo che le applicazioni siano disponibili in modo ridondante nelle varie zone all'interno della regione.

Quando crei un bucket di log o imposti un'istanza criteri regionali a livello di organizzazione, puoi scegli di archiviare le voci di log in una delle seguenti regioni:

Africa

Nome regione Descrizione regione
africa-south1 Johannesburg

Americhe

Nome regione Descrizione regione
northamerica-northeast1 Montréal
northamerica-northeast2 Toronto
southamerica-east1 San Paolo
southamerica-west1 Santiago
us-central1 Iowa
us-east1 Carolina del Sud
us-east4 Virginia del Nord
us-east5 Columbus
us-south1 Dallas
us-west1 Oregon
us-west2 Los Angeles
us-west3 Salt Lake City
us-west4 Las Vegas

Asia Pacifico

Nome regione Descrizione regione
asia-east1 Taiwan
asia-east2 Hong Kong
asia-northeast1 Tokyo
asia-northeast2 Osaka
asia-northeast3 Seul
asia-south1 Mumbai
asia-south2 Delhi
asia-southeast1 Singapore
asia-southeast2 Giacarta
australia-southeast1 Sydney
australia-southeast2 Melbourne

Europa

Nome regione Descrizione regione
europe-central2 Varsavia
europe-north1 Finlandia
europe-southwest1 Madrid
europe-west1 Belgio
europe-west2 Londra
europe-west3 Francoforte
europe-west4 Paesi Bassi
europe-west6 Zurigo
europe-west8 Milano
europe-west9 Parigi
europe-west10 Berlino
europe-west12 Torino

Medio Oriente

Nome regione Descrizione regione
me-central1 Doha
me-central2 Dammam
me-west1 Tel Aviv

Altro

Nome regione Descrizione regione
eu log archiviati nei data center all'interno dell'Unione Europea; nessun altro garanzie di ridondanza
us i log archiviati nei data center degli Stati Uniti; nessun altro garanzie di ridondanza
global i log archiviati in qualsiasi data center del mondo. nessuna ridondanza aggiuntiva garanzie

Quando imposti la località su global, non è necessario specificare dove si trova vengono archiviate fisicamente.

Puoi applicare automaticamente una determinata regione di archiviazione a _Default e _Required bucket creati in un'organizzazione o in una cartella. Per ulteriori informazioni, vedi Configura le impostazioni predefinite per organizzazioni e cartelle.

Per scoprire di più sulla regione dei dati e su dove è possibile archiviare dei log, consulta Informazioni sulle regioni di dati.

Criteri dell'organizzazione

Puoi creare un nuovo criterio dell'organizzazione per assicurarti che la tua organizzazione soddisfi le tue esigenze normative e di conformità. Utilizzo un criterio dell'organizzazione, puoi specificare in quali regioni la tua organizzazione può e creare nuovi bucket di log. Puoi anche impedire alla tua organizzazione di creare nei nuovi bucket di log in determinate regioni.

Cloud Logging non applica il criterio dell'organizzazione appena creato su bucket di log esistenti; applica il criterio solo ai nuovi bucket di log.

Per informazioni sulla creazione di un criterio dell'organizzazione basato sulla località, consulta Limita le località delle risorse.

Inoltre, puoi configurare una posizione di archiviazione predefinita _Default e _Required bucket in un'organizzazione o in una cartella. Se configuri un criterio dell'organizzazione che vincola la posizione in cui i dati possono essere devi assicurarti che la posizione di archiviazione predefinita specificata sia coerente con quel vincolo. Per ulteriori informazioni, vedi Configura le impostazioni predefinite per organizzazioni e cartelle.

Conservazione

Cloud Logging conserva i log in base alle regole di conservazione applicabili al log. un tipo di bucket in cui sono conservati i log. Per informazioni sui periodi di conservazione per i diversi tipi di log, consulta Quote e limiti.

Puoi configurare Cloud Logging in modo che conservi i log tra 1 giorno e 3650 giorni. Le regole di conservazione personalizzate si applicano a tutti log in un bucket, indipendentemente dal tipo di log o dal fatto che il log sia stato copiato da un'altra posizione.

Per informazioni sull'impostazione di regole di conservazione per un bucket di log, consulta Configura la conservazione personalizzata.

Visualizzazioni log

Le visualizzazioni di log consentono di concedere a un utente l'accesso solo a un sottoinsieme di voci di log in un bucket di log. Per informazioni su come configurare le visualizzazioni dei log e su come concedere l'accesso a viste di log specifiche, consulta Configura le visualizzazioni dei log su un bucket di log.

Per ogni bucket di log, Cloud Logging crea automaticamente _AllLogs che mostra tutti i log archiviati nel bucket. Cloud Logging crea anche una vista del bucket _Default denominata _Default. La vista _Default per _Default bucket mostra tutti i log, ad eccezione degli audit log di accesso ai dati. La Le viste _AllLogs e _Default non sono modificabili e non possono essere eliminate la visualizzazione log di _Default.

Le visualizzazioni di log personalizzate offrono un modo avanzato e granulare per controllare l'accesso ai dati dei log. Ad esempio, considera uno scenario in cui archivia tutti i log della tua organizzazione in un progetto centrale di Google Cloud. Poiché i bucket di log possono contenere log progetti Google Cloud, potresti voler controllare quali I progetti Google Cloud da cui diversi utenti possono visualizzare i log. Utilizzo del log personalizzato viste, puoi concedere a un utente l'accesso ai log solo da un a un singolo progetto Google Cloud, mentre concedi a un altro utente l'accesso ai log per tutti i progetti Google Cloud.

Utilizzo dei log nell'ecosistema Google Cloud

La sezione seguente fornisce informazioni su come utilizzare i log nel in Google Cloud.

Metriche basate su log

Le metriche basate su log sono metriche di Cloud Monitoring derivati dai contenuti delle voci di log. Ad esempio, se Cloud Logging riceve una voce di log per un progetto Google Cloud che corrisponde ai filtri di una delle metriche del progetto Google Cloud, la voce di log viene conteggiata nei dati della metrica.

Le metriche basate su log interagiscono con il routing in modo diverso, a seconda che le metriche basate su log vengono definite dal sistema o da te. Le seguenti sezioni descrivono queste differenze.

Metriche basate su log e filtri di esclusione

I filtri di esclusione sink si applicano alle metriche basate su log definite dal sistema, che contano solo i log archiviati nei bucket di log.

I filtri di esclusione sink non si applicano alle metriche basate su log definite dall'utente. Anche se escludi l'archiviazione dei log in bucket di Logging, potresti vedere i log conteggiati in queste metriche.

Ambito delle metriche basate su log

Le metriche definite dal sistema basate su log si applicano a livello di progetto Google Cloud. Queste metriche vengono calcolate dal router dei log e si applicano solo ai log progetto Google Cloud in cui vengono ricevuti.

Le metriche definite dall'utente basate su log possono essere applicate in entrambi i casi al progetto Google Cloud o a livello di un bucket di log specifico:

  • Le metriche a livello di progetto sono calcolate come metriche definite dal sistema basate su log; queste metriche basate su log definite dall'utente si applicano solo ai log nel progetto Google Cloud in cui vengono ricevuti.

  • Le metriche con ambito bucket si applicano ai log nel bucket di log in cui vengono ricevuti, indipendentemente dal progetto Google Cloud in cui hanno avuto origine le voci di log.

    Con le metriche basate su log con ambito a livello di bucket, puoi creare metriche basate su log in grado di valutare i log nei seguenti casi:

    • Log con routing da un progetto a un bucket in un altro progetto.
    • Log con routing a un bucket tramite un sink aggregato.

Per saperne di più, consulta Panoramica delle metriche basate su log.

Individuazione dei log nelle destinazioni supportate

Scopri di più sul formato delle voci di log con routing e su come vengono organizzate in destinazioni, vedi Visualizza i log nelle destinazioni sink.

Casi d'uso comuni

Per risolvere i casi d'uso comuni relativi al routing e all'archiviazione dei log, consulta quanto segue documenti e tutorial:

Esigenze di conformità

Per le best practice sull'utilizzo del routing per la governance dei dati, vedi quanto segue documenti:

Controllo dell'accesso con IAM

Per informazioni su come utilizzi I ruoli e le autorizzazioni di Identity and Access Management (IAM) per controllare l'accesso ai dati di Cloud Logging, Controllo dell'accesso con IAM.

Prezzi

Cloud Logging non addebita alcun costo per il routing dei log a un destinazione supportata; ma la destinazione potrebbe applicare dei costi. Ad eccezione del bucket di log _Required, Cloud Logging addebita un costo per trasferire i log nei bucket di log. per un'archiviazione più lunga del periodo di conservazione predefinito del bucket di log.

Cloud Logging non addebita alcun costo per la copia dei log o per le query eseguite tramite Esplora log o tramite la pagina Analisi dei log.

Per ulteriori informazioni, consulta i seguenti documenti:

Passaggi successivi

Per facilitare il routing e l'archiviazione dei dati di Cloud Logging, consulta quanto segue documenti:

  • Error Reporting può analizzare le voci di log e segnalarti gli errori. Per ulteriori informazioni su questo servizio, incluse informazioni su quando è possibile analizzare le voci di log, Panoramica di Error Reporting.