Ler de uma origem de streaming do Pub/Sub

O Cloud Data Fusion dá suporte a origens do Pub/Sub em pipelines de dados de streaming.

Antes de começar

Papéis e permissões

Para ter as permissões necessárias para ler uma origem de streaming do Pub/Sub, peça ao administrador para conceder a você Papel do IAM Editor do Pub/Sub (roles/pubsub.editor) na conta de serviço usada para acessar a assinatura do Pub/Sub. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esse papel predefinido contém as permissões necessárias para ler uma origem de streaming do Pub/Sub. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para ler uma origem de streaming do Pub/Sub:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Você concede o papel na conta de serviço especificada nas propriedades do plug-in para acessar o Pub/Sub. Se nenhum for especificado, conceda o na conta de serviço do Dataproc.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Adicionar uma origem do Pub/Sub ao pipeline de dados de streaming

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.

      Acesse "Instâncias"

  2. Na interface da Web do Cloud Data Fusion, clique em Studio.

  3. Selecione Pipeline de dados – Tempo real.

  4. No menu Origem, selecione Pub/Sub. Um Pub/Sub nó de origem de streaming aparece no pipeline.

  5. No nó do Pub/Sub, clique em Propriedades para configurar o fonte. Para mais informações, consulte Origem de streaming do Pub/Sub.

Suporte a uma única origem do Pub/Sub sem plug-ins do Windower

O Cloud Data Fusion versão 6.9.1 oferece suporte a pipelines em tempo real com uma única Fonte de streaming do Pub/Sub e nenhum plug-in do Windower.

  • A origem de streaming do Pub/Sub tem suporte integrado, e os dados processados pelo menos uma vez. Ativar o checkpoint do Spark não é obrigatórios.
  • A origem de streaming do Pub/Sub cria Snapshot do Pub/Sub no início de cada lote e o remove ao final de cada lote.
  • A criação de snapshots do Pub/Sub tem um custo associado. Para mais informações, consulte Preços do Pub/Sub.
  • É possível monitorar a criação de snapshots no Registros de auditoria do Cloud.

Fazer upgrade de um pipeline com uma origem de streaming do Pub/Sub

O Cloud Data Fusion oferece suporte a upgrades diretos de aplicativos para pipelines de streaming com uma origem de streaming do Pub/Sub criada em 6.9.1 ou mais recente.

O Cloud Data Fusion não dá suporte a upgrades para pipelines de dados Origem de streaming do Pub/Sub na versão 6.9.0 ou anterior. Em vez disso, atualizar esses pipelines para a versão 6.9.1:

  1. Parar de publicar os dados no tópico quando o upgrade da instância estiver planejado.
  2. Aguarde o pipeline terminar de processar os dados publicados.
  3. Depois que os dados forem totalmente processados, pare o pipeline.
  4. Faça upgrade da instância.
  5. Duplique o pipeline atual e atualize para os plug-ins mais recentes.
  6. Implante o pipeline.

  7. Execute o novo pipeline para ler dados.

    A nova versão usa o snapshot automaticamente em vez do checkpoint do Spark.

  8. Exclua o pipeline antigo.

A seguir