Gerenciar a administração do Studio

Esta página explica os recursos de administração O Cloud Data Fusion Studio oferece o gerenciamento de configurações. O Cloud Data Fusion segue uma hierarquia, em que cada instância pode ter vários namespaces. No Studio do Cloud Data Fusion, os administradores pode gerenciar centralmente todos os namespaces ou gerenciá-los individualmente. O Studio do Cloud Data Fusion oferece o sistema e o namespace a seguir controles de segurança.

Administração de sistemas

Clique em Administrador do sistema no Studio do Cloud Data Fusion mostra seguintes guias:

  • Guia Gerenciamento: exibe o status de integridade de vários serviços do Cloud Data Fusion. Também é possível exibir os registros de cada serviços.

  • Guia Configuração: permite criar, visualizar e editar os seguintes controles:

Os provisionadores são responsáveis por criar, inicializar e destruir o ambiente de nuvem em que os pipelines são executados. Cada provisionador expõe um conjunto de configurações usadas para controlar o tipo de cluster criado e excluídos. Provisionadores diferentes criam tipos distintos de clusters.

Cada perfil de computação tem um escopo: sistema ou usuário. É possível usar uma função para namespaces dentro dele. Os perfis de computação do usuário existem em um namespace, e apenas os pipelines nesse namespace podem usar o de perfil.

Na guia Configurações do administrador do sistema, é possível criar um do Compute Engine aplicado a todos os namespaces. Cloud Data Fusion atribui um perfil de computação padrão.

Ao criar um perfil de computação, selecione o provisionador, que o perfil usa para criar e configurar os detalhes do ambiente de execução em nuvem.

Preferências do sistema

as preferências são configurações predefinidas que se aplicam a vários níveis Cloud Data Fusion, incluindo o próprio sistema, namespaces e aplicativos (que contêm pipelines) e programas individuais dentro de pipelines. Preferências oferecem uma maneira de definir valores padrão para as configurações mais usadas. Esses os padrões podem ser herdados por pipelines e programas em níveis mais baixos, repetitivas de configuração. Para mais informações, consulte Gerenciar macros, preferências e argumentos de ambiente de execução.

Ação de chamada HTTP

A ação de chamada HTTP na página Administrador do sistema permite interagir com A própria API do Cloud Data Fusion ou possivelmente outro serviço do Google Cloud APIs, diretamente da interface do Studio do Cloud Data Fusion. No entanto, para criar pipelines de processamento de dados com fontes de dados externas, em vez disso, plug-in HTTP e o Executor de chamadas HTTP nos pipelines para uma solução abrangente. Ela é um pouco diferente da ação de chamada HTTP, mas a conceitos subjacentes são parecidos.

Configurações e casos de uso

A ação de chamada HTTP é usada principalmente para tarefas administrativas ou de configuração no Cloud Data Fusion. Ele permite interagir com a API Cloud Data Fusion ou outros serviços do Google Cloud que expõem uma API HTTP diretamente do Estúdio.

Configurações

É possível definir os seguintes detalhes para uma chamada HTTP:

  • URL: o endpoint de destino do serviço da Web que você quer a chamada.
  • Method: o método HTTP a ser usado, como GET. POST ou PUT.
  • Opcional: Cabeçalhos: qualquer cabeçalho personalizado necessário para o solicitação.
  • Opcional: Body: dados a serem enviados no corpo da solicitação, como para chamadas POST e PUT.

Você pode então executar a chamada HTTP definida e visualizar a resposta do serviço da Web no Studio do Cloud Data Fusion.

Casos de uso
  • Testar as chamadas da API Cloud Data Fusion. É possível usar a chamada HTTP ação para testar ou explorar as funcionalidades da API Cloud Data Fusion diretamente da interface da Web. Essa ação pode ser útil para entender o comportamento da API ou solucionar possíveis problemas.
  • Gerenciar namespaces (avançado). Há uma UI dedicada para de namespace, a ação de chamada HTTP pode ser usada para tarefas avançadas fazendo chamadas diretamente à API Cloud Data Fusion para namespaces criação, exclusão ou configuração.
  • Interação com outros serviços do Google Cloud (limitado). Se outros serviços do Google Cloud que você usa tiverem um documento oficial API HTTP, é possível usar a ação de chamada HTTP para interagir com essas serviços, embora esse seja um caso de uso incomum.
Considerações importantes
  • Segurança: tenha cuidado ao usar a ação de chamada HTTP. especialmente com dados sensíveis ou chamadas de API do Cloud Data Fusion que poderiam impactar seu ambiente. Certifique-se de que você entendeu o implicações de cada chamada de API antes de executá-la.
  • Limitações: a ação de chamada HTTP serve principalmente para tarefas administrativas e testes. Ele não foi projetado para criar pipelines complexos de processamento de dados que envolvem manipulação de dados o Cloud Data Fusion.
  • Alternativa para pipelines: para integrar fontes de dados externas ou serviços nos seus pipelines de dados, use o plug-in HTTP executor de chamadas HTTP associado nas definições do pipeline. Isso fornece uma maneira mais robusta e controlada de gerenciar interações HTTP nos fluxos de trabalho de processamento de dados.

Administração de namespaces

Clique em Administrador de namespace no Cloud Data Fusion Studio para gerenciar as configurações do namespace específico. Para cada namespace, pode definir os seguintes aspectos:

  • Perfis de computação: os perfis configurados no Administrador de namespaces são do usuário do Compute Engine. Somente os pipelines nesse namespace podem usar essas permissões do Compute Engine. Para mais informações, consulte Gerenciar perfis de computação.
  • Preferências: as preferências definidas no nível do namespace são aplicáveis aos o namespace, os aplicativos (que contêm pipelines) e as programas em pipelines. Para mais informações, consulte Gerenciar macros, preferências e argumentos de ambiente de execução.
  • Conexões: o Cloud Data Fusion permite reutilizar conexões para origens e coletores em pipelines de dados. É possível adicionar conexões no página "Administrador de namespaces". Para mais informações, consulte Criar e gerenciar conexões.
  • Drivers: alguns plug-ins no Cloud Data Fusion exigem um driver JDBC para ser adicionado ao namespace. Por exemplo, antes de executar um pipeline com uma plug-in de origem em lote do MySQL, adicione o driver compatível do MySQL ao arquivo . Você pode fazer upload ou remover drivers JDBC para um namespace da Namespace Admin ou diretamente no Hub. Para mais informações, consulte Drivers de plug-ins
  • Gerenciamento de controle de origem: para gerenciar com eficiência o processo de desenvolvimento. de pipelines implantados, o gerenciamento de controle de origem permite conectar com o repositório do sistema de controle de origem. Para mais informações, consulte Gerenciar pipelines usando o gerenciamento de controle de origem.
  • Conta de serviço: para controlar o acesso aos recursos do Google Cloud. namespaces no Cloud Data Fusion usam Agente de serviço da API Cloud Data Fusion por padrão.

Para um melhor isolamento dos dados, você pode associar um Conta de serviço do Identity and Access Management (IAM), conhecida como "Por namespace" conta de serviço) com cada namespace. O serviço IAM personalizado que pode ser diferente para namespaces diferentes, permite controlar aos recursos do Google Cloud entre namespaces para pipelines de tempo de projeto no Cloud Data Fusion, como prévia de pipeline, Wrangler e validação de pipeline. Para mais informações, consulte Controle de acesso com a conta de serviço do namespace.

A seguir