Cloud Data Fusion 中的预配工具

预配工具负责创建和拆解云集群 流水线的执行位置。不同的预配工具能够 在不同云端创建不同类型的集群

每个预配工具都会公开一组可控制其类型的配置设置 为运行所创建的集群例如,Dataproc 和 Amazon EMR 预配工具都有集群大小设置。预配者还拥有 与各自的云通信所需的凭据的设置 预配所需的计算节点

Cloud Data Fusion 中支持的预配工具

Cloud Data Fusion 支持以下预配工具:

Dataproc
快速、易用、全托管式用于运行 Apache Spark 的云服务 和 Apache Hadoop 集群。
Amazon Elastic MapReduce (EMR)
提供托管式 Hadoop 框架,可跨多种平台处理大量数据 可动态伸缩的 Amazon EC2 实例。
远程 Hadoop
在预先存在的 Hadoop 集群(本地或 。