Un approvisionneur est chargé de créer et de supprimer le cluster cloud où le pipeline est exécuté. Différents approvisionneurs sont capables en créant différents types de clusters sur différents clouds.
Chaque approvisionneur expose un ensemble de paramètres de configuration qui contrôlent le type de cluster créé pour une exécution. Par exemple, Dataproc et les approvisionneurs Amazon EMR disposent de paramètres de taille de cluster. Les approvisionneurs disposent également des identifiants nécessaires pour communiquer avec leurs clouds respectifs provisionner les nœuds de calcul requis.
Approvisionneurs compatibles dans Cloud Data Fusion
Cloud Data Fusion est compatible avec les approvisionneurs suivants:
- Dataproc
- Service cloud rapide, facile à utiliser et entièrement géré pour l'exécution d'Apache Spark et Apache Hadoop.
- Amazon Elastic MapReduce (EMR)
- Fournit un framework Hadoop géré qui traite de grandes quantités de données sur d'instances Amazon EC2 à évolutivité dynamique.
- Hadoop distant
- Exécute des jobs sur un cluster Hadoop préexistant, sur site ou dans le dans le cloud.