Dans le cours : L'essentiel d'Apache Spark
Accédez au cours complet aujourd’hui
Inscrivez-vous aujourd’hui pour accéder à plus de 23 400 cours dispensés par des experts.
Joindre des DataFrames - Tutoriel Apache Spark
Dans le cours : L'essentiel d'Apache Spark
Joindre des DataFrames
Maintenant que nous avons notre premier DataFrame, ici les communes, on va importer le second, les lieux-dits, je vais l'appeler ld. Je vais changer ça simplement donc ld lieux-dits. J'ai deux DataFrames et je me retrouve finalement avec deux tables comme si j'étais dans une base de données relationnelle mais est-ce que je peux faire des relations ? Oui, je peux faire des relations parce que je peux commencer à travailler avec mes DataFrames comme je le ferais en SQL, par exemple, en faisant des jointures. Voyons déjà ce que l'on a. Dans co, qu'est-ce que j'ai comme colonnes ? J'ai le code, le nom, le type de commune et la population. Je peux faire un show rapidement, je vais en montrer dix et j'ai ici mon code qui correspond au code de commune, le nom de la commune, le type de commune, etc... Qu'est-ce que j'ai dans mes lieux-dits ? J'ai ici le code de la commune que j'ai nommée commune, j'aurais mieux fait de nommer code commune des deux côtés mais tant pis... Donc, avec cela…
Entraînez-vous tout en suivant la formation avec les fichiers d’exercice.
Téléchargez les fichiers utilisés par l’instructeur pour enseigner le cours. Suivez attentivement et apprenez en regardant, en écoutant et en vous entraînant.
Table des matières
-
-
-
-
-
-
(Verrouillé)
Appréhender les abstractions de données de Spark 26 m 1 s
-
(Verrouillé)
Exploiter la SparkSession3 m 9 s
-
(Verrouillé)
Créer un DataFrame4 m 57 s
-
(Verrouillé)
Manipuler le DataFrame7 m 22 s
-
(Verrouillé)
Comprendre les formats de stockage5 m 58 s
-
(Verrouillé)
Construire un jeu de données6 m
-
(Verrouillé)
Importer un fichier Avro4 m 25 s
-
(Verrouillé)
Joindre des DataFrames9 m 14 s
-
(Verrouillé)
Sauvegarder au format Parquet5 m 23 s
-
(Verrouillé)
-