Les 5S Apache Spark

JavaScript isn't enabled in your browser, so this file can't be opened. Enable and reload.

Les 5S Apache Spark

Spill
Shuffle
Storage
Serialization
Skew

Name *

Email *

Quiz Questions

Que se passe-t-il lorsque Spark spill des données sur le disque ? *

1 point

b) Spark met en cache les données

d) Spark arrête le traitement des données

c) Les données en mémoire sont transférées sur le disque

a) Les données sont perdues

Pourquoi le shuffle est-il souvent coûteux en termes de performance ?
*

1 point

a) Il nécessite de charger les données en mémoire

b) Il implique une forte communication réseau et des écritures sur disque

c) Il surcharge le cluster avec des tâches inutiles

d) Il utilise un algorithme de tri inefficace

Pourquoi la sérialisation est-elle importante dans Spark ?
*

1 point

a) Pour compresser les données

b) Pour encoder les données pour leur transfert ou stockage

c) Pour éviter la surcharge réseau

d) Pour effectuer des transformations plus rapidement

Quelle stratégie pourrait réduire l'impact du skew dans Spark ?
*

1 point

a) Ajouter plus de mémoire au cluster

b) Augmenter la taille des partitions et ajuster les paramètres de shuffle

c) Utiliser des DataFrames au lieu des RDDs

d) Stocker toutes les données en mémoire

Vous travaillez sur un use case où vous devez lire uniquement une partition spécifique d'un fichier Parquet stocké dans HDFS. Les fichiers sont partitionnés par la colonne "year".

Quelle commande et option utiliseriez-vous pour lire uniquement les données de l'année 2023 dans Spark ?

1 point

a) spark.read.parquet("/data/transactions")

b) spark.read.option("partition", "year=2023").parquet("/data/transactions")

c) spark.read.parquet("/data/transactions/year=2023")

d) spark.read.partitionBy("year").parquet("/data/transactions").filter("year = 2023")

Submit

Clear form

Never submit passwords through Google Forms.

This content is neither created nor endorsed by Google. - Terms of Service - Privacy Policy

Does this form look suspicious? Report

Forms