PySpark

PySpark

1. Possui diversos componentes

   • Mlib (Machine Learning)
   • SQL (Spark SQL)
   • Spark Streaming (Processando de dados em tempo real)
   • GraphX (Processamento de grafos)

2. Motor de execução

   • Tungsten

3. Estrutura

   • Driver
     • Inicializa SparkSession, solicita recursos pro Manager, distribui operações nos executers
     • Inicia o Job
       • Os jobs possuem Stages
         • Os stages possuem Tasks (Menor unidade de trabalho)
   • Manager
     • Gerencia recursos do cluster
       • built-in standalone, YARN, Mesos e Kubernetes
   • Executer
     • Toda em cada nó do Cluster executando as tarefas

4. Tipos de transformações

   • Narrow
     • Dados na mesma partição
   • Wide
     • Dados em partições diferentes

5. SparkContext

   • Conexão transparente com o Cluster

6. Formatos de armazenamento de dados

   • Parquet
     • Colunar, padrão Spark
     • Mais eficiente na consulta
   • ORC
     • Colunar, padrão Hive
     • Mais eficiente na escrita e compressão (exige menos espaço)
   • Avro
     • Linha