Dataframes e RDDs

Dataframes e RDDs

1. RDD

   • Resilient Distribuited Datasets
     • Estrutura básica de baixo nível
     • Em memória
     • Pode ser persistido em disco
     • Tolerante a falha
     • Operações sobre RDD criam um novo RDD
     • complexo
     • difícil de otimizar

2. Dataset

   • Somente disponível em Java e Scala
   • Não disponível em R e Python

3. DataFrame

   • Características
     • Tabelas com linhas e colunas
     • imutáveis
     • Schema
       • Spark pode definir automaticamente, mas posso especificar
       • Especificar evita o Spark analisar os dados pra tentar descobrir que tipo de dados se trata
         • Overhead
     • Linhagem preservada
     • Colunas podem ter tipos diferentes
     • Spark consegue otimizar através de planos de execução
     • A transformação só ocorre se existir uma ação
       • Lazy Evaluation
   • operacoes
     • CriarDataframe
       • df1 = spark.createDataFrame()
       • Criar a partir fontes externas
         • csv
           • despachantes = spark.read.csv("/home/despachantes.csv")
     • Bibliotecas
       • from pyspark.sql import SparkSession
     • Criar schema
       • df1 = spark.createDataFrame(dados, schema1)
       • schema1 = "Produto STRING, Vendas INT"
     • verificar schema
       • df1.schema