Ecossistema Hadoop - 2

Ecossistema Hadoop - 2

1. Ambari

   • Cluster Hadoop
     • Provisionamento
     • Gestão
     • Monitoramento

2. Yarn

   • Gerenciador Hadoop
     • Resource Manager
       • um por cluster
     • Node Manager
       • em cada node do cluster
   • Entre a camada de aplicação e armazenamento
   • Spark
     • Yarn Client Mode
       • Componente Interativo
         • spark-shell
         • pyspark
       • Debug imediato
         • Bom para construir programas spark
     • Yarn Cluster Mode
       • Jobs em ambiente de produção
         • Execução em cluster
   • Caracteristicas
     • Compatibilidade
       • Aplicações Mapreduce v1.0
     • Escalabilidade
       • Foco no cluster
         • expansão de nodes
     • Utilização do Cluster
       • Alocação dinâmica de recursos

3. HDFS

   • Replicados
     • fator de replicação = 3
     • diferentes datanodes
   • Características
     • filesystem
       • Desenvolvido Java
     • Grandes qtd dados
       • hw baixo custo
     • projetado
       • pouca qtde. de grandes arqs.
     • Não otimizado para ops. randônicas
     • WORM
       • Write Once Read Many Times
     • Blocos
       • 64 Mb
       • 128 Mb
   • Namenode
     • Mapa
       • Blocos
         • compõem arquivo
     • disponível para acessar cluster
     • Metadados
       • em memória
         • grava em discos periodicamente