Hadoop
     OQE
        È um framework open source que facilita o processamento em lagar
        escala de um grande volume de dados usando um cluster com varias
        máquinas de baixo custo.
    Caract.
        Foi escrito na linguagem java e baisea-se no google file sistem(GFS).
        Permite a computação distribuida mas com baixo custo.
        Escalável (Horizontalmente)
        Tolerante a falhas
        Flexível
    Módulos

           Os principais módulos são: HDFS, MapReduce e YARN.
            HDFS
                OQE
                    Sistema de arquivos distribuidos de alta velocidade e que
                    permite rápida transferência de dados entre os nodes Hadoop.
                    Foi desenvolvido utilizando como base o (DFS)
                Caract.
                    Tolerancia a falhas e recuperação automática.
                    Pode rodar em máquinas com sistema operacionais diferentes.
                    Escalabilidade
                    Confiabiliade - mantém várias cópias dos dados.
                    Segurança é feita com o kerberos.
                    E hotimizado para o amarzenamento de grandes arquivos e tem um tempo de leitura de um conjunto de dados inteiro e não apenas um registro.
                    Foi pensado para ser ótimo em WORM
                    Cluster HDFS
                    Tipos de noldes.
                        Namenode(Master node')
                            Gerencia a estrutura do sistema e os metadados dos arquivos e diretórios.
                        Datanode(Work node)
                            Armazena e buscas os blocos de dados.
                            Reporta ao namenode a lista de blocos armazenados.
            MapReduce
                OQE
                    Modelo de programação.
                Caract.
                    Processo computacional que utiliza chave e valores.
                    Usa força bruta - todo o conjunto de dados é processado em cada query.
                    Modelo de processamento batch
                    Flexibilidade - Pode pracessar vários tipos de arquivo, dados estruturados ou não estruturado.
                    Confiabilidade - Processa vários jobs em paralelo sem que a falha de um afete o outros.
                    Acessibilidade - suporta várias linguagens(Java, C++, Python, Apache Pig).
             YARN - Agendador de jobs e gerenciador de recursos

Pricipais componetes - O HDFS e o MapReduce podes ser considerados os componentes mais importantes do framework.

	Erstellt von Luiz Alberto Nunes vor etwa 9 Jahre

Resumo Conceitos básicos de bigdata. O que é, motivação e ferramentas.

Conceitos básicos - 000001