Big Data 2

Big Data 2

1. Ecosistema Hadoop

   • procesar grandes cantidades de datos de forma distribuida con varias maquinas (cluster)
   • GSF -> HDFS
   • Con base en HDFS y paradigma MapReduce, se crearon Software para funciones especifica y que interoperan entre si
     • HDFS
       • Sistema de archivos
     • MapReduce
       • Paradigma de programacion en cluster
     • Flume
       • Herramienta de tratamiento de logs
     • Sqoop
       • Herramienta de migracion de BD a HDFS
     • Zookeeper
       • Coordinador
     • Oozie
       • Planificacion y ejecucion de flujo de datos
     • Pig
       • programar flujos de datos con sintaxis similar a SQL
     • Mahout
       • biblioteca de algoritmos de Machine Learning
     • R connectors
       • herramientas para conectar MapReduce con el lenguaje de programación R
     • Hive
       • herramienta para manejar datos almacenados en HDFS utilizando lenguaje SQL
     • HBase
       • base de datos NoSQL de tipo columnar,
   • Distribuciones de Hadoop
     • Cloudera
     • Hortonworks
     • MapR