APACHE HADOOP

APACHE HADOOP

1. DEFINICION

   • FRAMEWORK DE CODIGO ABIERTO PARA PROCESAMIENTO DISTRUIBUIDO DE GRANDES VOLUMENES DE DATOS EN CLUSTERES DE COMPUTADORAS.
   • PLATAFORMA PARA ALMACENAR, PROCESAR Y ANALIZAR DATOS ESTRUCTURADOS Y NO ESTRUCTURADOS

2. OBJETIVO

   • ALAMCENAR Y PROCESAR GRANDES VOLUMENES DE DATOS QUE SUPERAN LAS CAPACIDADES DE ALMACENAMIENTO Y PROCESAMIENTO TRDICIONALES. SOLUCION ESCALABLE Y RENTABLE

3. INTEGRACION

   • AMPLIAR FUNCIONALIDAD Y CAPACIDAD DE PROCESAMIENTO
   • APACHE SPARK
     • PROCESAMIENTO RAPIDO DE DATOS UTILIZANDO PROCESAMIENTO EN MEMORIA Y PROGRAMACION DISTRIBUIDA
   • APACHE PIG
     • REALIZAR TRANSFORMACIONES COMPLEJAS EN DATOS ALMACENADOS
   • APACHE HIVE
     • PROPORCIONA UNA INTERFAZ SQL PARA CONSULTA Y ANALISIS DE DATOS
   • APACHE HBASE
     • ACCESO Y PROCESAMIENTO DE DATOS EN TIEMPO REAL
   • APACHE SQOOP
     • IMPORTACION Y EXPORTACION DE DATOS ENTRE HADOOP Y SISTEMA DE BASES DE DATOS TRADICIONALES

4. ARQUITECTURA

   • HDFS
     • SISTEMA DE ARCHIVOS DISTRIBUIDOS PARA ALMACENAR Y ACCEDER A DATOS DE MANERA DISTRIBUIDA
   • MAPREDUCE
     • PROCESAMIENTO DISTRIBUIDO QUE DIVIDE LAS TAREAS EN ETAPAS DE MAPEO Y REDUCCION PARA PROCESAR DATOS EN PARALELO
   • YARN
     • ADMINISTRADOR DE RECURSOS PARA EJECUTAR APLICACIONES EN PARALELO
   • HADOOP COMMON
     • BIBLIOTECAS Y UTILIDADES COMUNES

5. LICENCIAMIENTO

   • LICENCIA DE APACHE 2.0 - CODIGO ABIERTO Y GRATUITO PARA SU USO Y MODIFICACION CON COSTOS ADICIONALES

6. MADUREZ

   • DESDE EL 2006. PRESENCIA SOLIDA. CONFIABLE Y ESCALABLE

7. ACTIVIDAD

   • COMUNIDAD ACTIVA,

8. CLIENTES

   • FACEBOOK, YAHOO, TWITTER, EBAY, LINKEDIN, NETFLIX

9. APLICACIONES

   • ANALISIS DE GRANDES VOLUMENES DE DATOS
   • PROCESAMIENTO Y ANALISIS DE REGISTROS MASIVOS PARA LA DETECCION DE PATRONES Y ANOMALIAS
   • ANALISIS DE DATOS DE REDES SOSCIALES Y OPINIONES DE CLIENTES PARA BI
   • ANALSIS DE DATOS Y EN TIEMPO REAL PARA LA DETECCION DE FRAUDES, PERSONALIZACION DE CONTENIDO Y OPTIMIZACION DE OPERACIONES
   • ANALISIS DE DATOS CIENTIFICOS COMO LA GENOMICA, ASTRONOMIA E INVESTIGACION ACADEMICA