Hadoop

Hadoop

1. Permite el procesamiento distribuido

2. Permite el procesamiento distribuido de grandes cantidades de datos a través de clusters

3. Se puede comparar a Hadoop con el enfoque tradicional de procesamiento paralelo masivo para sistemas de administración de bases de datos relacionales

   • Ambos son escalables, ambientes paralelos y permiten el análisis

4. Limitaciones

   • Carece de las capacidades que tiene un sistema de administración de bases de datos
   • Carece de madurez en la optimización de queries
   • La falta de ANSI SQL limita el rango de usuarios, herramientas y aplicaciones que pueden acceder a los datos de Hadoop
   • No soporta joins ni sentencias SQL complejas
   • No cuenta con verificación ACID para integridad de datos
   • Carece de ciertas características de seguridad

5. Ventajas

   • Data Staging, permite crear un ambiente ETL con gran escalabilidad
   • Permite almacenar toda la información necesaria
   • Consume cualquier formato de datos
   • Permite manejar de manera sencilla datos no tradicionales

6. Las plataformas no relacionales complementan las tecnologías anteriores en vez de remplazarlas

   • Una de las formas de medir estas arquiteturas es contar el número de cargas de trabajo que soporta
     • Se ha demostrado que una arquitectura optimizada con múltiples plataformas es lo mejor en cuanto a costo beneficio.
       • Buscar construir un almacén de datos basado en una arquitectura UDA incluye expandir el portafolio de software empresarial, incluyendo varios sistemas de administración y de base de datos y una buena arquitectura fuerte para que la complejidad del ambiente no sea caótica
         • El apoyo de los vendors a las nuevas arquitecturas incluye integración o involucramiento de Hadoop

7. Orilla a las empresas a reestructurar la información dentro de sus almacenes para aguantar los grandes volúmenes de datos y demás requerimientos

   • Hadoop ha probado ser valioso en cuanto el staging y refinación de datos, usando Hive para cargar archivos a la base de datos relacional
     • Hadoop es una plataforma económica y poderosa para ETL

8. Debido a la incertidumbre que se tiene acerca del futuro, es recomendable que se guarde el código fuente, para el procesamiento de datos en el futuro

   • Esto es posible y económico con Hadoop
     • Es recomendable que los datos que son requeridos con mayor frecuencia sean almacenados en unidades SSD, a diferencia de los demás datos que es mejor almacenarlos en unidades de memoria menos costosas

9. Para poder obtener valor de negocios es necesario construir un ambiente multiestructurado

   • Hadoop permite refinar y estructurar grandes porciones de datos. Combinado con herramientas de alto desempeño y que sean amigables con el usuario se obtiene un gran valor

10. Las empresas confían mucho en SQL para tareas analíticas, ya que es lo que maneja la mayoría de las herramientas y profesionales

    • El análisis de datos con SQL es la mejor opción para bases de datos relacionales y analíticas.
      • Hadoop/Hive no están diseñados para el uso de SQL extremo.
        • Se puede utilizar Hadoop para analizar Big Data, pero se tiene que tener en cuenta que existe la posibilidad de migrar estos datos a herramientas más maduras para su análisis