APACHE DRILL

APACHE DRILL

1. DEFINICION

   • HERRAMIENTA DE CONSULTA DISTRIBUIDA DE CODIGO ABIERTO PARA ANALIZAR DATOS MASIVOS EN DIVERSOS FORMATOS SIN TENER ESQUEMAS PREVIOS
   • CONSULTAS AD HOC Y EXPLORAR DATOS EN SU FORMATO NATIVO

2. OBJETIVO

   • ACCESO RAPIDO Y FLEXIBLE A DATOS ESTRUCTURADOS Y NO ESTRUCTURADOS SIN IMPORTAR SU UBICACION O FORMATO. CONSULTAS AD HOC Y ANALISIS EN TIEMPO REAL SIN NECESIDAD DE TENER EN UN ALMACEN CENTRALIZADO

3. INTEGRACION

   • APACHE SPARK
     • LEER Y PROCESAR DAROS ALMACENADOS EN SPARK RDDS Y DATAFRAMES
   • APACHE HADOOP
     • CONEXION A SISTEMAS HDFS Y REALIZAR CONSULTAS DIRECTAMENTE SOBRE LOS DATOS
   • APACHE HIVE
     • UTILIZA LOS METADATOS DE HIVES PARA ACCEDER A TABLAS DEFINIDAS EN HIVE Y EJECUTAR CONSULTAS SQL

4. ARQUITECTURA

   • CONTROLADOR
     • COORDINA LAS CONSULTAS Y LA EJECUCION DISTRIBUIDA
   • ZOOKEEPER
     • GESTION DE CLUSTERES Y DESCUBIRMIENTO DE NODOS DRILLBIT
   • ALMACENAMIENTO DE METADATOS
     • METADATOS HIVE, RDBMS O DISTRIBUIDO PARA ACCESO DE DATOS
   • EJECUCION
     • MOTOR DE EJECUCION DISTRIBUIDO PARA PROCESAR CONSULTAS

5. LICENCIAMIENTO

   • LICENCIA DE APACHE 2.0 - CODIGO ABIERTO Y GRATUITO PARA SU USO Y MODIFICACION SIN COSTOS ADICIONALES

6. MADUREZ

   • DESDE EL 2013. NO ES AMPLIAMENTE ADOPTADO.

7. ACTIVIDAD

   • COMUNIDAD ACTIVA CON VARIAS ACTUALIZACIONES

8. CLIENTES

   • MAPR, DREMIO Y VERIZON

9. APLICACIONES

   • EXPLORACION Y ANALISIS AD HOC DE DATOS EN TIEMPO REAL
   • CONSULTAS SOBRE DATOS ESTRUCTURADOS Y NO ESTRUCTURADOS EN DIVERSOS FORMATOS
   • INTEGRACION DE DATOS DE DIFERENTES FUENTES Y FORMATOS
   • DESCUBIRMIENTO DE DATOS Y OBTENCION DE INFORMACION UTIL SIN NECESIDAD DE DEFINICION DE ESQUEMA
   • ANALISIS DE DATOS MASIVOS EN ENTORNOS DE BIG DATA