BIG DATA

BIG DATA

Ingesta

Recolección de datos desde su origen

Flume Sqoop

Almacenamiento

Guardar y gestionar grandes volúmenes de datos

Cassandra, Hadoop HDFS, Mongo GD, Elastic

Gestión de recursos

Planificación y asignación de recursos: procesamiento de datos

Yarn, Mesos

Motores de procesamiento

Núcleo central de la tecnología big data, se realiza el cómputo de manera distribuida entre varis nodos de computación.

Hadoop MapReduce, Spark, Storm, Flink

Mensajería

Permiten el intercambio de datos entre los diferentes componentes softerw

Kafka, RabbitMQ

Bibliotecas de consulta

Orientadas a simplificar el acceso a los datos

Hive, Pig, Spark SQ

Bibliotecas de Machine Learning

Se encargan de implementar algoritmos para clasificar, predecir o perfilar estrategias.

Spakr Mllib, Flink ML

conjuntos de datos que superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable y por los medios habituales de procesamiento de la información

campos donde las técnicas de Big Data tienen más aplicación

Patrones de detección de fraude

patrones del Social Media

modelado y Gestión de riesgo

Big Data y el sector de la energía

big data en el Call Center