1. Big Data

1. Big Data

1. Framework (marco de trabajo)

   • Conceptos
     • - las 5 V
       • Volumen
         • caracteristica mas asociada al big data
         • Unidades de almacenamiento
       • Velocidad
         • Procesamiento en BATCH
           • procesamiento de lotes ejecutada a una cierta hora de forma continua y secuencial ejm: en la madrugada extrae data y lo lleva una BD analitica (ETL)
           • Micro-batch
             • Usas la arquitectura/herramienta de batch, pero se ejecuta en periodo de tiempo mas corto, x ejm cada 10 minutos
           • Procesamiento orientado a eventos
             • En Cloud, simula ser real time y se puede actualizar los datos cada corto periodo de tiempo. El server en off y solo funciona los eventos que se activan a llamarlo
         • Procesamiento NEAR REAL TIME
           • Cuando se necesita que la informacion se procese inmediatamente
       • Variedad
         • Data Estructurada
           • Misma estructura para todos los registros. ejm: BD mysql, postgress, CSV, TXT
         • Data semi-estructurada
           • Cada registro tiene su propia estructurada ejm: JSON, XML
         • data no estructurada
           • No tiene un estructura ni registro ejm: facebook, pdf, email, fotos, maps, Internet en las cosas, Twitter, log, etc
       • Valor
         • - aumentar ganancia - disminuir perdidas - ahorrar tiempo - ahorrar tiempo hombres - Incremento de la satisfacción
       • Veracidad
         • > Se refiere al sesgo, el ruido y la alteracion de datos > Garantizar que los datos entrgados sean las correctas > responsables de big data deben preguntarse si  los datos son fiables y adecuados para analisis y proposito del  negocio
     • Cluster computacional
       • Conjunto de servidores para procesamiento de datos
       • claster computacional
     • Paralelización
       • (procesamiento distribuido: dividir los datos en archivos mas pequeños, estos archivos son enviados cada uno a diferentes maquinas
       • Dividir el archivo en ficheros mas pequeños y estos se enviados a varias maquinas distintas (nodos).
       • paralelizacion
       • DATANODES(Servidores esclavo)
         • Cada DataNode envia periadiocamente(10m.) informacion al NameNode para saber si está esta activo. si el dataNode no notifica a tiempo, el servidor maestro va a reederigir el trafico a otros nodos
       • NAMENODE (Servidor maestro)
         • el nodo maestro no almacena informacion, sino que almacena toda la metada necesaria para encontrar y saber en que nodo estan o han persistido los cluster en big data tienen 1 maestro se cae este servidor y se caen los servidores esclavos *para alta disponibilidad se maneja 3 maestro, pero generalmente es 1 maestro 
         • YARN: Tecnologia instalado en el server maestro y esclavo que permite saber que recurso o servidores estan ocupado o no y  hace posible la union de ortos servidores lo que simule un solo ordenador
     • Alta disponibilidad
       • AltaDisponibilidad
     • Seguridad
     • Gobierno
     • Patrones de diseño
       • buenas practicas de programacion, una de ellas es el patrones de diseño
     • Escabilidad
       • como aumenta la cantidad de recursos de nuestro cluster
       • Escalabilidad
   • Tecnologia
     • ayudan a aplicar los concepto
     • 2. Hadoop
       • ecosistema que agrupa distintas tecnologia que nos ayudar hacer big data. no esta enfocada a tener una respuesta inmediata y todo lo hace a nivel de disco duro (a diferencia de Spark) 
       • Caracteristica
         • Distribuido
           • hadoop_distribuido
         • Escalable
         • Tolereante a fallos
           • - la informacion está replicada en diferentes nodos- el fallo de un nodo no afecta al sistema, esta continua funcionando.- El maestro reasigna las tareas a otro  nodo, De esta forma, el servicio sigue siendo proporcionado por las maquinas que siguen en funcionamiento. o no hay perdida de datos gracias a la replicacion
         • Open Source
           • accesible al publico para ver, modificar y distribuir el codigo
       • Componentes
         • MapReduce
           • Es un paradigma de programacion que permite escabilidad masiva en  cientos o miles de servidores en un cluster de Hadoop. facilita el proceso simultaneo de grandes cantidades de datos
         • HDFS
           • ALMACENAMIEMTO. Como insertamos datos a HDFS? > FS Shell > Flume > Sqoop
           • NAMENODE
           • DATANODES
           • BLOQUES HDFS
     • Hive
       • - esta orientado a leer metadatos de una BD. - Se puede hacer consultas tipo "SELECT * FROM" a ficheros o archivos de texto plano. - Hive no es una BD, sino una BD de metadatos - toda la información que Hive va a leer lo va a almacenar en HDFS. - extension .HQL: Consultas hecha para Hive
     • Hbase
     • Spark
       • - procesamiento en memoria. Se puede usar con cualquiera de estas 4 tecnologia: java, scala, python y R. - motor de procesamiento de datos a gran escala Unificado, distribuido, codigo abierto. - Spark no es una BD- Posee naturamente un modulo para ML, streaming y grafos.- No depende de un sistema de archivo
       • RDD
         • - Principal abstracion de datos - Inmutabilidad: una vez creada no se puede modificar - No poseen estructura - Ejecucion perezosa: a menos que se realice una accion Cuando usar RDD? - Cuando te interesa controlar el flujo de Spark. - Si eres usuario Python, convertir a RDD un conjunto permite mejor control de datos. - Estás conectándote a versiones antiguas de spark.
         • RDD_Trandformaciones y acciones
       • DataFrames
         • - Diferencia de un RDD poseen columns, lo cual les otorga tipos de datos. - Optimizacion: Posee una  mejor implementacion, lo cual los hace preferibles - Facilidad de creacion: Se puede crear desde una base de datos externa, archivo RDD existente Cuando usar DataFrames? - Si poseemos semanticas de datos complicadas - Vamos a realizar tareas de alto nivel como filtros, mapeos, agregaciones, promedios o sumas - Si vamos a usar sentencias SQL-like.
     • Cassandra
       • software no SQL, que almacena como clave-valor
     • Lenguajes de programacion
     • AWS, Azure, GCP
     • etc

2. Como funciona?

   • El big data es la evolucion de grado de madurez de una empresa que inicialmente trabajó con Bussisnes Inteligent
   • como funciona big data

3. Lenguajes de programacion orientados a big data

   • lenguaje de programación orientado a big data
   • SQL
   • PYTHON
   • java
   • R
   • SCALA

4. ROLES

   • Data Engineer
   • Data Scientist
   • Data Expert
   • Data Governance
   • Data Architect
   • Data Analyst
   • Data Quility
   • Chief Data Officwe (CDO)