Técnicas de preparación de datos

Técnicas de preparación de datos

1. Estructura de datos

   • Es fundamental realizar una presentación adecuada de los datos al modelo, siguiendo una estructura tabular que permita relacionar instancias o ejemplos (filas) con características (columnas)
   • Tipo de Estructuras en Python
     • listas y diccionarios
       • tipos de estructuras de datos nativa de Paython 
       • Listas
         • tipo de dato más versatil, compuesto por secuencia ordenada de información accesible por indice.. se crea por [], el orden de los elementos es concecutivo y seprado por ","
       • Diccionario
         • Es útil cuando el interes es guardar dtos con un elemento de indice específico, usan un par de datos (clave y valor) en lumgar del indice númérico por defecto. La creación se realiza con {}, se necesita especificar cada para clave y valor separados por dos puntos ":" y la secuencia se separa por "," Ejemplo {'jack':100,'bob':2020}
     • Cadena de caracteres o strings
       • Es un tipo de dato complementario pero va en otra dirección más que en el almacenamiento estructurado de datos.
   • Tipos de datos Librería Numpy
     • Array n dimensiones
   • Tipo Dato en Librería Pandas
     • Dataframe
       • Son una matriz o tabla de SQL u hoja Excel donde se tiene arreglo de columnas con nombres semejante a los diccionarios Se pueden crear de diferentes formas: series pandas (semejante a las listas), diccionarios Python o documentos Excel o SQl

2. ELT / ETL

   • Para poder construir datasets que tengan forma estructurada, se utilizan los procesos de Extracción,  Transformación  y Carga  y los procesos de extracción carga y transformación (ETL / ELT), estos últimos aparecen como un complemento para facilitar el procesamiento de los datos en el mismo motor de BD donde son cargados  Dentro de los beneficios están: - Combinación de diferentes fuentes de datos -  
   • Retos
     • Procesamiento datos tiempo real
     • Aumentar velocidad procesamiento
     • Integración nuevas fuentes datos (videos, imágenes etc.)
   • Extracción
     • API
       • Tres componentes
         • Solicitud
         • Procesamiento
         • Respuesta
       • REST Transferencia Estado Representacional
       • Llamadas REQUEST
         • Llamadas del tipo PORT, GET, PUT Y DELETE que son métodos para modificar recursos en el objeto
   • Transformación
     • aplicar normas necesarias del negocio a los datos para conumplir los criterios de la analítica. si los datos no se limpian, resulta más complicado aplicar las reglas de negocio y de analítica La transformación existe porque se presentan diferentes dificulatedes en la integración de los datos
     • Estandarización de datos
     • Conversión de caracteres y manejo de codificación
     • Conversión de Unidades de medida
     • Reglas de validación de datos
     • Campos obligatorios no pueden estar en blanco
     • Limpieza de datos
       • Completar datos Eliminar nulos Eliminar datos redundantes Agrupaciones de datos
     • Normalización de datos con tecnicas estadísticas
     • Nueva versión mejorada de los datos usando estadísiticas
     • Agrupar y clasificar elementos en categorías
   • Carga
     • Tipos de Carga
       • Carga inicial
       • Carga Incremental
       • Actualización Completa
     • Verificación de los datos
       • Claves no nulas
       • Probar las vistas de modelado
       • Comprobar valores combinados y las medidas
       • Verificar dimensiones y tabla historial
       • Consultar informes tabla hechos y dimensiones

3. Analítica de datos

   • Aplica diferentes técncias estadísticas y de modelamiento a un conjunto de datos para encontrar información que conlleve a una mejora y al entendimiento más profundo de los procesos, como también a la toma de decisiones con base en esos descubrimientos, realizando proyecciones que lleven a las organizaciones a conocer su posible posición en futuro próximo o lejano
   • Descriptiva
   • Diagnostica
   • Predictiva
   • Prescriptiva