Ciclo de vida de los datos

Ciclo de vida de los datos

1. Fases típicas del ciclo de vida de los datos

   • Captura
     • Recopilar todos los datos que se generan dentro de un proceso
       • Mediante dos mecanismos básicos complementarios
         • Creación
         • Extracción
           • Estrategias de captura de datos existentes
             • Acceso a los datos mediante un repositorio.
             • Acceso mediante una APi
             • Manipulación de los parámetros de busqueda
             • Captura de los datos mediante scraping
             • Extracción de datos de documentos de texto.
             • Formularios
             • Crowdsourcing
             • Datos cualitativos
   • Almacenamiento
     • Los datos capturados son almacenados en un formato que permita su posterior manipulación.
       • En función de su objetivo se puede hablar de
         • Ficheros simples
           • Son almacenados en ficheros de acuerdo con uno o más criterios.
         • Bases de datos
           • Estructura mas o menos compleja que permite representar los datos de acuerdo con su naturaleza, teniendo en cuenta las relaciones entre todos los elementos que los componen.
             • Se suele hablar de
               • BD Relacionales
               • BD No relacionales
             • Es posible construir sistemas que optimizan ciertas operaciones como:
               • Data warehouse (Almacenes de datos)
                 • Optimizar las consultas y generar informes agregando y resumiendo datos de diferentes fuentes.
               • DataMarts (Subconjunto de un almacén de datos)
                 • Dar soporte a un area especifica, con unos objetivos concretos.
     • Esquema de 5 Estrellas (Tim Berners-Lee)
       • Primer nivel: Datos publicados en formatos que no permiten su extracción directa
       • Segundo nivel: Permite su manipulación pero mediante software que requiere licencia.
       • Tercer nivel: Utiliza formatos no propietarios que también permiten la manipulación del dato.
         • Cuando se trabaja con datos jerárquicos se suele utilizar un formato plano como CSV.
         • Cuando se trabaja con datos jerárquicos se suele trabajar con formatos que permitan representar dichas jerárquias como:
           • JSON (JavaScript Notation)
           • XML (Extensible Markup Language)
           • RDF (Resource Description Framework)
       • Cuarto - Quinto nivel: Tiene como objetivo alcanzar lo que se conoce como linkeddata.
   • Preprocesado
     • Preparar los datos para su análisis posterior
       • Operaciones típicas de esta etapa
         • Fusión
         • Selección / Filtrado
         • Conversión
         • Limpieza
         • Agregación
         • Creación de nuevas variables - Indicadores
       • Estas operaciones de muchas formas diferentes, en función de la naturaleza de los datos y de las herramientas disponibles. Las mas habituales son:
         • Mediante una base de datos
         • Mediante herramientas especificas
         • Mediante lenguajes de programación
   • Análisis
     • Crear uno o mas modelos que expliquen cómo son los datos y sus características principales.
     • En este punto ya se piensa en los datos como en una tabla 2D que contiene una fila por cada elemento del cual se tienen datos en forma de atributos, uno en cada columna.
       • En general, se suela hablar de N datos de d dimensiones.
     • Una vez que se dispone de un conjunto de datos se puede proceder con el análisis; y en función de sus naturaleza y de los objetivos que se persigan estos pueden ser:
       • Análisis estadístico descriptivo
       • Análisis estadístico inferencial.
       • Extracción de características
       • Reducción de la dimensionalidad
       • Modelos supervisados
       • Modelos No supervisados
       • Visualización
     • El Análisis no se limita a la construcción de modelos, sino que debe también explicar el resultado obtenido, mediante una interpretación del modelo y su puesta en contexto con respecto al problema original.
   • Visualización
     • La visualización de datos puede convertirse en la interfaz de navegación de los propios datos, permitiendo ciertas operaciones básicas.
     • Es necesario presentar los datos resumidos, ofrecer las opciones de zoom y filtro y finalmente, añadir los detalles necesarios si estos son solicitados por el usuario.
     • Opciones de visualización disponibles para los usuarios según Shneiderman
       • Overview
       • Zoom
       • Filter
       • Detail on demand
       • Relate
       • History
       • Extract
   • Publicación
     • Publicar el resultado de las fases anteriores en forma de nuevos datos, de manera que sea posible para terceros poder utilizarlos.
     • Concretamente resulta muy ventajoso compartir los datos a través de un repositorio digital de forma que se aseguren dos objetivos complementarios:
       • Preservación
         • Proceso que asegura la disponibilidad de los datos en un largo periodo de tiempo
       • Diseminación
         • Tiene como objetivo asegurar la reutilización de dichos datos, de forma que sea posible encontrarlos, acceder a ellos y entender su estructura y formato.
     • Idealmente el repositorio debería incorporar una API para que sea factible desarrollar servicios y aplicaciones que puedan acceder a los datos deseados mediante una consulta bien especificada, sin intervención humana.