Los Datos

Los Datos

1. Pilares

   • En esta nueva era se cuenta con tres pilares fundamentales que permiten entender la realidad económica, social y tecnológica:  - Democratización de la información - Gran producción de datos (BIG DATA) - Gran procesamiento de información (IA)
   • Democratización de la información
     • Cada persona conectada es un endpoint aportando datos sobre si mismo y el entorno cercano y adicionalmente también es un consumidor de datos
   • Gran producción de datos (BIG DATA)
     • : : Se debe cumplir con lo siguiente para ser catalogado como Big Data: - volumen: Gibabytes y Terabytes  variedad: los datos deben ser heterogéneos - velocidad: rapidez para crearlos, almacenarlos , procesados y accedos 
   • Gran procesamiento de información (IA)
     • Algoritmos con la capacidad de procesar grandes volúmenes de datos.

2. Datificación

   • Acción de tomar personas, procesos y eventos y de hecho, aspectos del mundo y convertirlos en datos Está presente en empresas, negocios, entidades gubernamentales y en los ciudadanos 
   • Competitividad máxima
     • las empresas deben ser dinámicas y enfocarse en el cliente para alcanzar objetivos de ventas, crecimiento y proyección de su marca
     • Analitica de Datos
       • Procesos estadísticos y matemáticos básicos y avanzados que permienten a las organizaciones soportarse en datos para la toma de decisiones
       • Integración de los datos
       • Agilización: Respuestas acertadas en corto tiempo
       • Nuevo conocimiento
       • Identificación de fallas
         • Conocer el comportamiento de procesos y realizar simulación de diferentes escenarios
       • Proyecciones reales
       • Necesidades de usuario
       • Realidad financiera

3. Tipos de Datos

   • Estructura:  - Estructurados  - No estructurados  - Semiestructurados Tipo - Cuantitativo - Cualitativo Escala - nominal- ordinal- intervalo- tasas- discretos- continuos
   • Estructura
     • No estructurados
       • Video, archivos binarios, imágenes, audios, correos, chats, redes sociales, datos de sensores, textos y documentos, servidores, sitios web, registros de aplicaciones etc, estos se pueden administrar, pero se almacenan como un objeto en su formato original sin procesar y solo se manipulan cuando es necesario esto se llama schema-on-read
     • Semi estructurados
       • Su estructura se forma a través de metadatos, es decir datos que complementan información sobre otros tipos de datos o etiquetas de marcado. Sin emargo no cabe en las tablas de una base de datos relacional. Ejemplo una página web que consta de etiquetas html se observa cierta estructura, pero no se puede organizar en formato tabular.
     • Estructurados
   • Tipo
     • Datos Cualitativos
       • Son descriptivos y conceptuales. Pueden ser categorizados basándose en las características y rasgos, son subjetivos, interpretativos y exploratorios
     • Cuantitativos
       • Discretos
         • Los datos cuantitativos discretos son aquellos que representan cantidades contables, y toman valores específicos, usualmente enteros, sin posibilidad de valores intermedios entre ellos. Estos datos no admiten decimales o fracciones en su medición. Características:Contables: Puedes contar los elementos (ej. 1, 2, 3, 4, etc.).Valores específicos: Solo toman ciertos valores dentro de un rango, y no todos los valores posibles.Ejemplos:El número de hijos en una familia (0, 1, 2, 3…).El número de autos en un estacionamiento.El número de veces que un dado muestra el número 6.
       • Continuos
         • Un dato cuantitativo continuo es un tipo de dato numérico que puede tomar cualquier valor dentro de un rango continuo o intervalo. A diferencia de los datos cuantitativos discretos, que solo pueden tomar valores enteros o específicos, los datos continuos pueden incluir fracciones o decimales y pueden asumir infinitos valores posibles dentro de un intervalo dado. Características:Medible: Los datos continuos provienen de mediciones, no de conteos.Infinitos valores posibles: Un dato continuo puede tomar cualquier valor dentro de un rango, incluyendo decimales o fracciones. Por ejemplo, puedes tener un valor de 1.75, 1.751, 1.7513, y así sucesivamente.Ejemplos:Altura: Puede ser 170 cm, 170.5 cm, 170.55 cm, etc.Peso: Puede ser 65.0 kg, 65.25 kg, 65.256 kg, etc.Temperatura: Puede tomar valores como 23.1°C, 23.12°C, 23.123°C, y más.Tiempo: La duración de un evento puede ser 2.1 horas, 2.11 horas, o 2.111 horas, por ejemplo.
   • Escala
     • Se conoce la naturaleza de los datos en el sentido de deistibución y contenido.
     • Asociado Atributos Cualtitativos
       • Nominales
         • Símbolos sin relación ni orden  (Color de los Ojos)
       • Ordinales
         • Símbolos con relación y orden  (grande, mediano, pequeño)
     • Asociado a atributos
       • Intervalos
       • Racionales
         • Significado absoluto, salario 1,050,000
     • Tasas
     • Discretos
     • Continuos

4. Fuentes de información y adquisición de datos

   • Potencial de sobresalir
     • Quienes tengan acceso a los datos tienen un gran potencial de sobresalir en su medio
   • Recopilación de datos
     • Que se hace con datos corruptos? sé es capaz de identificarlos? Se requiere recopilación, medición y análisis de conocimientos precisos utilizando técnicas estándar validadas.
     • Cuantitativos
       • Se requieren de experimentos puntuales y captura de datos con algún tipo de instrumento de medición. Es común recoger datos que se encuentran ya disponibles online.
       • Uniform resource locator (read_table de Pandas)
       • Importar datos a Python (read_csv de pandas)
       • Aplication Programming Interface API
     • Cualitativos
       • Metos
       • Entrevistas
       • Datos usados
       • Encuestas
       • Observación
         • Técnica en la que un grupo recibe un enunciado de un problema y mientras se ocupan de responder las preguntas se observa su lenguaje corporal, gestos, expresiones vaciales, tono de voz, entre otros
       • Grupos Focales
         • Grupo de personas de diversos campos que se someten a una discusición grupal en presencia de un moderador

5. Repositorios representativos

   • https://github.com/awesomedata/awesome-public-datasets
     • Repositorios organizados por áreas de conocimiento
   • https://data.fivethirtyeight.com/
     • Bases de datos por temas
   • https://www.kaggle.com/datasets
     • Retos de analítica y ciencia de datos
   • https://archive.ics.uci.edu/
     • ML  datos para entrenamiento 
   • https://data.worldbank.org/
     • Desarrollo de paises y entidades
   • Datos de Gobierno
     • https://data.gov/
       • Gobierno de USA
     • https://datos.gov.co/
   • https://datasetsearch.research.google.com/
     • Buscador de datos de google
   • https://worlddata.ai/

6. Analitica depende de los datos

   • Las utilidades y fines son innumerables, pero dependen de los datos, estos regirán cómo se formará el modelo, las preguntas a ser respondidas posterior al análisis y cómo se presentarán los resultados
   • Diferentes fuenbtes de datos
     • Derivados de los mismos procesos o de bases de datos públicas que permien alimentar un modelo