Ciencia de Datos Plaza

Ciencia de Datos Plaza

1. BIG DATA

   • Se trata de cantidades de datos a gran escala que sobrepasan la capacidad del software convencional para ser capturadas, procesadas y almacenadas en un tiempo razonable.
     • Esta cantidad se duplica cada dos años. Se han creado infraestructuras, tecnologías y servicios para poder gestionar esta gran cantidad de información
     • Aunque no son solo son datos masivos, también es todo a la capacidad de poderlos explotar para extraer información y conocimiento de valor. Una vez recogida y almacenada la información, se deben extraer indicadores que puedan ser útiles para tomar decisiones, incluso en tiempo real.
     • 5 "V" de Big Data
       • VOLUMEN: La cantidad de datos se considera “Big” cuando su almacenamiento, procesamiento y explotación empieza a ser un reto para una organización.
       • VELOCIDAD: Es el ritmo a los cuales los datos se están generando, que suele aumentar constantemente
       • VARIEDAD: Gran diversidad de formatos distintos (Clave parala riqueza de posibilidades y aumenta la complejidad de almacenamiento, procesamiento y análisis).
       • VERACIDAD: Los datos tiene que ser confiables
       • VALOR: Datos y sus análisis tiene que generar un beneficio para las empresas
   • TIPOS
     • Procedencia:
       • -Web y Redes Sociales. -Machine-to-Machine (M2M). -Transacciones. -Biométricos.
       • Generados por personas: -Correos electrónicos. -Servicios de mensajería. -Grabaciones de llamadas.
       • Generados por organizaciones tanto públicas como privadas: -Medioambientales. -Estadísticas gubernamentales sobre población y economía. -Historiales clínicos electrónicos.
     • Estructura:
       • -Estructurados: datos que tienen definidos su formato, tamaño y longitud, como las base de datos relacionales.
       • Semiestructurados: datos almacenados según una cierta estructura flexible: -XML. -HTML. -JSON. -Hojas de cálculo (CSV, Excel).
       • No estructurados: datos sin formato específico: -Ficheros de texto (Word, PDF, correos electrónicos) -Contenido multimedia (audio, vídeo, o imágenes).
   • Uso en empresas:
     • -Dos veces más probabilidades de obtener un rendimiento financiero superior que la media de sus industrias. -Cinco veces más probabilidades de tomar decisiones mucho más rápido que sus competidores. -Tres veces más probabilidades de ejecutar las decisiones según lo previsto. -El doble de probabilidades de tomar decisiones basadas en datos.
   • Ejemplos de utilización:
     • Marketing: segmentación de clientes. -Deportes: optimización del rendimiento. Sensores, smart watches -Salud pública: decodificación de material genético para comprender mejor las enfermedades y encontrar nuevos tratamientos. -Nuevas tecnologías: desarrollo de dispositivos autónomos. Coches inteligentes. -Seguridad: detección y prevención de crímenes. Localizar a criminales o prevenir actividades delictivas como ataques cibernéticos
   • Herramientas
     • Hadoop: Herramienta open source para gestionar, analizar y procesar datos. Implementa MapReduce (soporte a la computación paralela). -NoSQL: Sistemas que no usan el estándar de consulta SQL -Spark: Para escribir aplicaciones en Java, Python, R y SQL sobre Hadoop -Storm: Sistema de computación en tiempo real distribuido de código libre. -Hive:Facilita la lectura, escritura y administración de grandes conjuntos de datos con consultas SQL sobre Hadoop. -R: Análisis estadísticos e integración con distintas bases de datos.
   • Retos:
     • -Tecnología: Herramientas como Hadoop: No son fáciles de administrar y requieren profesionales de datos especializados además de una mantenimiento costoso. -Escalabilidad: un proyecto de Big Data puede crecer a gran velocidad y signar recursos para su continuidad. -Profesionales escasos. :Datos: Analizar los datos apropiados para alcanzar los objetivos de la empresa. -Calidad de datos -Costes: Dimensionarlos correctamente -Seguridad: Asegurar el acceso a los datos y Autenticación de usuarios, restricciones de acceso, cifrado de datos en tránsito o almacenados y cumpliendo las principales normativas de protección de datos.

2. Se trata del estudio de la extracción generalizada de conocimiento a partir de información, de datos.

   • Aunque parezcan iguales, ya que las dos extraen información y la interpretan, la ciencia de datos y la estadística no son iguales.
     • El enfoque de Data Science es más global y su misión es la estracción de conocimientos para predecir y conocer.
       • LA ciencia de datos es multidisciplinaria, incluye terorías y técnicas de campos como las matemáticas, la estadística y las tecnologías de información, además de procesamiento de señales, modelos probabilísticos, machine learning, aprendizaje estadístico, programación, ingeniería de datos, reconocimiento de patrones, visualización, modelización de la incertidumbre, data warehousing y computación de altas prestaciones.
         • Científico de datos:
           • Estudia las distintas fuentes de información disponibles. Extrae datos de diferentes formatos. Comprender los datos, crear algoridmos, comunicar sus resulatados con el objetivo de tener un mayor conocimiento que ayude a laa empresa.
             • Este ha de conocer bases de datos relacionales (SQL), no relacionales (BIG DATA, NoSQL), Lenguajes de programación (R,Python), Machine leraning y Programación distribuida, de altas prestaciones (Hadoop)

3. MACHINE LEARNING

   • Se trata del diseño y estudio de las herramientas informáticas que utilizan la experiencia pasada para tomar decisiones futuras, estudia programas que pueden aprender de los datos. Su objetivo es generalizar, o inducir una regla desconocida a partir de ejemplos donde esa regla es aplicada. Combina conceptos y técnicas de diferentes áreas del conocimiento, como las matemáticas, estadísticas y las ciencias de la computación.
   • Aplicaciones:
     • -Motores de búsqueda. -Diagnósticos médicos. -Detección de fraude en el uso de tarjetas de crédito. -Análisis del mercado de valores. -Clasificación de secuencias de ADN. -Reconocimiento del habla y del lenguaje escrito. -Juegos y robótica.
   • Tipos de aprendizaje automático
     • Supervisado.
       • -En los problemas de aprendizaje supervisado se enseña o entrena al algoritmo a partir de datos que ya vienen etiquetados con la respuesta correcta. Cuanto mayor es el conjunto de datos más puede el algoritmo aprender sobre el tema. Una vez concluido el entrenamiento, se le alimenta con nuevos datos, ya sin las etiquetas de las respuestas correctas, y el algoritmo de aprendizaje utiliza la experiencia pasada que adquirió durante la etapa de entrenamiento para predecir un resultado.
     • No supervisado
       • -En los problemas de aprendizaje no supervisado el algoritmo es entrenado usando un conjunto de datos que no tiene ninguna etiqueta. Nunca se le dice al algoritmo lo que representan los datos.• La idea es que el algoritmo pueda encontrar por si solo patrones que ayuden a entender el conjunto de datos.
     • Por refuerzo
       • -En los problemas de aprendizaje por refuerzo, el algoritmo aprende observando el mundo que le rodea. • Su información de entrada es el feedback o retroalimentación que obtiene del mundo exterior como respuesta a sus acciones. Por lo tanto, el sistema aprende a base de ensayo-error.
   • Pasos para construir un modelo de ML
     • Recolectar los datos, Preprocesarlos, Explorarlos, entrenar el algoritmo, Evaluar el algoritmo y utilizar el modelo.

4. DEEP LEARNING

   • Es un Subcampo de Machine lLarning
   • En Deep Learning, al contrario que machine Learning, no hay variables de entrada xi,estas las tiene que encontrar el propio modelo.
   • Rendimiento
     • No se estanca a partir de un cierto número de datos, cuantos más, mejor
   • Utiliza los mismos tipos de aprendizaje que Machine Learning
   • Tiene el mismo funcionamiento que Machine Learning, Redes Neuronales.