Big Data

Big Data

1. Que és

   • Cuando hablamos de Big Data nos referimos a conjuntos de datos o combinaciones de conjuntos de datos cuyo tamaño (volumen), complejidad (variabilidad) y velocidad de crecimiento (velocidad) dificultan su captura, gestión, procesamiento o análisis mediante tecnologías y herramientas convencionales, tales como bases de datos relacionales y estadísticas convencionales o paquetes de visualización, dentro del tiempo necesario para que sean útiles.
     • Ventajas
       • Mejores decisiones
       • Soluciones diferentes
       • Nuevas oportunidades de negocio
       • Ahorro de costos
       • Visualización más dinámica de los datos
     • Aplicaciones
       • Turismos
       • Salud
       • Retail
       • Manufactura
       • Publicidad
       • Financiero
       • Tecnología
       • Científico

2. Carácteristicas

   • Volumen extremo de datos
     • se utiliza para describir una cantidad de datos equivalentes a tamaños definidos en terabytes, petabytes y exabytes, que han sido capturados en el transcurso del tiempo
     • Cantidad en terabytes, petabytes y exabytes, que han sido capturados en el transcurso del tiempo.
   • Variedad de tipo de datos
     • Datos en diferentes tipos de archivos, estructurados y no estructurdos
     • Datos pueden estar en diferentes tipos de archivos, estructurado y no estructurados
   • Velocidad de procesamiento
     • tiempo de resuesta
   • Veracidad de los datos
     • Los datos deben ser de fuente confiable

3. Importancia

   • Respuesta a preguntas que se hacen empresas que maneja gran cantidad de información

4. Herramientas

   • Bases de datos SQL
     • DB2, Oracle, SQLite
   • Base de datos NoSQL
     • MongoDB, Cassandra, Elasticsearch, Cloudant, Neo4j, Redis
   • Herramientas para procesamiento de datos
     • se usan herramientas tipo frameworks de código abierto (Open Source) tipo Hadoop, Apache Spark, Storm o Kafka.
       • Estos ecosistemas se caracterizan también por el lenguaje de programación para este caso los más utilizados son Python, Java, R y Scala.
   • Para analizar datos
     • formación en Machine Learning o Aprendizaje automático
     • reconocimiento de patrones, modelos predictivos, técnicas de clustering, Minería de datos, Procesamiento del Lenguaje Natural, Sentiment Analysis.
   • Para visualizar datos
     • Tableau, Weave, Datawrappper, Gephi, Infogram, Many Eyes, Piktochart, NodeXL, Chartblocks, d3, Thinglink, Axiis, QuickView y Google Fusion Tables.

5. Aplicaciones big data con Google Cloud Platform

   • Es una plataforma que ha reunido todas las aplicaciones de desarrollo web que Google estaba ofreciendo por separado, incluso las aplicaciones big data. Esta plataforma es utilizada para crear ciertos tipos de soluciones a través de la tecnología almacenada en la nube.
   • Engloban un conjunto de productos muy diversos de los que destacan el almacenado, la traducción de textos, la Inteligencia Artificial (IA), herramientas de visión artificial, Internet de las Cosas (IoT) y aplicaciones big data.
   • Paquete de aplicaciones
     • BigQuery es el almacén de datos empresariales sin servidor y de gran escalabilidad de Google.
     • Cloud Dataprep es un servicio de datos inteligente en Google Cloud Platform para explorar, limpiar y preparar datos estructurados y no estructurados dentro de BigQuery o Cloud Storage
     • Cloud Datalab permite generar modelos de aprendizaje para predecir el comportamiento futuro, estimar resultados desconocidos o identificar riesgos y oportunidades a partir del conjunto de datos actuales.