Por qué el Big Data no es suficiente

Por qué el Big Data no es suficiente

1. Existe una creciente creencia de que los algoritmos sofisticados pueden explorar grandes bases de datos y encontrar relaciones independientes de cualquier hipótesis preconcebida. Pero en los negocios que involucran investigación científica e innovación tecnológica, los autores argumentan que este enfoque es erróneo y potencialmente riesgoso

   • "GRANDES DATOS
     • El éxito de compañías como Google Inc. y Facebook Inc
       • han transformado el mundo de la publicidad y las redes sociales mediante la aplicación de minería de datos y matemáticas
         • Los algoritmos sofisticados se pueden utilizar para explorar grandes bases de datos y encontrar relaciones interesantes independientemente de cualquier teoría o creencia previa. La suposición es: cuanto más grandes son los datos, más poderosos son los resultados
           • La minería de datos ha permitido enormes avances en inteligencia de negocios y en la comprensión del comportamiento del consumidor

2. Persiguiendo la investigación basada en datos

   • Cuidado con las correlaciones espurias en las búsquedas abiertas
     • El uso de grandes conjuntos de datos para apoyar la prueba de teorías y el desarrollo de nuevas ideas no es nuevo,
       • Lo nuevo es la búsqueda abierta de relaciones y correlaciones sin tener un objetivo claro en mente, algo que el director de una gran organización de genómica asiática con sede en China nos describió como "dejar que hablen los datos
         • Sea consciente de los tamaños de muestra y muestra variación al minar las correlaciones
           • Es común recopilar muchos puntos de datos y variar una pequeña cantidad de variables independientes
             • A medida que se expande el número de dimensiones, la necesidad de una variación suficiente en el tamaño de la muestra también es importante. Estadísticamente, una baja variación puede conducir a estimaciones sesgadas y limitar el poder predictivo, especialmente en las colas de la distribución.
   • Tenga cuidado con los sesgos sistemáticos en la recopilación de datos.
     • Una precaución adicional implica el potencial de sesgos sistemáticos en la medición, lo que puede conducir a resultados espurios
       • las variaciones en las condiciones experimentales o de medición pueden producir datos que no son comparables.
         • utilizan técnicas de normalización estandarizadas para eliminar las distorsiones

3. El papel de la generación y modelos de hipótesis

   • Grandes conjuntos de datos científicos han existido durante años. Los investigadores farmacéuticos, por ejemplo, han utilizado durante mucho tiempo tecnologías como el cribado de alto rendimiento y la química combinatoria para sintetizar grandes cantidad de compuestos
     • Tener hipótesis ayuda a los investigadores a detectar y explotar experimentos naturales.
       • los gerentes pueden diseñar estrategias de recolección de datos que exploten la variación natural en los datos que se adquieren, sin tener que diseñar explícitamente y ejecutar experimentos separados.

4. Oportunidades para mejorar modelos

   • creemos que combinar la investigación basada en datos con los enfoques tradicionales brinda a los gerentes oportunidades para refinar o desarrollar modelos nuevos y más potentes
     • Fortalecimiento de modelos existentes
       • Mediante el uso de teorías y modelos establecidos, los gerentes pueden diseñar estrategias de recolección de datos que exploten la variación natural en los datos que se adquieren, sin tener que diseñar explícitamente y ejecutar experimentos separados.
         • Crear nuevos modelos
           • El modelado numérico de sistemas físicos se ha utilizado en una amplia gama de disciplinas, incluidas la aerodinámica, la sismología, la ciencia de los materiales y la medicina, y ha desempeñado un papel importante en el diseño de productos industriales, estructuras de ingeniería civil, dispositivos médicos y más.
             • Creemos que esa sinergia también será posible en otras áreas, especialmente en áreas como la genómica y las ciencias de la vida, donde aún se desconocen tantas dimensiones. En lugar de que Big Data y el modelado trabajen por separado, vemos que se complementan entre sí: los modelos ayudarán a definir qué datos recopilar, y los datos recopilados se utilizarán para refinar modelos y mejorar sus diseños.