Flashcards
4. Ciencia y Análisis Fundamentales de Big Data
Cards in this deck (43)
- 1Ciencia de DatosConjunto general de principios, procesos y técnicas que permiten extraer conocimientos a partir de grandes cantidades de datos. Los datos son analizados para obtener y entender información en forma de patrones y correlaciones generalizables
- 2ModeloRepresentación generalizada de las relaciones entre los atributos de los datos expresada como una ecuación matemática/stadística de un conjunto de reglas
- 3Producto de datosEs una instancia del modelo construido durante el análisis de datos que existe en forma de una aplicación
- 4EstadisticaImplica extraer científicamente una muestra (subconjunto de un dataset) de una población (dataset completo) y con el uso de la teoría de la probabilidad hacer predicciones
- 5Estadística PredictivaDescripción numérica de los datos mediante técnicas de integración y visualización para la interpretación de datos y formulación de hipótesis
- 6Estadística InferencialVa mas allá de la descripción de datos y permite hacer deducciones sobre la población con base a la muestra estudiada
- 7Datasets de Gran VolumenDataset altos: numerosas filas (contienen más ruido y valores atípicos) requieren limpieza
Dataset Anchos: numerosas columnas (mas complejos) contienen mas caraterísticas - 8Datasets altamente velocesDatos recibidos a un ritmo acelerado debido a la escala del proceso subyacente de generación de datos. Regularmente son solo almacenados para después analizarlos por lotes
- 9Dataset de gran variedadInclusión de datos estructurados, semiestructurados y sin estructurar (analítica de texto y de sentimientos)
- 10Datasets Altamente VeracesLo datasets voluminosos pueden generar ruido que afecta la veracidad de los datos
- 11Datasets de Gran ValorEs aquel que es altamente veraz, contiene información útil para la empresa y puede ser analizado en un tiempo significativo a través de una técnica sencilla
- 12Elementos de Análisis de Big Data- Análisis Exploratorio de Datos
- Estadística
- Análisis Confirmatorio de Datos
- Visualización - 13EDAComprende la extracción de atributos cuantitativos de los datos.
Garantiza la minería de datos dirigida a disminuir la cantidad de datos mediante la selección de atributos relevantes
- Resúmenes numéricos
- Resúmenes gráficos - 14Resúmenes NuméricosTécnicas de estadística descriptiva
- Medidas de tendencia central: Media, mediana, moda
- Medidas de Variación o Dispersión: Rango, Rango intercuartil, Varianza, Desviación estándar
- Medidas de asociación: Correlación y Covarianza - 15Resúmenes GráficosUtilizan técnicas visuales para resumir datos
- Gráfico de barras
- Gráfico de líneas
- Histograma
- Gráfico cuantil - cuantil - 16Análisis CuantitativoSe categorizan según la cantidad de variables implicadas
- Análisis Univariante: comprender el tipo de distribución e identificar datos atípicos (Medidas de tendencia central, medidas de disperción)
- Análisis bivariante: Medidas de asociación, tabulación cruzada, Regresión
- Análisis multivariante: regresión lineal múltiple. - 17Tipos de Variables- Discretas: cuyo valor se obtiene mediante un conteo
- Continuas: cuyo valor se obtiene de una medición
- Nominales: Valores que son contados pero no ordenados o medidos
- Ordinales: Valores que son contados, ordenados pero no medidos
- Binarias: dos categorías contrarias
- Cuantitavas: son contadas o medidas
- Cualitativas: son contadas pero no medidas
- Independientes: no dependen de otra variable pero sin influyen en otras
- Aleatoria: puede abarcar un rango de valores de acuerdo a una probabilidad - 18Inferencia EstadísticaProceso de extraer conclusiones a partir de datos aleatorios, procesos estocásticos
- 19Medidas de Tendencia Central- Media: promedio
- Mediana: valor medio de un conjunto de valores ordenados impares
- Moda: el valor mas frecuente entre todos los valores - 20Medidas de Variación o Dispersión- Rango: valor maximo menos valor minimo
- Rango intercuartil: divide los datos ordenados entre un numero de partes de igual tamaño -> Q3 - Q1
- Desviación estándar
- Varianza
- Sesgo: qué tan lejos está el promedio de los múltiples valores de un estimador - 21DistribucionesConjunto de valores que muestra la velocidad con que se repiten o posibilidad de repetición
- De frecuencia: numero de veces que se repite (barras)
- De probabilidad: repetición de un evento o una variable
- De muestreo: distribución de probabilidad en una estadística de muestreo
- Normal - 22Distribución de FrecuenciaCorresponde al numero de veces que se repite el valor de una variable
- 23Distribución de Probabilidadmuestra la probabilidad de cada evento o el valor de una variable
- 24Distribución de MuestreoEs la distribución de probabilidad para una estadística de muestreo
- 25SesgoNivel de a simetría de una distribución medida con respecto al valor de la media
- 26Distribución NormalLa mayoría de los valores se encuentran bastante cerca del valor de la media
- 27Medidas de AsociaciónCuantifican la relación entre dos variables en un dataset
- Correlación
- Covarianza - 28CorrelaciónGrado de asociación lineal entre dos variables, medido en un coeficiente de correlación.
La presencia de una correlación no representa causación - 29CDA - Análisis Confirmatorio de DatosConsiste en evaluar si una afirmación o proposición es significativa, y no esta basada en el azar
- 30Hipotesis NulaLas observaciones hechas usando los datos de la muestra se deben solo al azar
- 31Error Tipo ICuando se rechaza Ho o hipotesis nula a pesar de ser verdadera
- 32Error tipo IICuando se acepta Ho a pesar de ser falsa
- 33Gráfico de BarrasUtilizado para visualizar valores de variables discretas
- 34Gráfico de LíneasUtilizado para visualizar datos númericos ordinales
- 35HistogramaUtilizado para visualizar valores de variables continuas que han sido agrupados en intervalos (frecuencias)
- 36Poligonos de FrecuenciasUtilizados para visualizar las distribuciones continuas
- 37Diagrama de DispersiónPermite visualizar la asociación entre dos variables y datos atípicos
- 38Diagrama de TallosTécnica de análisis de una distribucion para visualizar datasets o muestras pequeñas
- 39Técnicas Fundamentales de Big Data- Predicción: Regresión lineal
- Clasificación: K- vecinos mas cercanos
- Agrupamiento: K-medias - 40Regresión linealPredecir los valores de una variable continua dependientes con base en los valores de una variable independiente
dependiente=respuesta
independiente=explicativa - 41Regresión lineal múltipleUtiliza mas de dos variables explicativas a la ve para predecir la variable de respuesta
- 42Clasificación: k-NNTécnica de clasificación "de caja negra" en la que las instancias son clasificadas de acuerdo con su similitud, usando un numero de ejemplos (k) definidos por el usuario (vecinos mas cercanos)
- 43Agrupamiento: k-mediasClasificación no supervisada, puesto que las instancias sin etiquetar se clasifican de acuerdo a las propiedades de los grupos homogeneos