Data Science

Page 1

Insight: producto de realizar un analisis y preguntas sobre los datos. Esta se utiliza para tomar una decision (accion)

5 pasos en el proceso de Data Science:

1. Adquirir los datos

2. Preparar los datos (limpiar y visualizar datos)

3. Analizar los datos

4. Generacion de informes (generacion de graficos)

5. Presentar los informes a los usuarios que toman decisiones

Los datos pueden venir de distintas fuentes

1. Bases de datos (SQL y no relacionales)

2. Archivos de texto

3. Alimentacion en vivo (sensores, twitter, clima, etc)

Limpiar los datos implica:

1. Remover outliers

2. Remover valores faltantes

3. Rellenarlos

Visualizacion:

1. Para un mas rapido y mejor entendimiento de los datos

Algoritmos de analisis:

1. Aprendizaje supervisado

2. Aprendizaje no supervisado

3. Aprendizaje semi supervisado

Seleccion de caracteristicas: Seleccionar atributos que tienen el mayor impacto en el problema que se quiere resolver. Hace mas facil de interpretar al modelo, el modelo se entrena mas rapido

Clustering: agrupar registros segun similitud

Page 2

Proceso de Data Science:

1. Adquirir datos

Base de datos SQL

Archivos de texto

Sitios Web (Web Services)

Bases de datos NoSQL

2. Preparar Datos

a. Explorar los datos: para entenderlos

Graficos: correlaciones, tendencias, outliers

Estadistica: media, mediana, moda, rango, desviacion estandar

Graficos: histograma, grafico de linea, boxplot, grafico de dispersion

b. procesar datos: limpiar y transformarlos

limpiar: datos inconsistentes, duplicados, faltantes, invalidos, outliers

que hacer? remover faltantes, unir duplicados, estimar invalidos, remover outliers

transformar: scaling (cambiar rango de valores), transformacion (reducir variacion de los datos), seleccionar caracteristicas (remover, combinar, agregar), reducir dimensionalidad (buscar conjunto con mas variacion de los datos), manipulacion de datos (datos en el formato correcto)

3. Analizar datos: utilizar una tecnica de analisis sobre los datos para obtener un modelo

tecnicas de analisis:

clasificacion: predecir categoria de los datos de entrada (discreto)

regresion: predecir un valor real (continuo)

clustering: organizar items similares en grupos

asociaciones: determinar la fuerza con la que se relacionan dos variable

validar el modelo: evaluar que tan bien lo hace el modelo con datos que se usaron para construirlo (dividir los datos en un conjunto para construir el modelo y en otro para validarlo)

regresion y clasificacion: verificar que el dato predecido es similar al correcto

clustering: revisar que los grupos tengan sentido para la aplicacion

4. Reportar

herramientas de visualizacion de graficos utilizados para explorar datos

5. Accion: evaluar los resultados de la accion