Fichas
Sin título
Fichas del conjunto (13)
- 1El pre procesamiento de datos es una etapa fundamental en el proceso de extracción de conocimiento.El objetivo principal es obtener un conjunto de datos final que sea de calidad
y útil para la fase de extracción de
conocimiento. - 2Este articulo tiene como objetivo introducir el pre procesamiento de datos para Big Data, así como enumera y enumerar y describir las tecnologías y herramientas de analítica de datos y las técnicas existentes para el pre procesamiento de datos para Big Data.El pre procesamiento de datos es una etapa esencial del proceso de
descubrimiento de informacion. - 3Esta etapa se encarga de la limpieza de datos, su integración, transformación y reducción para la siguiente fase de minería de datos.Big Data; El ritmo actual de generación de datos esta sobrepasando las
capacidades de procesamiento de los
sistemas. - 4Estos nuevos esquemas de procesamiento han de ser diseñados para procesar conjuntos de datos grandes, datos masivos, dentro de tiempo de computo razonable y en un rango de precisión adecuado.Google diseñó MapReduce en 2003 que
es considerada como la plataforma pionera para el procesamiento de datos
masivos. - 5En el paradigma MapReduce, existen dos fases: Map y Reduce.En la fase Map, el sistema procesa parejas clave- valor, ideas directamente
del sistema de ficheros distribuidos. - 6En la fase Reduce, los pares con claves coincidentes son enviadas al mismo nodo y finalmente fusionados usando otra función definida por el usuario.Apache Spark nace como una alternativa que intenta dar solución a las limitaciones
de MapReduce/hadoop. - 7Spark se ha convertido en una de las herramientas mas potentes y populares en el ecosistema del Big Data, habiendo demostrado ser mas eficiente que Hadoop en muchos casos de uso.Spark es perfecto para procesos iterativos donde un mismo dato es reutilizado
varias veces para el procesamiento de
algoritmos sobre grafos, etc. - 8Apache Flink; esta plataforma intenta llenar el hueco entre el procesamiento en tiempo real y el secuencial dejado por Spark.Flink; es una plataforma distribuida para flujos de datos que también puede
trabajar con datos secuenciales. - 9Flink muestra un buen rendimiento en el procesamiento de datos en sistemas de baja latencia.Esta biblioteca contiene algoritmos que dan soporte a tareas del proceso de
extracción del conocimiento como
clasificación, optimizacion, regresión, agrupamiento y pre procesamiento. - 10MLlib destaca como la herramienta que ofrece una mayor variedad de métodos de pre procesamiento.ofrece algoritmos para diversas tareas:
Discretización y normalización.
Extracción de atributos.
Selección de atributos.
Conversores para atributos.
Técnicas para el pre procesamiento
de texto. - 11fAST - MRMR es capaz de trabajar con conjuntos de datos masivos en ambas dimensiones; N de atributos y N de instancias.Redundancia acumulada: FAST-MRMR
desarrolla una aproximación voraz al
problema de cálculo de importancia de
atributos. - 12Re-utilización de cálculos previos: fast-mRMR almacena para su re-utilización algunos datos importantes cuando son calculados por primera vez.Procesamiento por columnas: en
fast-mRMR los datos iniciales
son transformados a una lista de columnas de manera que los calculos
entre atributos se tornan mas sencillos de realizar. - 13Smart Data son datos de calidad, prestos para ser utilizados en la extracción de conocimiento y la toma de decisiones inteligente basada en datos.El pre procesamiento de
datos es fundamental para convertir los datos almacenados en datos de calidad.
Información
- Descripción
- Fichas sobre Sin título, creado por Valentina Villar Rojas el 21/09/2017.
- Creado por
- Valentina Villar Rojas
- Visitas
- 0
- Valoración