Karteikarten
Ohne Titel
Karten in diesem Stapel (14)
- 1El pre procesamiento de datos es una etapa fundamental en el proceso de extracción de conocimiento.El objetivo principal es obtener un conjunto de datos final que sea de calidad y útil para la fase de extracción de conocimiento.
- 2Este articulo tiene como objetivo introducir el pre procesamiento de datos para Big Data, así como enumerar y describir las tecnologías y herramientas de analítica de datos y las técnicas existentes para el pre procesamiento de datos para Big Data.El pre procesamiento de datos es una etapa esencial del proceso de descubrimiento de informacion.
- 3Esta etapa se encarga de la limpieza de datos, su integración, transformación y reducción para la siguiente fase de minería de datos.La preparación de datos esta formada por una serie de técnicas que tienen el objetivo de inicializar correctamente los datos que servirán de entrada para los algoritmos de minería de datos.
- 4Las técnicas de reducción de datos se orientan a obtener una representación reducida de los datos originales.Big Data; El ritmo actual de generación de datos esta sobrepasando las capacidades de procesamiento de los sistemas.
- 5Estos nuevos esquemas de procesamiento han de ser diseñados para procesar conjuntos de datos grandes, datos masivos, dentro de tiempo de computo razonable y en un rango de precisión adecuado.Google diseñó MapReduce en 2003 que
es considerada como la plataforma pionera para el procesamiento de datos
masivos. - 6En el paradigma MapReduce, existen dos fases: Map y ReduceEn la fase Map, el sistema procesa parejas clave- valor, ideas directamente del sistema de ficheros distribuidos.
- 7En la fase Reduce, los pares con claves coincidentes son enviadas al mismo nodo y finalmente fusionados usando otra función definida por el usuario.Apache Spark nace como una alternativa que intenta dar solución a las limitaciones de MapReduce/hadoop.
- 8Spark se ha convertido en una de las herramientas mas potentes y populares en el ecosistema del Big Data, habiendo demostrado ser mas eficiente que Hadoop en muchos casos de uso.Spark es perfecto para procesos iterativos donde un mismo dato es reutilizado varias veces para el procesamiento de algoritmos sobre grafos, etc.
- 9Apache Flink; esta plataforma intenta llenar el hueco entre el procesamiento en tiempo real y el secuencial dejado por Spark.Flink; es una plataforma distribuida para flujos de datos que también puede trabajar con datos secuenciales.
- 10Flink muestra un buen rendimiento en el procesamiento de datos en sistemas de baja latencia.Esta biblioteca contiene algoritmos que dan soporte a tareas del proceso de extracción del conocimiento como clasificación, optimizacion, regresión, agrupamiento y pre procesamiento.
- 11MLlib destaca como la herramienta que ofrece una mayor variedad de métodos de pre procesamiento.ofrece algoritmos para diversas tareas:
Discretización y normalización.
Extracción de atributos.
Selección de atributos.
Conversores para atributos.
Técnicas para el pre procesamiento
de texto. - 12fAST - MRMR es capaz de trabajar con conjuntos de datos masivos en ambas dimensiones; N. de atributos y N. de instancias.Redundancia acumulada: FAST-MRMR
desarrolla una aproximación voraz al
problema de cálculo de importancia de
atributos. - 13Re-utilización de cálculos previos: fast-mRMR almacena para su re-utilización algunos datos importantes cuando son calculados por primera vez.Procesamiento por columnas: en
fast-mRMR los datos iniciales
son transformados a una lista de columnas de manera que los cálculos entre atributos se tornan mas sencillos de realizar. - 14Smart Data son datos de calidad, prestos para ser utilizados en la extracción de conocimiento y la toma de decisiones inteligente basada en datos.El pre procesamiento de
datos es fundamental para convertir los datos almacenados en datos de calidad.
Informationen
- Beschreibung
- Karteikarten am Ohne Titel, erstellt von Valentina Villar Rojas am 21/09/2017.
- Erstellt von
- Valentina Villar Rojas
- Aufrufe
- 0
- Bewertung