Fichas
Sin título
Fichas del conjunto (11)
- 1El procesamiento de datos: es una etapa fundamental en el proceso de extracción de conocimiento.El objetivo principal es obtener un conjunto de datos que sea de calidad y útil para la fase de extracción de conocimiento.
- 2Varias plataformas para el procesamiento a gran escala (spark o hadoop) han intentado afrontar la problemática del Big Data en los últimos años.Estas plataformas requieren algoritmos escalables que den soporte a las tareas mas relevantes de la analítica de datos masivos.
- 3Este articulo tiene como objetivo introducir el pre procesamiento de datos para Big Data, así como enumerar y describir las tecnologías y herramientas de analítica de datos y las técnicas existentes para el procesamiento de datos para Big Data.El pre procesamiento de datos es una etapa esencial del proceso de descubrimiento de informacion.
- 4Esta etapa se encarga de la limpieza de datos, su integración, transformación y reducción para la siguiente fase de minería de datos.La preparación de datos esta formada por una serie de técnicas que tiene el objetivo de inicializar correctamente los datos que servirán de entrada para los algoritmos de minería de datos.
- 5Las técnicas de reducción de datos se orientan a obtener una representación reducida de los datos originales.BIG DATA
El ritmo actual de generación de datos esta sobrepasando las capacidades de procesamiento de los sistemas. - 6Estos nuevos esquemas de procesamiento han de ser diseñados para procesar conjuntos de datos grandes, datos masivos dentro de tiempo de computo razonable y en un rango de precisión adecuado.Google diseñó MapReduce en 2003 que
es considerada como la plataforma pionera para el procesamiento de datos masivos. - 7En el paradigma MapReduce, existen dos fases: Map Reduce, en la fase Map el procesa parejas clave- valor, leídas directamente del sistema de ficheros distribuidos.En la fase Reduce , los pares con claves coincidentes son enviadas al mismo nodo y finalmente fusionados usando otra función definida por el usuario.
- 8Apache Spark nace como una alternativa que intenta dar solución a las limitaciones de MapReduce/Hadoop.Spark se ha convertido en una de las herramientas mas potentes y populares en el ecosistema del Big Data, habiendo demostrado ser mas eficiente que Hadoop en muchos casos de uso.
- 9Spark es perfecto para procesos iterativos donde un mismo dato es reutilizado varias veces para el procesamiento de algoritmos sobre grafos, etc.Apache Flink ; esta plataforma intenta llenar el hueco entre el procesamiento en tiempo real y el secuencial dejado por spark.
- 10Flink muestra un buen rendimiento en el procesamiento de datos de en sistemas de baja latencia.Esta biblioteca contiene algoritmos que dan soporte a tareas del proceso de extracción del conocimiento como clasificación, optimizacion, regresión, agrupamiento y pre procesamiento.
- 11MLlib destaca como la herramienta que ofrece una mayor variedad de métodos de pre procesamiento.Est Conversores para atributosa biblioteca de software
ofrece algoritmos para diversas tareas:
Discretización y normalización
Extracción de atributos
Selección de atributos
Información
- Descripción
- Fichas sobre Sin título, creado por Valentina Villar Rojas el 21/09/2017.
- Creado por
- Valentina Villar Rojas
- Visitas
- 0
- Valoración