Flashcards
Fichas Big Data
Cards in this deck (8)
- 1Las tecnologías como Internet generan datos a un ritmo exponencial gracias al abaratamiento y gran desarrollo del almacenamiento y los recursos de red.Hemos entrado en la era del Big Data o datos masivos que es definida con la presencia de gran volumen, velocidad variedad en los datos, tres características que fueron introducidas por D. Laney en el año 2001 con el requerimiento de nuevos sistemas de procesamiento de alto rendimiento, nuevos algoritmos escalables.
- 2Los datos deben ser lo que se dice, es importante la calidad de datos. Los datos deben ser escalables para su procesamiento. Los datos deben estar disponibles y preparados para adaptarse al entorno cambiante de los negocios.Características que definen los
datos masivos (Big Data).
Volumen, Velocidad, Variedad, Valor y Veracidad. - 3El procesamiento de datos es una etapa fundamental en el proceso de extracción de conocimiento, cuyo objetivo principal es obtener un conjunto de datos final que sea de calidad y útil para la fase de extracción de conocimiento.Preprocesamiento de datos
Esta etapa se encarga de la limpieza de datos, su integración, transformación y reducción para la siguiente fase de minería de datos - 4Big Data: El ritmo actual de generación de datos está sobrepasando las capacidades de procesamiento de los sistemas actuales en compañías y organismos públicos.Google diseñó MapReduce en 2003 [8] que
es considerada como la plataforma pionera para el procesamiento de datos masivos, así como un paradigma para el procesamiento de datos mediante el particionamiento de ficheros de datos. - 5Apache Spark nace como una alternativa que intenta dar solución a las limitaciones de MapReduce/Hadoop. Spark se ha convertido en una de las herramientas más potentes y populares en el ecosistema del Big DataHerramientas para la analítica de
datos masivos:
Mahout: ofrece implementaciones
basadas en Hadoop MapReduce
para varias tareas de analítica de
datos como el agrupamiento, la clasificación o el filtrado colaborativo. - 6MLlib: Es una biblioteca de aprendizaje automático que contiene varias utilidades estadísticas y algoritmos de aprendizaje. FlinkML: Es la biblioteca nativa para análisis distribuido de datos de Flink. FlinkML incluye algoritmos escalables para tareas como la clasificación, el agrupamiento, el preprocesamiento de datos y la recomendación.H2O: Es una plataforma de código
abierto para análisis Big Data. H2O destaca
por su aproximación al deep learning,
y por sus implementaciones iterativas. - 7Algoritmos de preprocesamiento de datos masivos MLlib- Esta biblioteca de software ofrece algoritmos para diversas tareas:Discretización y normalización, Extracción de atributos, Selección de atributos, Conversores para atributos, Técnicas para el preprocesamiento de texto.
- 8Algoritmo original mRMR es capaz de trabajar con conjuntos de datos masivos en ambas dimensiones: nº de atributos y nº de instancias.Entre las optimizaciones más relevantes introducidas por fast-mRMR están:
Redundancia acumulada, Re-utilización de cálculos previos, Procesamiento por columnas.
Information
- Description
- Flashcards on Fichas Big Data, created by Valentina Villar Rojas on 21/09/2017.
- Created by
- Valentina Villar Rojas
- Views
- 1
- Rating