Flashcards
Módulo 7: Ingeniería fundamental de Big Data
Cards in this deck (105)
- 1que es la ingeniería de datoscampo que se encarga del desarrollo, prueba, implementacion y mantenimiento de las soluciones de procesamiento de datos
- 2actividades principales en la ingeniería de datosalmacenamiento y procesamiento de datos
- 3caracteristicas y desafios de la ingenieria de big data* volumen
* velocidad
* variedad
* importacion y exportacion de grandes cantidades de datos desde y hacia tecnologias de almacenamiento tradicionales
* validacion y limpieza de datos por lotes y en tiempo real
* establecimiento de un entorno optimo de procesamiento y almacenamiento de datos
* desarrollo de algoritmos eficientes de procesamiento de datos
*desarrollo de big data pipelines y aplicaciones big data - 4pregunta de examen. Para la partición de los datos, los patrones de la consulta deben ser tomados en cuenta, de tal forma que los shards nono se conviertan en cuellos de botella en términos de rendimiento.
- 5La ubicación de los datos, o conservar los datos a los que frecuentemente se tiene acceso en un solo shard, ayuda acontrarrestar problemas de rendimiento de cuellos de botella
- 6que es el shardingproceso de particionar horizontalmente un gran data set en un grupo de datasets mas pequeños y manejables llamados shards.
- 7Los shards están distribuidos entre distintos nodos, en donde un nodo es unservidor o computadora
- 8Cada shard es almacenado en un nodo aparte y cada nodo solamente es responsable porlos datos que almacena
- 9Cada shard comparte el mismo ___ , y todos las shards representan colectivamente laesquema, base de datos compelta
- 10que se hace en el sharding para lograr la escalabilidad horizontalse distribuye la carga de procesamiento entre distintos nodos
- 11un beneficio del sharding es quebrinda tolerancia parcial a errores
- 12en que principio se basa el algoritmo map reducese basa en el principio de dividir un problema difícil en tantas partes sea posible
- 13que enfoques se usan para lograr el principio de divide y veneras de el algoritmo map reduce1. paralelismo de tareas
2. paralelismo de datos - 14de que se trata el paralelismo de tareasconsiste en la paralelizacion de el procesamiento de datos dividiendo una tarea en subtareas
- 15cada subtarea en el paralelismo de tareas se ejecuta en..procesadores diferentes
- 16el paralelismo de datos consiste enconsiste en la paralelizacion del procesamiento de datos dividiendo un dataset en subdatasets
- 17en el paralelismo de datos los subdatasets se procesan ___en paralelo
- 18Cada subtarea ejecuta un algoritmo ___ y cada subdataset es procesado usando el ___ algoritmodiferente, mismo
- 19cuales son las operaciones de map reducefuncion maping
funcion reduce - 20las firmas de las funciones map y reduce se limitan a un conjunto depares llave - valor
- 21el conjunto de pares llave y valor es la unica forma de comunicar el mapeo con el __reduce
- 22de que depende la lógica de la función de mapeodepende de la forma en que se analizan los registros
- 23de que depende la lógica de la función reducedepende del resultado de la funcion de mapeo
- 24consideraciones para desarrollar un algoritmo map reduce1. Lógica algorítmica relativamente simple
2. Disponibilidad del dataset de forma distribuida particionada a traves del cluster
3. Comprension de la estructura de los datos dentro del dataset (para elegir un unico registro que sera la calve)
4. Dividir la logica algoritmica en funciones de mapeo y reduce
5. emtir la llave correcta a partir de la funcion de mapeo
6. emitir la llave correcta a partir de la funcion reduce - 25inconsistencias de escritura que ocurren en replicacion pear to pear pueden ser enfrentadas implementando concurrencia ___ o ___OPTIMISTA O PESIMISTA
- 26identifique el requerimiento del motor de procesamiento que permite procesar grandes cantidades de datos en la fuente sin la necesidad de transferir datos del almacenamiento al recurso de computacion.procesamiento distribuido
- 27QUE MECANISMO NO SQL AGRUPA COLUMNAS RELACIONADAS EN UNA FILACOLUMNAR
- 28LA LOGICA DE LA FUNCION REDUCE ES DEPENDIENTE DE LA FUNCION __MAPING
- 29El framework de map reduce se basa en el principio dedividir un problema dificil en tantas veces sea necesario
- 30El ____ y el ____ son los dos enfoques usados generalmente para el principio de dividir un problema dificil en tantas partes sea necesarioparalelismo de tareas
paralelismo de datos - 31El ____ se refiere a la paralelizacion del procesamiento de datos al dividir una tarea en subtareas y ejecutar cada subtarea en un procesador por separado, generalmente en un nodo separado dentro del clusterparalelismo de tareas
- 32el ___ se refiere a la paralelizacion de procesamiento de datos al dividir un dataset en varios subdatasets y procesar estos en paraleloparalelismo de datos
- 33el framework de map reduce aborda la necesidad de una ejecución repetida de la misma tarea en datos distribuidos al usar el enfoqueparalelismo de datos
- 34En map reduce la lógica en la función reduce depende del resultado de la funciónmapeo
- 35el framework de map reduce requiere que el dataset sea ___ a traves del cluster para que multiples funciones ___________ puedan procesar los subdatasets en paraleloparticionado, mapeo
- 36con el algoritmo map reduce, la lógica en la función de mapeo no debe depender del dataset completo, pues solo se dispone de los datos dentro de una ___sola division
- 37Map reduce es una implementacion muy utilizada por el mecanismo de motor de ____procesamiento por lotes
- 38Map reduce es un motor de procesamiento enfocado en el modo por ___ que se usa para procesar grandes cantidades de datos por medio del procesamiento en ___ implementado en clusters de ____lotes, paralelo, hadware basico
- 39Map reduce requiere que los datos de entrada hagan parte de un modelo de datos en particular?Falso
- 40Que sucede cuando se aplica el paradigma de procesamiento distribuido tradicional a grandes cantidades de datosTradicionalmente se pasan los datos del nodo de almacenamiento al nodo de procesamiento para datasets pequenos, pero al usar grandes datasets mover los datos implica una sobrecarga
- 41Con map reduce es el algoritmo de procesamiento el que se transfiere hacia ___los nodos que almacenan los datos
- 42El algoritmo es ejecutado en paralelo en los nodos de almacenamiento de datos eliminando la necesidad de transferir ____primero los datos
- 43Cuales son las tareas de mapeoMapear, combinar (opcional), dividir
- 44Cuales son las tareas de reduce* Mezclar y clasificar
*Reducir - 45Que hace la primera parte de la tarea del algoritmo map reduce: mapear?el archivo del data set se divide en partes mas pequeñas,
- 46Al dividir el dataset cada parte se analiza como un par ___ ___llave valor
- 47la llave generalmente es la ___ ordinal del registroposicion
- 48segunda parte de la funcion mapearlos pares clave valor se llevan a una funcion de mapeo o mapeador
- 49la funcion de mapeo funciona como logica definida por el usuario?verdadero
- 50la tercera parte de la función mapear esuna vez procesado cada registro llave valor según la función de mapeo se genera un resultado también en forma de clave valor
- 51en el mapeo la llave y valor de salida no puede ser la misma que la llave de entrada ni un valor de subcadena del valor de entrada ni otro objeto serializable?Falso
- 52generalmente las tareas de mapeo y reduce se ejecutan en ____ nodosdistintos
- 53que función se usa para agregar los datos resultado del mapeo antes de que sean procesados por el reductor?funcion combinador
- 54en la etapa de combinacion existen llaves duplicadas?no porque se realiza una agregacion de la llave por valor.
- 55por que el motor de map reduce puede no usar la etapa de combinacion?porque la etapa de combinacion es solo una etapa de mejora
- 56un combinador debe ser especificado unicamente cuando su uso no afecte el __ __resultado neto
- 57que se hace en la etapa dividirsi hay mas de un reductor involucrado, un particionador divide el resultado del mapeador en particiones entre las distintas instancias de los reductores
- 58en la etapa dividir, el numero de particiones es igual al numero de ____reductores
- 59como solventar que algunos reductores reciban una mayor cantidad de pares que otros?personalizando la logica del la division garantizando una distribucion equitativa de los pares llave valor
- 60en que etapa se genera el indice del reductor?en la etapa de division de la funcion mapeo
- 61las bases de datos no sql son compatibles con la evolucion __del esquema
- 62Únicamente se pueden buscar los valores por medio de las llaves,dispositivo de almacenamiento
llave valor - 63Es necesario almacenar datos sin estructurardispositivo de almacenamiento
llave valor - 64DATOS SEMIESTRUCTURADOS, ESQUEMAS PLANOS O ANIDADOSdispositivo de almacenamiento
documento - 65ESCRITURA/LECTURA ALEATORIA EN TIEMPO REALdispositivo de almacenamiento columnar
- 66almacenamiento de links entre entidadesgrafo
- 67como se le llama a la entidad en grafosvertice
- 68como se le llama al link en grafosborde
- 69operaciones de lectura o escritura de alto rendimientodispositivo de almacenamiento llave valor
- 70dispositivo de almacenamiento que se basa en ACIDGRAFOS
- 71Para datos binarios y de estructura sencillallave valor
- 72PATRONES CONSULTA DE INSERCION, SELECCION Y ELIMINACIONllave valor
- 73PATRONES CONSULTA DE INSERCION, ACTUALIZACION,SELECCION Y ELIMINACIONdocumentos, columnar
- 74Jane necesita almacenar una gran cantidad de archivos del circuito cerrado de televisión. Debido a la baja calidad del video, todos los archivos serán procesados, uno después de otro, utilizando una biblioteca de software de mejoramiento de video. ¿Qué tipo de dispositivo de almacenamiento puede utilizar Jane para garantizar la máxima capacidad de procesamiento de lectura y un procesamiento rápido de los archivos de video?sistema de archivos distribuido
- 75Kerry está diseñando una aplicación de Big Data que debe almacenar grandes cantidades de archivos XML. Cada archivo XML representa una entidad aparte, compuesta por múltiples secciones, cada una con subcampos. Se deben recuperar y actualizar distintas secciones del archivo XML como parte del flujo de trabajo (Workflow) de procesamiento. ¿Qué tipo de dispositivo de almacenamiento NoSQL es el más adecuado para los requisitos de almacenamiento de datos de Kerry?Documento
- 76Roger planea reemplazar la base de datos relacional con una base de datos NoSQL para almacenar los datos de sesión de los usuarios de una popular tienda online. Las sesiones de los usuarios son identificadas por medio de la ID y de una marca de hora, y almacenan los datos específicos de la aplicación, que son exclusivamente anexados. Los datos de sesión de los usuarios son analizados, lo que requiere que los datos de la sesión de cada uno de los usuarios sean agrupados. ¿Qué tipo de dispositivo de almacenamiento NoSQL puede ser utilizado en este caso?llave valor
- 77Mike está a cargo del diseño de una base de datos para almacenar activos físicos que se encuentran distribuidos geográficamente por el país. Cada activo tiene un conjunto básico de atributos, como ID, tipo y fecha de fabricación. Asimismo, cada activo está conectado físicamente con varios otros activos. Mike conoció que la base de datos será usada intensamente por los ingenieros con el fin de hallar activos que están conectados con otros, así como para determinar la distancia entre dos activos. ¿Qué tipo de dispositivo de almacenamiento puede usar Mike para satisfacer los requisitos de consulta de los ingenieros?grafos
- 78John está diseñando una aplicación web que almacena distintas piezas de información relacionadas con cada cliente, como la información personal del cliente (incluyendo dirección e información de tarjeta de crédito), el historial de compras del cliente y comentarios publicados en la página web para diferentes productos. John quiere ser capaz de buscar clientes usando sus nombres para poder actualizar los registros de los clientes. Igualmente, él espera que se ejecuten varios tipos de análisis de los clientes. Uno de los análisis que determina los sentimientos de los clientes requiere acceso interactivo a texto en los comentarios, además de buscar los comentarios hechos por cada cliente. ¿Qué tipo de base de datos NoSQL puede utilizar John para facilitar el acceso a cada campo y permitir que los datos de los comentarios sean recuperados rápidamente?columnar
- 79Los _____ son una buena opción cuando se debe acceder a los datos en modo de streaming sin operaciones aleatorias de lectura ni escriturasistemas de archivos distribuidos
- 80los ____funcionan mejor con menos archivos, pero de mayor tamaño, a los cuales se accede de forma secuencialsistemas de archivos distribuidos
- 81caracteristicas del motor de procesamiento big data1 procesamiento de datos distribuido/paralelo
2 procesamiento de datos sin esquema
3 soporte para multiples cargas de trabajo
4 escalabikidad llineal
5redundancia y tolerancia a fallos
6bajo costo - 82Dar soporte a un entorno de procesamiento distribuido con capacidades de procesamiento paralelo requiere un motor de procesamiento que pueda ofrecer un rendimiento estable mientras el volumen de datos crece.ESCALABILIDAD LINEAL
- 83Implementar un software de código abierto en un hardware básico ayuda areducir costos
- 84que caracteristica de procesamiento apoya la capacidad del motor de procesamiento para aprovechar el Cloud Computing.bajo costo
- 85que caracteristica de procesamiento : , es necesario que la plataforma de procesamiento subyacente sea compatible tanto con las cargas de trabajo transaccionales como con las de lote.soporte para multiples cargas de trabajo
- 86los datos de big data se presentan de dos formas:gruesos (caracteristica de volumen)
rapidos (caracteristica de velocidad) - 87caracteristica de procesamiento: es necesario utilizar un modelo de procesamiento basado en el principio de dividir un problema difícil en tantas partes como sea necesario, al igual que sucede con el procesamiento de datos paralelos.Procesamiento de datos distribuidos/paralelos
- 88que caracteristica del motor de procesamiento fomenta el uso de software de codigo abierto y cloud computingbajo costo
- 89la replicacion crea multiples copias de un dataset, conocidas como ____ y las almacena en varios nodosreplicas
- 90que caracteristica del motor de procesamiento permite el procesamiento de datos tanto por lotes como en tiempo realsoporte para multiples cargas de trabajo
- 91que caracteristica de motor de porcesamiento permite que haya funcionalidad cuando se presentan fallas en el sistemaredundancia y tolerancia a fallos
- 92el teorema cap establece que un sistema de archivos distribuido solo puede proporcionar dos de las tres propiedades, que sonconsistencia
disponibilidad
tolerancia al particionado - 93___ es el proceso de particionar horizontalmente un gran dataset en un grupo de datasets mas pequenos y manejables llamados ___ distribuidos entre multiples nodossharding, shards
- 94que caracteristica del motor de procesamiento permite el procesamiento de grandes cantidades de datos en la fuente sin necesidad de transferirlos desde su lugar de almacenamiento hasta un recurso de informatica?procesamiento de datos distribuido/paralelo
- 95el ___ de map reduce aborada la necesidad de una ejecucion repetida de la misma tarea en datos distribuidos al usar un enfoque de paralelismo de datosframework
- 96en la replicacion ___, el nodo maestro es el unico punto de contacto para todas las operaciones de escritura, mientras que los datos pueden ser leidos desde cualquier nodo esclavomaestro esclavo
- 97que significa BASEDISPONIBILIDAD TODO EL TIEMPO
ESTADO FLEXIBLE
CONSISTENCIA A LARGO PLAZO - 98en la replicacion peer to peer no hay nodos maestro ni esclavo y todos los nodos llamados __, operan al mismo nivelpeers
- 99en el contexto de teorema CAP las bases de datos relacionales proporcionan ___ y ____consistencia, disponibilidad
- 100que caracteristica del motor de procesamiento da soporte a los modelos de datos cambiantes y permite el procesamiento de datos en su forma original sin la necesidad de llevar a cabo ninguna transformacion en el modelo de datosprocesamiento de datos sin esquema
- 101que modo de porcesamiento en tiempo reral es: se ubica dentro de la categoría de tiempo real. El ___ generalmente se refiere al procesamiento de consultas en tiempo real. La Inteligencia de negocios (BI) y la analítica operativa generalmente hacen uso del modo en tiempo real.modo interactivo
- 102el procesamiento en big data requiere un entorno ___ qyue sea capaz de procesar datos en ___, lo caul es una caracteristica soportada por la arquitectura en ____distribuido, paralelo, cluster
- 103Los clusters permiten el procesamiento de datos ____ y son altamente ___distribuidos, escalables
- 104En la arquitectura en cluster, los datasets de Big Data pueden ser procesados por ___ o ___ usando un motor de procesamiento por loteslotes o en real time
- 105falso o verdadero ? A fin de que los datos almacenados tengan una estructura, la mayoría de dispositivos de almacenamiento de tipo llave-valor (key-value) ofrecen colecciones o sectores de almacenamiento (buckets; por ejemplo, tablas) dentro de los cuales se pueden organizar las parejas de llave-valor (key-value),verdadero
Information
- Description
- Informática Flashcards on Módulo 7: Ingeniería fundamental de Big Data, created by Smac Smac on 06/03/2018.
- Created by
- Smac Smac
- Views
- 245
- Rating