COMPUTO DE ALTO RENDIMIENTO (HPC) & BIG DATA

Annotations:

• Conferencista: Fabián García Nocetti, IIMAS-UNAM. Expone el tema de cómputo de alto rendimiento y su relación con big-data y presenta un estudio de caso. Autor del mapa: Fernando Jimenez Martinez del grupo 5SB INGENIERIA EN SISTEMAS COMPUTACIONALES ITSTA https://www.youtube.com/watch?time_continue=1020&v=8n6lfB6G6mU

1. COMPUTACIÓN DE ALTO RENDIMIENTO (HPC)
   1. ES EL USO DE PROCESAMIENTO PARALELO PARA EJECUTAR APLICACIONES AVANZADAS DE MANERA EFICIENTE, CONFIABLE Y RAPIDA.
      1. EL TERMINO SE APLICA EN ESPECIAL A SISTEMAS QUE OPERAN ARRIBA DE UN TERAFLOP.
         1. USUARIOS FRECUENTES:
            1. • INVESTIGADORES
               1. • CIENTIFICOS
                  1. • INGENIEROS
                     1. • INSTITUCIONES ACADEMICAS
         2. APLICACIONES
            1. LA SIMULACION DE TERREMOTOS PARA IDENTIFICAR AREAS ESPECIALMENTE SENSIBLES Y PREDECIR SUS CONDICIONES.
               1. MODELADO DEL CLIMA MODELOS COMPUTACIONALESPUEDEN SER USADOS CON DATOS VIEJOS PARA EVALUAR SU UTILIDAD.
                  1. MODELAJE DE PROTOTIPOS. BIG DATA
         3. BENEFICIOS:
            1. EL TIEMPO DE AJUSTE EN UN LABORATORIO ES DE UNOS 9 MESES, HPC PUEDE REDUCIR A MENOS DE UNA SEMANA.
               1. EL ANALISIS DE UN COMPONENTE CUESTA EN PROMEDIO 50,000 USD EN UN LABORATORIO, MIENTRAS QUE MEDIANTE HPC SE PUEDE HACER POR 3,000 USD.
                  1. PROTOTIPOS VIRTUALES Y MODELADOS EN GRAN ESCALA CON BASE EN HPC ACELERAN Y RACIONALIZAN LOS PROCESOS.
                     1. SE MEJORA LA INVESTIGACION Y EL DESARROLLO, EL DISEÑO Y LA INGENIERIA, ASI COMO TAMBIEN LOS PROCESOS DE NEGOCIOS (MINERIA DE DATOS, LOGISTICA, CRM, ETC).
         4. ECONOMÍA
            1. EL VALOR TOTAL DEL MERCADO MUNDIAL DE HPC ERA DE UNOS $26 MIL MILLONES(2010).
               1. SE ESTIMA QUE ALCANZARA LOS $30 MIL MILLONES(2015).
                  1. NUEVOS MODELOS DE NEGOCIOS MEDIANTE INTERNET Y LA COMPUTACION EN LA NUBE.
         5. BARRERAS AL USO DEL HPC
            1. BARRERAS EDUCACIONALES Y DE CAPACIDADES (FALTA DE CIENTÍFICOS COMPUTACIONALES)
               1. OBSTÁCULOS TÉCNICOS
                  1. LOS CÓDIGOS HEREDADOS DEBEN SER ACTUALIZADOS.
                     1. HAY REZAGO EN LA FORMULACIÓN DE NUEVOS CÓDIGOS.
                        1. LAS EMPRESAS VEN AL HPC COMO UN COSTO NO COMO UNA INVERSIÓN.
2. BIG DATA Y ANALYTICS
   1. BIG DATA CONJUNTO DE DATOS CUYO TAMAÑO ESTÁ MAS ALLA DE LA CAPACIDAD DE HERRAMIENTAS DE SOFTWARE DE BASE DE DATOS TIPICAS PARA CAPTURAR, ALMACENAR, GESTIONAR Y ANALIZAR LA INFORMACION.
      1. SE ORIGINA POR LA EXPLOSION EN LA CANTIDAD Y DIVERSIDAD DE DATOS DIGITALES GENERADOS EN TIEMPO REAL COMO RESULTADO DEL ROL CADA VEZ MAYOR DE LA TECNOLOGIA EN LAS ACTIVIDADES DIARIAS.
         1. SIRVE PARA GENERAR INFORMACION Y CONOCIMINETO CON BASE EN INFORMACION COMPLETA EN TIEMPO REAL.
   2. ANALYTICS SE ORIGINA EN EL AREA DE BIOLOGIA HERRAMIENTAS Y METODOLOGIAS PARA TRANSFORMAR CANTIDADES MASIVAS DE DATOS
      1. PROBLEMAS DISPONIBILIDAD DE DATOS FALTA DE INCENTIVOS PARA COMPARTIR DATOS
   3. TIPOS DE DATOS
      1. TIPOS DE DATOS COMPRAS Y TRASACCIONES
         1. DATOS DE GESTION EMPRESARIAL
            1. BUSQUEDA SOCIALES
               1. UBICACIÓN SENSORES FISICOS CONTENIDO(SMS,LLAMADAS,E-MAILS)
   4. IMPLICACIONES
      1. LOS DATOS SON UN NUEVO FACTOR DE PRODUCCIÓN Y DE VENTAJA COMPETITIVA.
         1. OPORTUNIDAD: APRENDER SOBRE EL COMPORTAMIENTO HUMANO PARA DIVERSOS FINES.
            1. CREACION DE VALOR VIA INNOVACIÓN, EFICIENCIA Y COMPETITIVIDAD.
               1. NUEVAS FORMAS DE COMPETENCIA Y NUEVOS NEGOCIOS.
                  1. ANALISIS DE DATOS EMPRESARIALES. EN 2010 SE ESTIMABA EL VALOR DE ESTA INDUSTRIA EN MAS DE $100 MIL MILLONES, CRECIENDO A CASI UN 10% AL AÑO.
   5. BIG DATA PARA LA CREACION DE VALOR
      1. SEGEMENTACION DE MERCADO Y POBLACION PARA PERSONALIZAR ACCIONES.
         1. INNOVACION EN NUEVOS MODELOS DE NEGOCIOS, PRODUCTOS Y SERVICIOS MEJORA DE PRODUCTOS EXISTENTES.
            1. NUEVOS MODELOS DE SERVICIO A NIVEL EMPRESARIAL Y GUBERNAMENTAL.
   6. ANALYTICS: CAPACIDADES
      1. LA ANALITICA DE GRANDES DATOS SE REFIERE A LAS HERRAMIENTAS Y METODOLOGIAS PARA TRANSFORMAR CANTIDADES MASIVAS DE DATOS BRUTOS EN “DATOS SOBRE DATOS” CON PROPOSITOS ANALITICOS.
         1. DATA SCIENCE
            1. TECNICAS NECESARIAS PARA MANIPULAR Y TRATAR LA INFORMACION DESDE UN PUNTO DE VISTA ESTADISITICO/MATEMATICO.
               1. IMPLICA HALLAR CORRELACIONES, APLICAR ALGORITMOS MAS COMPLEJOS Y PROPORCIONAR NIVELES DE VISIBILIDAD QUE TRANSFORMAN EL CONTACTO DE UNA ENTIDAD CON SU ENTORNO.
3. S/W PARA BIG DATA
   1. HADOOP BUCA RESOLVER PARTE DE LOS PROBLEMAS ASOCIADOS A BIG DATA Y A LA APARICION DEL DATA SCIENCE.
      1. UTLIZA MAP REDUCE(DISTRIBUCION Y PARALELIZACION, TOLERANCIA A FALLAS Y REDUNDANCIAS , TRANSPARENCIA, ) Y HDFS.
         1. FASES DE BIGDATA Y SUS SOLUCIONES CON HADOOP
            1. 1.- DESCUBRIMIENTO DE GRANDES DATOS.
               1. 2.- EXTRACCION Y LIMPIEZA DE LOS GRANDES VOLUMENES DE DATOS.
                  1. 3.- ESTRUCTURACION Y ANALISIS DE BIG DATA.
                     1. 4.- MODELADO DE DATOS.
                        1. 5.- INTERPRETACION DE GRANDES DATOS.