Bancolombia

Bancolombia

1. Ciencia de los datos

   • Business Intelligence, Big Data y Business Analytics
     • Estos tres conceptos fueron creados para ilustrar diferentes maneras de tratar grandes volúmenes de información y extraer valor de ellos. Juntos conforman la novedosa “ciencia de los datos” (data science), que combina estadística con informática (programación y minería de datos) y el adecuado conocimiento de los objetivos y estrategia organizacional (gestión de alto nivel) para catapultar a las empresas a la siguiente categoría en la toma de decisiones.

2. Ciclo de vida

   • “La planeación estratégica es importante para todo tipo de compañías, porque aún en tiempos de cambios exponenciales, como los que estamos viviendo, es necesario tener un norte que nos indique hacia dónde se dirige la empresa, con el fin de movilizar la organización alrededor de esa visión y lo que tienen que hacer las personas para llegar allá
     • Tecnicas de analisis de datos
       • Business Intelligence: Con este sistema se pueden descubrir patrones valiosos escondidos en la masa de los datos y, a partir de ellos, formular una o varias hipótesis que sean útiles para la operación de la empresa, para luego someterlas a prueba.
         • Big data: El análisis de datos en los negocios ha aumentado debido a sus beneficios para disminuir costos, abrir nuevas oportunidades de negocio y crear productos y servicios
         • Business Analytics (BA): hace referencia a usar los datos de la empresa para predecir tendencias y resultados. El BA incluye la minería de datos, el análisis estadístico y el modelado predictivo, que ayudan a los usuarios a tomar decisiones más informadas.
         • Modelos y metodologias de analitica
           • El análisis descriptivo: o estadístico aplica pasos para ofrecer una imagen global de lo que ha ocurrido en la historia de los datos recogidos. Este tipo de análisis proporciona una visión clara de lo que ha sucedido en el pasado, aportando así los elementos necesarios para respaldar las decisiones que suelen basarse en la experiencia del usuario.
           • Análisis predictivo Utilizar las observaciones obtenidas para derivar predicciones sobre cómo podría ser el comportamiento futuro es lo que se conoce como metodología de análisis predictivo. La identificación de tendencias, patrones, clusters o relaciones causa-efecto, realizada de manera ingenieril gracias a la aplicación de algoritmos de Machine Learning, asegura que la cantidad de datos disponibles se aproveche al máximo para no dejar las acciones a tomar enteramente a la experiencia del decisor.
           • El análisis exploratorio se realiza para descubrir información oculta en los datos y generar hipótesis. Se utilizan técnicas como la minería de datos, visualización interactiva y técnicas estadísticas avanzadas para identificar relaciones y patrones inesperados.
           • El análisis prescriptivo utiliza datos históricos, modelos predictivos y reglas de negocio para recomendar acciones o decisiones específicas. Ayuda a optimizar procesos y maximizar resultados al proporcionar recomendaciones basadas en datos y objetivos predefinidos.
           • Mineria de datos
             • La minería de datos o exploración de datos es un campo de la estadística y las ciencias de la computación referido al proceso que intenta descubrir patrones en grandes volúmenes de conjuntos de datos. Utiliza los métodos de la inteligencia artificial, aprendizaje automático, estadística y sistemas de bases de datos.
               • Metodo de recoleccion e integracion de datos
                 • La integración de datos se define como el proceso de combinar, consolidar y fusionar datos procedentes de múltiples fuentes dispares para obtener una visión única y uniforme de los datos y permitir una gestión, un análisis y un acceso eficaces a los mismos.
                   • Integración de datos por lotes: En este tipo de integración de datos, los datos pasan por el proceso ETL en lotes en momentos programados (semanal o mensualmente). Se extrae de fuentes dispares, se transforma en una vista coherente y estandarizada, y luego se carga en un nuevo almacén de datos, como un almacén de datos o múltiples marts de datos.
                   • Integración de datos en tiempo real En este tipo de integración de datos, los datos entrantes o en flujo se integran en los registros existentes casi en tiempo real a través de conductos de datos configurados. Las empresas emplean canalizaciones de datos para automatizar el movimiento y la transformación de los datos, y dirigirlos al destino deseado.
                   • Consolidación de datos En este tipo de integración de datos, se crea una copia de todos los conjuntos de datos de origen en un entorno o aplicación de preparación, se consolidan los registros de datos para representar una única vista y, finalmente, se trasladan a un origen de destino.
                   • Virtualización de datos Como su nombre indica, este tipo de integración de datos no crea realmente una copia de los datos ni los traslada a una nueva base de datos con un modelo de datos mejorado, sino que introduce una capa virtual que se conecta con todas las fuentes de datos y ofrece un acceso uniforme como una aplicación front-end.
                   • Open data
                     • Open data: es la práctica de proporcionar acceso público y gratuito a conjuntos de datos sin restricciones. Estos datos están disponibles en formatos digitales y se pueden utilizar, compartir y redistribuir libremente. La esencia de open data radica en la transparencia y la accesibilidad. (OBS Business School)

3. Bases de datos

   • En 2018, en conjunto con los expertos de AWS Professional Services, Bancolombia definió la estrategia para llevar Murex a la nube de AWS. “Esto permitiría a la organización ejecutar aplicaciones como desarrollo y pruebas, procesos de producción, recuperación de desastres y servicios gestionados de manera más sencilla, flexible y menos costosa”. Como parte de la migración, Bancolombia implementó el servicio de administración de base de datos de Amazon llamado Amazon Relational Database Service (Amazon RDS). Gracias a este servicio el banco pudo liberarse de arduas y largas tareas administrativas además de aumentar la escalabilidad de la aplicación. Hasta la fecha, Bancolombia ha migrado importantes servicios a la nube AWS, entre los que se encuentran la valoración, la tributación y el proceso de cierre del mercado, además de desarrollar 180 nuevas aplicaciones de forma nativa en la nube. El banco también ha capacitado a más de 800 empleados en habilidades de computaci
     • Caracteristicas
       • Los datos están ordenados: La información contenida en una base de datos es estructurada y organizada de acuerdo a ciertos criterios que depende generalmente del tipo de base de datos. Trabaja junto a un gestor de base de datos: Para administrar una base de datos, se usa lo que se conoce como sistema de gestión de base de datos, una herramienta que permite almacenar, estructurar, modificar, acceder y consultar información. Permite almacenar grandes volúmenes de datos: Un banco de datos tiene la capacidad de guardar una gran cantidad de información. La información contenida puede consultarse rápidamente: Los datos almacenados pueden ser consultados con gran rapidez, independientemente de la dificultad de la consulta. Y aunque pueda haber bases de datos con lentitud en sus consultas, estos pueden ser optimizados para mejorar sus tiempos de respuestas. Es seguro, si se toman las medidas adecuadas: Una base de datos puede ser un sistema seguro siempre y cuando se apliquen las técnicas
         • Modelos
           • Las bases de datos tienen un contenido sensible regulado por el Estado a través de la Ley 1581 de 2012, con el fin de proteger la intimidad y la libertad de expresión como derechos constitucionales de cada persona. Esta ley fue promovida por el gobierno del presidente Juan Manuel Santos y sus ministros de Hacienda y Crédito Público, Justicia, Comercio, Industria y Turismo y las TIC (Tecnologías de la Información y Comunicaciones). Para cumplir con este fin, el Estado creó el Registro Nacional de Bases de Datos (RNBD).
             • RNBD
               • El RNBD es un directorio público que le permite al Estado saber cuántas bases de datos existen en el país, conocer su finalidad, las políticas de privacidad adoptadas, el tipo de información que albergan, posibles transferencias de datos y la seguridad que los cobija.
             • Sistemas de gestion de las bases de datos
               • Alegra Es un software contable, de facturación electrónica y POS en la nube para pymes. Tiene API (Application Programming Interface) para conectarse con miles de aplicaciones como: Google Drive, Pipedrive, Zoho, Saleforce, entre otras. Cuenta con más de 200.000 empresas registradas y cerca de 30.000 activas diarias.
               • Backstartup Es una empresa de outsourcing de contabilidad, impuestos y nómina. También ofrece servicios de asesoría legal, software contable, facturación electrónica y POS en la nube para pymes.
               • Loggro Es un software contable, de facturación electrónica, manejo de inventarios y POS para pymes en un solo sistema integrado en la nube.

4. Big data

   • El Big Data está relacionado con la extracción y análisis de grandes cantidades de datos que pueden ser de mucho valor para identificar comportamientos y mejorar procesos.
     • Las 3 V
       • Velocidad: es decir, la gran rapidez con la que se generan enormes cantidades de datos. Volumen: se refiere a la enorme cantidad de información disponible. Al menos unos 2,5 quintillones de bytes diarios. Variedad: tiene que ver con las distintas fuentes y formatos en que se pueden encontrar estos datos (texto, audio, video, imágenes)
         • Tipos de datos
           • Los datos estructurados son de libre acceso tanto para los humanos como para los programas, se ajustan a un modelo de datos, tienen una estructura bien definida y siguen un orden persistente. Por ahora, es la base de los big data. Incluye nombres, fechas, direcciones, números de cuenta, nivel de existencias, geolocalización y otros materiales organizados.
           • Los datos no estructurados son información que no tiene un modelo de datos predefinido o no está organizada de una manera predefinida. La información no estructurada suele tener mucho texto, pero también puede contener datos como fechas, números y hechos.
           • Tecnologias para analizar grandes volumenes de datos
             • Business Intelligence, Big Data y Business Analytics

5. Tecnicas de gestion de datos masivos

   • Business Intelligence (BI) y Analytics en un sentido más amplio es la principal técnica que se ha utilizado y se utiliza actualmente para el análisis de datos. Se basa en la estructuración de los datos empresariales procedentes de diferentes fuentes y en la definición de un modelo semántico de metadatos en el que se aplican reglas de lógica empresarial y de contexto empresarial para convertir los datos brutos en información real de valor.
   • Minería de datos El nombre de Minería de Datos se interpreta a veces de forma errónea, ya que el objetivo de esta técnica es la extracción de patrones y conocimientos de los datos y no la extracción de datos en sí. Representa el proceso que combina la estadística, el aprendizaje automático y la tecnología para el descubrimiento automático o semiautomático de patrones, correlaciones, clusters, clasificaciones, perfiles y regresiones de grandes volúmenes de datos.
   • Análisis de series temporales Esta metodología se utiliza para analizar datos que están organizados en secuencias de tiempo. Se busca identificar patrones, tendencias y estacionalidad en los datos a lo largo del tiempo, lo que puede ayudar en la predicción de futuros eventos.
   • Análisis de regresión El análisis de regresión es una metodología utilizada para examinar la relación entre una variable dependiente y una o más variables independientes. Se utiliza para comprender cómo las variables independientes afectan o predicen el valor de la variable dependiente. Esta metodología es especialmente útil cuando se busca predecir o estimar valores futuros basados en datos históricos.
   • Almacenamiento de datos
     • Web scraping Por definición, el web scraping es el proceso de recolectar datos estructurados de la web de forma automática; existen muchas necesidades por las cuales se busca aplicar este desarrollo entre las cuales se encuentran el monitoreo de precios, estudios de mercado, recolección de datos, entre otros.
     • Hadoop Hadoop es una estructura de código abierto que permite el almacenamiento y procesamiento de grandes cantidades de datos en clústeres de hardware comercial. Es altamente utilizado en temas de Big Data y analítica pues permite acceder de forma sencilla y rápida a las bases de datos que se almacenan mediante esta herramienta gracias a su enorme poder de cómputo.
     • Lenguaje de manipulacion de datos
       • La sentencia SELECT se utiliza para recuperar datos de una o varias tablas de una base de datos. El resultado de una sentencia SELECT es una tabla, también conocida como conjunto de resultados.
       • La sentencia INSERT se utiliza para insertar nuevas filas de datos en una tabla. La sentencia INSERT puede utilizarse para insertar datos en una sola tabla o en varias tablas a la vez.
       • La sentencia UPDATE se utiliza para modificar datos existentes en una tabla, mientras que la sentencia DELETE se utiliza para eliminar datos de una tabla. Ambas sentencias pueden utilizarse para actualizar o eliminar datos de una tabla o de varias tablas a la vez.