Aula 01 - BigData Conceitos

Description

Hadoop Mind Map on Aula 01 - BigData Conceitos, created by Ronaldo Pimentel on 21/10/2017.
Ronaldo Pimentel
Mind Map by Ronaldo Pimentel , updated more than 1 year ago
Ronaldo Pimentel
Created by Ronaldo Pimentel over 6 years ago
53
3

Resource summary

Aula 01 - BigData Conceitos
  1. Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados. E sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.
    1. Necessidades
      1. As pessoas estão conectadas por meio de operações bancárias, acesso a internet, sinal do celular e das redes sociais. Agora trabalhar com dados não estruturados é uma necessidade
        1. Aumento do uso dos dispositivos
          1. Crescimento da população on line
            1. Incontáveis transações por segundo
              1. Volume dos dados - 8ZB em 2015 para 35 ZB em 2020. Mais de 1/3 dos dados estará na nuvem ou passará por ela.
              2. DADO É O NOVO PETRÓLEO! Precisamos encontrá-lo, extraí- lo, refiná-lo, distribuí-lo e monetizá-lo! David Buckingam
                1. “Big Data demanda formas inovadoras e rentáveis de processamento da informação para melhor percepção e tomada de decisão.” Gartner, 2012
                  1. 7 V’s de Big Data VOLUME ● Terabytes ● Transações ● Eventos ● Tabelas/Arquivos VARIEDADE ● Estruturados ● Não-estruturados ● Multi-fator ● Linkados ● Dinamicos VELOCIDADE ● Batch ● Tempo Real ● Processos ● Stream VISUALIZAÇÃO ● Informações ● Insights ● Apresentação VERACIDADE ● Segurança dos dados ● Confiança ● Origem / Reputação ● Disponibilidade VALOR ● Previsões ● Estatístico ● Gerenciamento ● Hipóteses VIABILIDADE ● Seleção de Variáveis ● Relevância das variáveis ● Relações das variáveis
                    1. Desafios
                      1. Aramazenamento - Habase, CouchDB, Redis, MongoDb, RavenDB, Membase, riak, cassandra, apache Solr, elasticsearch
                        1. Orientado a Chave-valor
                          1. Orientado a colunas
                            1. Orientado a Documentos
                              1. Orientado a Grafos
                              2. NoSQL
                                1. NoSQL = Not Only SQL “Conjunto de conceitos que permite o processamento rápido e eficiente de conjuntos de dados com foco em desempenho, confiabilidade e agilidade”. Making sensing of NoSQ
                                2. NoSQL x relacional - Há um limiar de performance x volume de dados no qual a tecnlogia NoSQL se torna indispensável.
                                  1. Organizacao dos dados
                                    1. Relacional - Data Warehouse dividido por tipos de dados
                                      1. Big Data - conceito de data lake - dados em sua forma original.
                                      2. Análises
                                        1. Sas, julia, R, python, tableau, ggplot2, stata
                                          1. Analytics x Interferência humana
                                        2. Ambiente favorável
                                          1. Baixo Custo de armazenamento
                                            1. Aumento no poder de processamento
                                              1. Tomada de decisoes de forma mais veloz
                                                1. AGILIDADE E PRECISÃO 40% das operações na bolsa de valores brasileira foram feitas de forma automática em 2014. E cada operação durou em média 10ms Nos Estados Unidos essas operações chegam a 70% de todo o volume negociado.
                                                  1. Internet das coisas - infinidade de dispositivos conectados e poduzindo dados
                                                  2. Aplicacoes
                                                    1. Detecção de fraude
                                                      1. Utilização no varejo
                                                        1. Aplicação de Big Data para melhorar experiência do cliente no BIG DATA setor varejista
                                                          1. Ponto de venda
                                                            1. Trabalhar a tecnologia no ponto de vendas para melhorar a experiência do usuário.
                                                          2. Mercado on line
                                                            1. Oferecer produtos com base no interesse de navegação multiplataforma já é uma realidade. Mas como utilizar todos esses dados para o nosso negócio? M
                                                            2. Redes Sociais
                                                              1. Como criar uma experiência individualizada para cada cliente com base nas fotos adicionadas no Instagram, check-in no Facebook ou status do Twitter?
                                                              2. Algoritmos de recomendação
                                                                1. Saúde - detecção de doenças
                                                                  1. RH
                                                                    1. PREVENÇÃO DE FRAUDES TRABALHISTAS Análise de talentos A análise de talentos reúne e analisa os dados dos funcionários atuais e potenciais da empresa. Retenção de colaboradores As empresas com altas taxas de rotação acabam gastando milhares de dólares em empregados que não acabam ficando com a empresa, o que é um desperdício dispendioso de recursos. Business.com Processos mais eficaz de contratação Uma pesquisa da CareerBuilder descobriu que 27% dos empregadores acreditavam que uma única contratação incorreta poderia custar até US $ 50.000. Entrepreneur.
                                                                    2. Análise de Rede Social
                                                                      1. Pessoas se conectam por diversas razões, desde por relações de amizades, familiares, etc. Será que conseguimos prever características suas baseado nas informações de quem você se relaciona? “Me diga com quem tu andas que direi quem tu és.”
                                                                        1. Identificar líderes e seguidores para divulgação de novos produtos ou serviços
                                                                        2. Precificação de seguro de auto com base na condução do veículo
                                                                          1. Previsoes no esporte
                                                                            1. Filme MOney Ball - A análise do Big Data fornecia o percentual de acerto de cada jogador em cada posição do campo ocupada por ele. A análise foi feita por meio da análise das imagens. Com os dados projetados sobre o desempenho futuro de cada atleta, o treinador conseguiu prever quantos pontos cada jogador faria nos jogos seguintes.
                                                                            2. Gestão empresarial
                                                                              1. Previsão de faturamento ● Previsão de demandas e controle de estoque ● Recursos humanos ● Finanças corporativas
                                                                              2. Analise de texto
                                                                                1. Tem o objetivo de identificar o que está sendo digitado nos meios de comunicação. A separação de Fátima Bernardes e William Bonner agitou as redes sociais. Tal acontecimento surpreendeu tanto as pessoas que foi mais falado no Twitter do que o Impeachment da Presidente Dilma Rousseff.
                                                                                2. auto atendimento Chat bot
                                                                                  1. Cesto de compras
                                                                                    1. IoT
                                                                                      1. Cidades Inteligentes
                                                                                        1. Setor automotivo
                                                                                          1. Agricultura
                                                                                            1. Amor https://www.youtube.com/watch?v=ZZZgAw7HBf4
                                                                                          2. Profissões
                                                                                            1. Profissões que estarão em alta nos próximos anos, segundo a Catho (levantamento encomendado pela InfoMoney – 11 de outubro de 2016): Fonte: Infomoney - Profissões e áreas que estarão em alta nos próximos anos • Área de Tecnologia da Informação • Profissionais de Big Data • Especialista em Cloud Computing
                                                                                              1. Altos salarios
                                                                                                1. Capacitação profissional - Falta de qualificação
                                                                                                  1. Quais habilidades as empresas estão procurando em um profissional de Big Data?
                                                                                                    1. Multidisciplinaridade
                                                                                                2. Mineração de dados
                                                                                                  1. Clássica
                                                                                                    1. Escalabilidade vertical Aumento de recursos computacionais em uma única máquina
                                                                                                      1. Problemas: • Custo • Desempenho • Escalabilidade limitada
                                                                                                    2. Atual
                                                                                                      1. Escalabilidade horizontal Adição de máquinas ao cluster
                                                                                                        1. Adição de máquinas ao cluster Problemas: • Adaptação de tecnologias tradicionais a esse ambiente • Desenvolvimento e manutenção complexa
                                                                                                          1. Necessidade Novas tecnologias capazes de oferecer escalabilidade, disponibilidade, flexibilidade e desempenho para o processamento de grande volume de dados (Big Data)
                                                                                                        Show full summary Hide full summary

                                                                                                        Similar

                                                                                                        Bigdata - Arquitetura Hadoop
                                                                                                        Ronaldo Pimentel
                                                                                                        Bigdata - Arquitetura Hadoop
                                                                                                        Wagner Oliveira Nascimento
                                                                                                        Bigdata - Arquitetura Hadoop
                                                                                                        Gustavo Galhardo
                                                                                                        Bigdata - Arquitetura Hadoop
                                                                                                        Roberta Reis
                                                                                                        Bigdata - Arquitetura Hadoop
                                                                                                        WALLACE SANTOS GRACA
                                                                                                        Databases
                                                                                                        Dean Whittle
                                                                                                        Chemistry 3 Extracting Metals Core GCSE
                                                                                                        Chloe Roberts
                                                                                                        History of Surgery Mind Map
                                                                                                        James Copley
                                                                                                        Exchange surfaces and breathing
                                                                                                        megan.radcliffe16
                                                                                                        Periodic table - full deck of element symbols
                                                                                                        Derek Cumberbatch
                                                                                                        Test de Funciones
                                                                                                        José William Montes Ocampo