7 - Dados - Data Mining

7 - Dados - Data Mining

1. METADADOS - Contem dados sobre dados, que explicam os outros dados.

   • Contem dados sobre dados, que explicam os outros dados. “Dados estruturados e codificados, que descrevem e permitem acessar, gerenciar, compreender e/ou preservar outros dados ao longo do tempo.”

2. TIPOS

   • Os dados podem ser classificados como:  Estruturados  Semiestruturados  Não estruturados
   • ESTRUTURADOS
     • Dados estruturados são aqueles organizados e representados com uma estrutura rígida, a qual foi previamente planejada para armazená-los. Sendo assim, os dados armazenados e mantidos por um SGBD (sistema gerenciador de banco de dados) são exemplos de dados estruturados.
     • CARACTERÍSTICAS
       • Principais características:  Dados organizados em blocos semânticos (relações);  Dados de um mesmo grupo possuem as mesmas descrições (atributos);  compartilham o mesmo formato (esquema).
       • Dados organizados em blocos semânticos (relações);
       • Dados de um mesmo grupo possuem as mesmas descrições (atributos);
       • Compartilham o mesmo formato (esquema)
   • SEMIESTRUTURADOS
     • Dados semiestruturados apresentam uma representação estrutural heterogênea, não sendo nem completamente não estruturados nem estritamente tipados. A principal diferença entre dados estruturados e semiestruturados diz respeito a como as construções do esquema (como os nomes de atributos, relacionamentos e tipos de entidade) são tratadas. Nos dados semiestruturados, a informação do esquema é misturada com os valores dos dados, já que cada objeto de dado pode ter atributos diferentes que não são conhecidos antecipadamente. Logo, esse tipo de dado às vezes é chamado de dado autodescritivo. Podemos citar como exemplo de dados semiestruturados os arquivos em formato XML (eXtensible Markup Language). 
     • CARACTERISTICAS
       • Definição a posteriori: esquemas para dados semiestruturados são usualmente definidos após a existência dos dados, com base em uma investigação de suas estruturas particulares e da análise de similaridades e diferenças. Isso não significa que sempre existe um esquema associado a um dado semiestruturado;  Estrutura irregular: coleções extensas de dados semanticamente similares estão organizados de maneiras diferentes, podendo algumas ocorrências terem informações incompletas ou adicionais em relação a outras. Em suma, não existe um esquema padrão para esses dados;  Estrutura implícita: muitas vezes existe uma estrutura básica para os dados, porém, essa estrutura está implícita na forma como os dados são apresentados;  Estrutura parcial: apenas parte dos dados disponíveis pode ter alguma estrutura, seja implícita ou explícita.  Estrutura evolutiva: a estrutura dos dados modifica-se tão frequentemente quanto os seus valores. Dados Web apresentam este comportamento, uma vez que existe o interesse em manter dados sempre atualizados;  Distinção entre estrutura e dados não é clara: como a estrutura está embutida na descrição dos dados, muitas vezes a distinção lógica entre estrutura e valor não é clara.
       • Estrutura irregular:
         • Estrutura irregular: coleções extensas de dados semanticamente similares estão organizados de maneiras diferentes, podendo algumas ocorrências terem informações incompletas ou adicionais em relação a outras. Em suma, não existe um esquema padrão para esses dados;
       • Estrutura implícita
         • Estrutura implícita: muitas vezes existe uma estrutura básica para os dados, porém, essa estrutura está implícita na forma como os dados são apresentados;
       • Estrutura parcial:
         •  Estrutura parcial: apenas parte dos dados disponíveis pode ter alguma estrutura, seja implícita ou explícita.
       • Estrutura evolutiva:
         • Estrutura evolutiva: a estrutura dos dados modifica-se tão frequentemente quanto os seus valores. Dados Web apresentam este comportamento, uma vez que existe o interesse em manter dados sempre atualizados;
       • Distinção entre estrutura e dados não é clara
         • Distinção entre estrutura e dados não é clara: como a estrutura está embutida na descrição dos dados, muitas vezes a distinção lógica entre estrutura e valor não é clara.
   • NÃO ESTRUTURADOS
     • Além de dados estruturados e semiestruturados, existe uma terceira categoria, conhecida como dados não estruturados. Nesse caso, os dados não estruturados não possuem uma estrutura definida. Documentos, imagens e vídeos são exemplos típicos de dados não estruturados. É importante destacar que as estruturas dos dados não estruturados não são descritas nem implicitamente. Assim, é fácil concluir que as redes sociais, as quais possuem um enorme volume de dados, como textos, imagens e vídeos criados diariamente por usuários, representam outro exemplo de dados não estruturados. Atualmente, mais de 80% do conteúdo digital gerado no mundo é do tipo não estruturado
     • textos, imagens e vídeos criados diariamente nas redes sociais, 80%
       • • DATA MINING
           • DEFINIÇÃO
             • 1 - Data mining é uma disciplina crucial dentro da ciência de dados que envolve o processo de descobrir padrões e extrair informações úteis de grandes conjuntos de dados.
             • 2 - Data mining é o processo de usar algoritmos, métodos estatísticos e técnicas de inteligência artificial para explorar e analisar grandes conjuntos de dados a fim de encontrar padrões e relações ocultas que possam ser úteis para a tomada de decisão.
             • PROPÓSITO
               • DESCOBERTA DE PADRÕES - Identificar padrões e tendências que não são aparentes em análises superficiais
                 • Identificar padrões e tendências que não são aparentes em análises superficiais
               • PREDIÇÃO DE FUTURAS TENTÊNCIAS - Utilizar os dados históricos para prever eventos futuros, o que pode ser crucial para planejamento e otimização de negócios.
                 • Utilizar os dados históricos para prever eventos futuros, o que pode ser crucial para planejamento e otimização de negócios.
               • APOIO À INFORMAÇÃO - Fornecer informações baseadas em dados que ajudem as empresas a tomar decisões mais informadas e baseadas em evidências
                 • Fornecer informações baseadas em dados que ajudem as empresas a tomar decisões mais informadas e baseadas em evidências
               • IMPORTÂNCIA NA ERA BIG DATA
                 • NEGÓCIOS - Empresas usam data mining para entender melhor o comportamento do consumidor, otimizar operações e estratégias de marketing, e aumentar a vantagem competitiva
                   • mpresas usam data mining para entender melhor o comportamento do consumidor, otimizar operações e estratégias de marketing, e aumentar a vantagem competitiva
                 • SAÚDE - o setor de saúde, data mining ajuda na previsão de epidemias, na personalização de tratamentos para pacientes e na otimização da gestão hospitalar
                   • : No setor de saúde, data mining ajuda na previsão de epidemias, na personalização de tratamentos para pacientes e na otimização da gestão hospitalar.
                 • GOVERNO - Governos aplicam técnicas de data mining para aprimorar serviços públicos, segurança e monitorar eficácia de políticas públicas.
                   • Governos aplicam técnicas de data mining para aprimorar serviços públicos, segurança e monitorar eficácia de políticas públicas.
                 • MÉTODOS E TÉCNICAS
                   • Classificação e Previsão
                     • * Classificação: Envolve a identificação de qual categoria uma novo observação pertence, baseando-se em um treinamento previamente realizado com um conjunto de dados onde as categorias são conhecidas. Algoritmos populares incluem árvores de decisão, redes neurais e máquinas de vetores de suporte (SVM).
                     • * Previsão: Foca em prever um resultado contínuo. Métodos comuns envolvem regressão linear e regressão logística, além de técnicas mais avançadas como florestas aleatórias e boosting.
                   • APLICAÇÕES: Agrupamento, ou Clustering, é uma técnica de data mining que organiza objetos em grupos cujos membros são similares entre si mais do que com membros de outros grupos.
                     • • Aplicações: Desde segmentação de mercado, análise de redes sociais, organização de clusters computacionais, até a identificação de áreas com características similares em dados geográficos.
                     • EXEMPLOS: Exemplos de Algoritmos de Clustering: K-means, clustering hierárquico, e DBSCAN
                       • • Exemplos de Algoritmos de Clustering: K-means, clustering hierárquico, e DBSCAN.
                   • Associação e Sequenciamento
                     • Regras de Associação são utilizadas para encontrar padrões interessantes, associações, correlações ou estruturas frequentes entre conjuntos de itens ou objetos em transações de dados ou outros sistemas de armazenamento. • Exemplo Famoso: Análise de cesta de compras, onde se verifica quais produtos tendem a ser comprados juntos.
                     • • Sequenciamento: Involucra a análise de sequências ou padrões de eventos que ocorrem frequentemente em ordem específica. Um exemplo comum é a análise de padrões de navegação em websites.
                   • Detecção de anomalias
                     • Detecção de Anomalias, também conhecida como detecção de outliers, busca identificar casos raros que se desviam significativamente do comportamento esperado.
                     • Utilização
                       • Amplamente usado em fraude bancária, defeitos de fabricação, monitoramento de condições em equipamentos e detecção de atividades suspeitas em redes de computadores.
                     • Técnicas
                       • Incluem métodos estatísticos, redes neurais, e sistemas baseados em proximidade, como k-nearest neighbors (k-NN).
                       • k-nearest neighbors (k-NN).
                         • k-nearest neighbors (k-NN) = faz previsões com base na proximidade de dados
                   • FERRAMENTAS E TECNOLOGIAS
                     • Software e ferramentas: Ajudam os analistas a extrair insights valiosos de grande volumes de dados.
                       • Ajudam os analistas a extrair insights valiosos de grande volumes de dados. - WEKA (interface gráfica, adequada para desenvolvimento de novos sistemas de machine learning) - RapidMiner (ambiente integrado) - SAS data Mining  (ideal para empresas, para solução robusta)  - Python (SciKit-Learn, TensorFlow, PyTorch, codigo aberto, implementar modelos complexos)
                       • WEKA (interface gráfica, adequada para desenvolvimento de novos sistemas de machine learning)
                       • RapidMiner (ambiente integrado)
                       • SAS data Mining (ideal para empresas, para solução robusta)
                       • Python (SciKit-Learn, TensorFlow, PyTorch, codigo aberto, implementar modelos complexos
                     • Aplicações em big Data
                       • * Hadoop ( um framework que permite o processamento em conjuntos de dados em clusters de computadores usando modelos de programação simples). * Apache Spark ( Conhecido por sua capacidade de processar grandes volumes de dados de forma rápida e eficiente, Spark é ideal para trabalhos que exigem análises iterativas * Plataformas de Cloud (
                       • CLOUD COMPUTIG: Serviços como Amazon Web Services, Microsoft Azure e Google Cloud Platform oferecem poderosas capacidades de computação e armazenamento que permitem às empresas implementar e escalar suas operações de data mining sem a necessidade de infraestrutura física
                         • Serviços como Amazon Web Services, Microsoft Azure e Google Cloud Platform oferecem poderosas capacidades de computação e armazenamento que permitem às empresas implementar e escalar suas operações de data mining sem a necessidade de infraestrutura física
                       • HADOOP ( um framework que permite o processamento em conjuntos de dados em clusters de computadores usando modelos de programação simples).
                         • CLUSTERING
                       • APACHE SPARK ( Conhecido por sua capacidade de processar grandes volumes de dados de forma rápida e eficiente, Spark é ideal para trabalhos que exigem análises iterativas
                     • Integração com sistemas de Business Inteligence
                       • : Essas ferramentas de BI podem ser usadas para visualizar e comunicar os resultados do data mining, permitindo que os usuários finais explorem  visualmente os padrões e as previsões produzidas pelos modelos de data mining. Automatização de Fluxos de Trabalho: A integração entre plataformas de data mining e sistemas de BI pode automatizar o fluxo de dados desde a coleta e análise até a geração de relatórios, aumentando a eficiência operacional.
                       • Tableau
                       • Power BI
                       • Qlik
                       • Agrupamento, ou Clustering, é uma técnica de data mining que organiza objetos em grupos cujos membros são similares entre si mais do que com membros de outros grupos.
                     • APLICAÇÕES PRÁTICAS
                       • Marketing e Vendas
                       • Finanças e Bancos
                       • Saúde e Medicina
                       • Governança e Adm Pública
                       • TENDÊNCIAS FUTURAS
                         • Avanços em Inteligência Artificial e Machine Learning
                         • Data Mining e IoT
                           • A expansão da IoT está criando novas oportunidades para o data mining, à medida que dispositivos conectados geram quantidades massivas de dados em tempo real.
                           • Edge Analytics: Com o aumento dos dispositivos IoT, a análise de dados está se movendo para a “borda” da rede, onde os dados são gerados e coletados, permitindo respostas mais rápidas e redução na necessidade de transmissão de grandes volumes de dados.
                             • • Edge Analytics: Com o aumento dos dispositivos IoT, a análise de dados está se movendo para a “borda” da rede, onde os dados são gerados e coletados, permitindo respostas mais rápidas e redução na necessidade de transmissão de grandes volumes de dados.
                           • - Segurança e Monitoramento: O data mining é aplicado para monitorar a integridade e o desempenho dos dispositivos IoT, além de identificar potenciais ameaças à segurança em tempo real.
                             • Segurança e Monitoramento: O data mining é aplicado para monitorar a integridade e o desempenho dos dispositivos IoT, além de identificar potenciais ameaças à segurança em tempo real.
                         • INOVAÇÕES EM ANÁLISE PREDITIVA E PRESCRITIVA
                           • MODELOS PREDITIVOS AVANÇADOS: Os modelos estão se tornando mais sofisticados, utilizando dados históricos e em tempo real para prever eventos futuros com maior precisão
                             • : Os modelos estão se tornando mais sofisticados, utilizando dados históricos e em tempo real para prever eventos futuros com maior precisão.
                           • ANÁLISE PRESCRITA - Esta forma avançada de análise não apenas prevê o que vai acontecer, mas também sugere ações que podem ser tomadas para aproveitar as previsões ou mitigar os riscos, integrando-se perfeitamente com sistemas de tomada de decisão automatizada.
                             • Esta forma avançada de análise não apenas prevê o que vai acontecer, mas também sugere ações que podem ser tomadas para aproveitar as previsões ou mitigar os riscos, integrando-se perfeitamente com sistemas de tomada de decisão automatizada.
             • - Data mining é uma disciplina crucial dentro da ciência de dados que envolve o processo de descobrir padrões e extrair informações úteis de grandes conjuntos de dados.
           • Etapas
             • 1 - Seleção
             • 2 - Pré-processamento
             • 3 - Transformação
             • 4 - Mineração
             • 5 - Avaliação

Images and files in the map