Data Mining: conceitos básicos

Data Mining: conceitos básicos

1. Conceitos básicos

   • Definição de Data Mining
     • Análise de grandes quantidades de dados a fim de encontrar padrões e regras que possam ser usadas para orientar a tomada de decisões e prever o comportamento futuro
     • Processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis
     • Data mining é parte de um processo maior de pesquisa denominado Busca de Conhecimento em Banco de Dados (Knowledge Discovery in Database - KDD)
       • No entanto, tornou-se mais conhecida do que o próprio processo de KDD em função de ser a etapa na qual são usadas técnicas de busca de conhecimentos
       • KDD possui uma metodologia própria para preparação e exploração dos dados, interpretação de seus resultados e assimilação dos conhecimentos minerados
   • Tarefas
     • Classificação 1
       • Tarefas descritivas
         • Caracterizam as propriedades gerais dos dados em um banco de dados
         • Focam em achar padrões reconhecidos por seres humanos para descrever os dados
       • Tarefas preditivas
         • Realizam uma inferência sobre os dados atuais para fazer previsões futuras
         • Usa variáveis para prever valores futuros ou desconhecidos de outras variáveis
     • Classificação 2
       • Top-down (teste de hipóteses)
         • Um comportamento armazenado no banco de dados passado verifica ou refuta ideias preconcebidas referente às relações nos dados
       • Bottom-up (descoberta de conhecimento)
         • A análise sobre os dados é feita sem suposições prévias
         • Os dados são autorizados a falar por si
   • Técnicas de mineração de dados
     • Técnicas estatísticas
     • Técnicas de aprendizado de máquina
     • Técnicas baseadas em crescimento-poda-validação
   • Características aplicadas aos conjuntos de dados
     • Dimensão: refere-se à quantidade de atributos de um conjunto de dados
     • Dispersão: Um conjunto de dados é muito disperso quando para um atributo relevante, a maioria dos valores é NULL ou um valor padrão
     • Resolução: está relacionada à granularidade dos dados
   • Métodos para identificar padrões em dados
     • Modelo simples: Consultas baseadas em SQL, OLAP, raciocínio humano
     • Modelos intermediários: Regressão, árvores de decisão, agrupamento
     • Modelos complexos: Redes neurais, indução de regras
   • Aspectos motivadores de mineração de dados
     • Escalabilidade
     • Dados complexos e heterogêneos
     • Análises não tradicionais
     • Propriedade e distribuição de dados
     • Alta dimensionalidade

2. Conceitos complementares

   • Classificação de mineração de dados
     • Preditiva: pode mostrar como certos atributos dos dados irão se comportar no futuro
     • Textual: Processo de obtenção de informação utilizando fontes de dados textuais
       • Aplicações em classificação automática de textos e busca de agrupamentos
     • Espacial: Processo de descoberta de padrões utilizando bancos de dados espaciais povoados por mapas
   • Representação do conhecimento
     • Não estruturado: Regras, lógica proposicional
     • Estruturado: Árvores de decisão, redes semânticas, redes neurais, hierarquias de classes, frames
   • OLAP x Data mining
     • OLAP: Representa a característica de trabalhar os dados com operadores dimensionais. Possibilita uma forma múltipla e combinada de análise
     • Data mining: Está mais relacionado com os processos de análise de inferência do que com a análise dimensional de dados
       • Representa uma forma de busca de informação baseada em algoritmos que objetivam o reconhecimento de padrões escondidos nos dados
       • Esses padrões não são necessariamente revelados pelas outras abordagens analíticas, como OLAP

3. Técnicas de mineração

   • Análise de afinidade: Determina que alguns fatos ocorrem simultaneamente com probabilidade razoável, ou então que itens de dados estão presentes conjuntamente com uma chance razoável
   • Estimativa: Esta técnica é utilizada para determinar um valor aproximado de uma variável através de dados que foram passados ou de dados adquiridos de outras variáveis semelhantes, sobre os quais se tem conhecimento
   • Previsão: Esta técnica tem por objetivo a avaliação de um valor de uma variável ainda não identificada, baseando-se em dados adquiridos através do comportamento desta variável ao longo do tempo

4. Objetivos do Data Mining

   • Conhecer o comportamento de certos atributos no futuro
   • Possibilitar a análise de determinados padrões de eventos
   • Categorizar perfis individuais ou coletivos de interesse comercial
   • Apoiar a otimização do uso de recursos limitados e/ou maximizar variáveis de resultado para a empresa