Data Mining: tarefas de mineração

Data Mining: tarefas de mineração

1. Tarefas de mineração

   • Regras de associação
     • Relacionam a presença de um conjunto de itens com outra faixa de valores de outro conjunto de variáveis
     • Suporte
       • Medida objetiva para avaliar o interesse de uma regra de associação
       • Representa a porcentagem de transações (%) de um banco de dados de transações onde a regra se verifica
       • Partição: Se tivermos um banco de dados com um número potencial pequeno de conjuntos de itens grandes, digamos, uns poucos milhares, então o suporte para todos eles pode ser calculado em uma passagem
     • Confiança
       • Outra medida objetiva para regras de associação que mede o grau de certeza de uma associação
       • Em termos estatísticos, trata-se simplesmente da probabilidade condicional P (X|Y)
         • Porcentagem de transações contendo os itens de X que também contém os itens de Y
     • Decomposição do problema de regras de associação
       • Gerar todas as combinações de itens
       • Descobrir conjuntos de itens
       • Gerar as regras de associação para a base de dados
     • Algoritmo Apriori
       • Este algoritmo recebe como parâmetro um conjunto de transações T, o valor percentual S como o suporte e um valor percentual C para a confiança
       • O algoritmo gera um conjunto de regras no formato A => B [suporte, confiança], em que o conjunto A é chamado de antecedente da regra e o conjunto B, consequente
       • Cada regra gerada deve ter seu suporte e sua confiança maior ou igual ao suporte e confiança mínimo passado para o algoritmo, respectivamente
   • Classificação
     • Características
       • Consiste em examinar as características de um objeto recém apresentados e atribuí-lo a um dos conjuntos predefinidos de classes
       • Definição mais formal: Aprendizado de uma função alvo f que mapeia cada atributo de um conjunto x para um rótulo de classe predefinido y
       • Tem o propósito de utilizar o modelo para predizer a classe dos objetos que ainda não foram classificados
       • Utiliza um aprendizado supervisionado para separar classes em grupos distintos
         • Treinamento com dados previamente rotulados em suas classes
     • Técnicas usadas
       • Árvores de decisão
         • Representa o conhecimento adquirido por meio de regras
         • Essas regras podem ser expressas em linguagem natural, facilitando o entendimento por parte das pessoas
       • Redes neurais
       • CART (Classification and Regression Trees)
         • Traduz o resultado de uma partição binária recursiva dos dados base da modelagem
         • Esse algoritmo é um modelo de regressão não paramétrico que estabelece uma relação entre as variáveis independentes (x) com uma única variável dependente (resposta ou target)
         • O modelo é ajustado mediante sucessivas divisões binárias no conjunto de dados para tornar os subconjuntos de dados da variável resposta cada vez mais homogêneos
   • Agrupamento (Clustering)
     • Características
       • Trabalha sobre dados nos quais as classes não estão definidas, diferente da classificação e da predição
       • Identifica agrupamento de objetos, que definem uma classe
       • Conhecido também como aprendizado não supervisionado
       • Chamado também de classificação por estatísticos e de segmentação por pessoas de marketing
       • Dados em um mesmo grupo são semelhantes entre si e em grupos distintos diferentes entre si
     • Propriedades analisadas nas medidas de distância
       • Simetria:A é similar a B e B é similar a A
       • Constância de auto simetria: B não pode ser mais similar com A do que o próprio A
       • Positividade: Não existem objetos que sejam diferentes de um grupo e isso não possa ser constatado
       • Desigualdade triangular: A é similar a B, A é similar a C, logo B e C são similares
     • Tipos de algoritmos para agrupamentos
       • Algoritmos particionais objetivam construir partições e avaliá-las com algum critério
         • Análise de agrupamento K-means
           • 1- Escolha de k elementos que formarão as sementes iniciais
             • Seleção das k primeiras observações OU
             • Seleção aleatória de k observações OU
             • Escolha de k observações de modo que seus valores sejam bastante diferentes
           • 2- Escolhidas as sementes iniciais, a distância entre cada elemento em relação às sementes é calculada, agrupando o elemento ao grupo que possuir a menor distância
           • 3- O centroide de cada grupo é recalculado. O processo é repetido até que todos os elementos façam parte de um dos clusters
       • Algoritmos hierárquicos criam uma decomposição hierárquica de um conjunto de objetos utilizando algum critério