Knowledge Discovery in Databases (KDD)

Knowledge Discovery in Databases (KDD)

1. Seleção de Dados

   • é uma das principais etapas dos principais processos da Descoberta de Conhecimento em Banco de Dados, pois esta etapa é a responsável em efetuar a seleção o e filtragem dos dados que deverão ser avaliados pelas etapas seguintes do KDD. Os dados coletados nesta etapa refletem diretamente na qualidade do resultado final da análise da mineração de dados, de forma que estes dados são a principal fonte de informações da análise. Nesta etapa são efetuadas as análises de levantamentos das variáveis e grupo de variáveis necessárias para efetuar a seleção e extração dos dados da base selecionada. Para a execução desta etapa normalmente são escritas aplicações que ficam responsabilizadas por efetuar a extração das bases de dados, das quais estas podem ser originadas de diferentes fontes de dados. Esta aplicação também fica responsabilizada por efetuar as filtragens necessárias, para não trazer para a análise dados que não devem ser analisados e por conta disso, é muito importante também definir quais são os tipos de informações e quais são os filtros que a aplicação deve ter implementada para que a qualidade dos dados seja mantida. 

2. Pré-processamento

   • No Pré-processamento, os dados levantados pela etapa anterior podem possuir alguns caracteres indesejados, alguns ruídos ou possuir informações incompletas. Este tipo de situação normalmente ocorre quando os dados são selecionados de bases heterogêneas, quando são originárias de bancos de dados que não possuem um devido tratamento no gerenciamento de dados ou quando provém da internet. Para conseguir resolver estes problemas com os dados, é necessário efetuar a limpeza dos dados para que não existam interferências durante a execução do algoritmo de mineração de dados, onde são removidos qualquer tipo de caractere indesejado e descartadas as mensagens que possuem informações incompletas ou algum outro tipo de ruído que não possa ser tratado. O uso de Data Warehouse pode facilitar a tarefa de limpeza dos dados. Normalmente eles possuem uma organização e gerenciamento mais bem definido, que acabam mantendo os dados do banco de dados em um estado limpo. O uso dele contribui e facilita o processo de limpeza dos dados, para o qual será necessário menos tempo e esforço.

3. Transformação de Dados

   • A Transformação de Dados tem como objetivo adequar os dados em uma estrutura e formatação necessários conforme é exigido pelo procedimento do algoritmo de mineração de dados. Além de adequar estes dados, cada algoritmo exige uma determinada estruturação para que o algoritmo consiga executar as análises corretamente, sem interferências ou erros durante a execução. Nesta etapa ocorre a conversão dos tipos de dados, para que o algoritmo de mineração de dados consiga efetuar a análise, assim como a filtragem de treinamento para o algoritmo de mineração de dados.

4. A Mineração de Dados

   • A Mineração de Dados, envolve métodos e aplicações iterativas e interações de mineração de dados em particular. Ou seja, a mineração de dados é um processo automático ou semi-automático que visa explorar e analisar grandes bases de dados. Baseando-se nestas análises, poderão ser encontradas novos padrões e regras úteis e compreensíveis para o analista. Este tipo de análise que é efetuado de forma automática pela mineração de dados não seria possível de ser efetuadas por humanos em procedimentos convencionais devido ao grande volume de dados que teria que ser processado, de mesma forma que a imensidão de relações que a análise exige também não seria humanamente possível. Para resolver este tipo de problema, foram desenvolvidos algoritmos que trabalham de forma automática e semi- autônomos, que conseguem retornar o mesmo resultado que o efetuado por um ser humano. A interação e intervenção do analista ainda é exigida em alguns momentos para conseguir interpretar os resultados que a execução do algoritmo retornou, que é através da interpretação do analista que os padrões serão determinados como úteis ou não. Os algoritmos por si só efetuam o trabalho de encontrar as principais relações. Como o processo de mineração de dados não possui um procedimento padronizado para resolver qualquer problema, existem diversos algoritmos que podem ser usados para cada tipo de problema proposto. Estes algoritmos são classificados em dois grandes grupos que variam de acordo com o tipo de conhecimento que se deseja extrair. Estes grupos são Predição ou Atividades Preditivas e Descrição ou Atividades Descritivas. 
   • Predição ou Atividades Preditivas
   • Descrição ou Atividades Descritivas

5. Exibição dos Resultados

   •  é enquadrada no grupo de etapas de pós-processamento. Nesta etapa são efetuadas as seleções e ordenações das descobertas interessantes, efetuado o mapeamento de apresentação dos resultados obtidos e gerando relatório dos resultados. Existem muitas formas de apresentar estes dados, sendo através de gráficos, relatórios, tabelas ou qualquer outra forma de apresentação dos resultados. No momento de planejar sua atuação no mercado, uma organização precisa de informações disponíveis e relevantes para responder questionamentos a respeito de seu negócio. O termo Inteligência de Negócios, ou Business Intelligence (BI) é um termo cunhado pelo Gartner Group na década de 80 e descreve as habilidades das corporações para acessar dados e explorar as informações (normalmente contidas em uma Data Warehouse / Data Mart), analisando-as e desenvolvendo percepções e entendimentos a seu respeito. Isto permite incrementar e tornar mais pautada em informações as tomadas de decisão. Uma solução de BI permite monitorar o desempenho dos processos operacionais, táticos ou estratégicos por meio de indicadores de desempenho e apresentá-los em painéis de controle ou dashboard, com recursos analíticos e interativos que permitem cruzar e analisar informações, no tempo em que se precisa, transformando o processo de decisão em algo simples, rápido e eficiente.
   • 1. Extraction
   • 2. Transformation
   • 3. Loading