Técnicas para implementação de OLAP (ALVES)

Técnicas para implementação de OLAP (ALVES)

1. OBJETIVOS DE APRENDIZAGEM

   • Descrever a implementacao de OLAP por indices de mapas de bits
   • Determinar a implementacao de OLAP por indices de juncao
   • Avaliar a implementacao de OLAP por organizacoes de arquivo

2. Introdução

   • Um data warehouse (DW) é um deposito de dados projetado para concentrar e aglomerar uma grande quantidade de dados historicos provenientes de diferentes fontes
   • Fornece suporte a analises avançadas de Business Intelligence (BI)
   • Os recursos de analise do DW permitem que as empresas obtenham informaçoes de negocios estrategicos de seus dados para aperfeicoar a tomada de decisoes
   • Analistas e gerentes de negocios utilizam o OLAP (Online Analytical Pro- cessing) para acessar esse grande repositoriesformações, fazer a analise dos dados desses negocios estrategicos de forma interativa
   • OLAP facilitar a busca dos dados em DW, podem ser utilizadas algumas tecnicas de implementacao baseadas em indices ou na organizacao dos arquivos

3. Implementação de OLAP por indices de mapas de bits

   • Os ambientes que apoiam as tomadas de decisoes sobre os negocios de uma empresa são caracterizados, principalmente, como somente leitura
   • Os ambientes são ricos em consultas complexas em grandes conjuntos de dados e possum alto grau de seletividade nos dados
   • A implementação de OLAP por indices de mapas de bits (bitmap index) tem se tornado promissora no processo consultas de alta complexidade para apolar a tomada de decisão
     • Esse tipo de indice é muito util para atributos de baixa cardinalidade. Quanto maior for a cardinalidade de um atributo indexado, maior sera o tamanho de um indice de mapas de bits.
   • Vantagens dos Indices de mapas de bits
     • O indice é mais compacto, uma vez que se pode utilizar representacao de um vetor de bit para longas listas
     • Redução no tempo de resposta em comparacao com outros tipos de indices
     • Grandes ganhos no desempenho do hardware
     • Manutencao eficiente quando se tem comandos DML Linguagem de Manipulacao de Dados, sendo executados paralelamente.
   • Desvantagens dos incides de mapas de bits
     • Baixo desempenho quando se tem colunas de alta cardinalidade
     • As modificaçoes em indices podem demandar mais esforço
   • Tecnicas de implementação de mapa de bits
     • Codificação: essa tecnica utiliza codificaçao binaria para otimizar as consultas por meio de tres metodos
       • Equality encoding: equivalente ao indice de mapa de bits na sua forma basica.
       • Interval encoding: Possui um numero menor de mapa de bits para compor os indices
       • Range encoding: utiliza a mesma forma basica, porem realiza as consultas por faixas de valores
       • Compressão: Encontra muitos vetores de bits esparsos no DW, o algoritmo utiliza isso para separa-los em partes iguais e cria a "cauda" e o "preenchimento" como formas de interpretacao dos dados
       • Binning: Essa tecnica permite o agrupamento de varias chaves das tabelas de dimensao em estruturas de mapa de bits semelhantes a categorias. Dessa forma, menos sequencia de mapas de bits são necessarias para fazer a codificação de uma determinada coluna

4. Implementação de OLAP por indices de junção

   • Pode ser complicado utilizar funções de junção quando se tem muitos relacionamentos, bem como quando há necessidade de tempo de resposta curto.
   • Os indices de junção podem ser aplicados em casos nos quais se tem mais de dois relacionamentos
   • Nos DW, os indices de junção relacionam os valores da tabela de dimensoes as linhas na tabela de fato
   • Os indices de junção podem abranger varias dimensoes para formar indices de juncao compostos.
   • Como o DW utiliza o modelo star schema, o indice de juncao torna-se interessante quando se tem buscas em tabelas multidimensionals
   • A ligação entre uma tabela de fatos e as suas tabelas de dimensoes correspondentes no DW e a chave estrangeira da tabela de fatos e a chave primaria da tabela de dimensões

5. Implementação de OLAP por organizações de arquivo

   • O particionamento vertical torna-se uma estrategia interessante quando se tem colunas de grandes relacionamentos em muitas consultas OLAP
   • Armazenar um relacionamento em colunas pode prejudicar o desempenho de consultas que envolvem varias colunas
   • Uma alternativa para esse problema seria armazenar o relacionamento em linhas ou em cada coluna separada, ja que o ambiente geralmente e de somente leitura
   • Os registros em um arquivo fisico sao organizados, de modo que possam ser recuperados de forma eficiente
   • A organizacao de arquivos refere-se ao arranjo fisico de dados em um arquivo em registros e blocos de armazenamento secundario . Existem duas categorias de metodos de organizacao de arquivos
     • Metodos de organização de arquivos primarios: determinam a posição fisica dos registros armazenados em uma midia.
     • Metodos de organização de arquivos secundarios: fornecem ideias para recuperar os registros de forma eficiente, com base em uma busca diferente daquela utilizada para organizar os arquivos com os metodos primarios
     • Contudo, pode-se aplicar somente uma organizacao de arquivo primario em um arquivo especifico, visto que essa categoria afeta diretamente a or- dem fisica dos registros. Dessa forma, e possivel evitar duplicacoes.
   • Os metodos de organizacao secundarios não afetam a localizacao fisica de um registro e, invariavelmente, utilizam algum tipo de indice, chamado de indice secundario.
   • Existem três tipos principais de organização de arquivos primarios
     • Arquivos não ordenados (heap file)
       • Esse tipo de organização de arquivo primario, tambem conhecido como heap file ou unordered file, é o metodo de organização mais basico, pois consiste na insercao de novos registros no final do arquivo, ou seja, os registros sao colo- cados no arquivo na mesma ordem em que sao inseridos
       • Apesar da sua simplicidade, esse metodo é ineficiente, pois a recuperacao dos registros e muito lenta, ja que os atributos e a localizacao fisica nao estao relacionados, de modo que varios blocos dos arquivos precisam ser lidos em sequencinge que o registro buscado seja encontrado
       • O uso desse tipo de organizacao de arquivos é recomendado quando:
         • Quando se tem carregamento de um grande volume de dados
         • Quando se deseja uma busca mais rapida, se comparada com a organizacao de arquivo sequencial de banco de dados menores
         • Em contrapartida, o seu uso não é eficiente quando se tem um banco de dados muito grande, alem de apresentar problemas de nao utilizacao de blocos de memoria
         • Metodo de arquivo de pilha (pile file method): nesse metodo, os registros são armazenados em uma sequeciual ou seja, um apos o outro, sequencial
           • Dessa forma, os registros serao inserido na ordem em que sao inseridos nas tabelas
           • Quando for necessario atualizar ou excluir algum registro, ele sera buscado nos blocos de memoria e, quando encontrado, sera marcado para ser excludo, finalizando com a insercao de um novo registro.
     • Hash (Hash file)
       • utiliza se a função hash para calcular o endereco do bloco em que um registro deve ser armazenado com base em um ou mais campos
       • O hashing é uma tecnica eficiente para fazer uma busca no local desejado sem utilizar a estrutura de indice. O local de memoria em que esses registros sao armazenados e chamado de bloco de dados, ou data bucket
       • Os registros são colocados em ordem conforme chegam ao bloco de dados. Contudo, uma colisao ocorre quando um bloco de dados fica cheio e e preciso inserir um novo registro nele
       • Apesar de o hashing fornecer o acesso mais rapido possivel para recuperar um registro, o gerenciamento de colisoes faz o desempenho geral diminuir.
     • sequencial (sequential file ou ordered file)
       • Tem seus registros classifi-cados nos valores de um ou mais campos. Por meio desses campos, os arquivos ordenados possibilitem que as consultas os registros sejam aceleradas.
       • A organização em arquivos sequenciais utiliza ponteiros para recuperacoes rapidas, uma vez que nao sera preciso acessar todos os blocos ate encontrar o registro desejado
       • Metodo de arquivo ordenado (sorted file method): nesse metodo, o novo registro e sempre inserido no final do arquivo, e, em seguida, a sequencingera classificada, com base na chave primaria ou outra, de forma crescente ou decrescente
         • Quando for necessario alterar algum registro, esse metodo faz a sua atualizacao e classificacao, e, depois disso, o registro atualizado sera alocado no lugar adequado.
         • Contudo, apesar de ser considerado um metodo simples, pode-se levar mais tempo e espaco para ordenar os arquivos.