o que fazer com dados

o que fazer com dados

1. introdução ao gerenciamento de Big Data

   • Com as arquiteturas de Big Data, é possível analisar os dados armazenados para ter mais informações sobre o negócio
   • Em relação às empresas que já investiram no Apache Hadoop e no Apache Spark e querem continuar usando essas ferramentas, o Dataproc tem uma ótima maneira de executar software de código aberto no Google Cloud.
   • Dataflow é otimizado para o processamento em lote em grande escala ou para o processamento de stream duradouro de dados estruturados e não estruturados.
   • BigQuery é o 3º serviço gerenciado, oferece uma solução de análise de dados otimizada para ter respostas rápidas em conjuntos de dados em escala de petabytes. Com o ele, você faz consultas SQL em dados não estruturados com rapidez.

2. Aprimorar as operações

   • Dataproc oferece
     • Apache Hadoop é um conjunto de ferramentas e tecnologias que ativa um cluster de computador para armazenar e processar volumes grandes de dados
     • O Apache Spark é uma ferramenta de análise unificada de alto desempenho para processamento de dados em larga escala para lidar com dados stream e em lote.
     • as principais funcionalidades do Dataproc. Custo-benefício, Rápido e escalonável, Ecossistema de código aberto, Totalmente gerenciado, Integração nativa
   • Dataproc é um serviço gerenciado do Spark e do Hadoop com ferramentas de código aberto para processamentos em lote, consultas, streaming e machine learning. Com a automação do Dataproc, você cria clusters rapidamente e os gerencia com facilidade.

3. Criar pipelines de extração, transformação e carregamento de dados

   • Com o Dataproc, você consegue migrar a implantação original de Big Data com o Apache Hadoop e com o Apache Spark para um serviço totalmente gerenciado oferecido pelo Google Cloud
   • O Dataflow é um serviço gerenciado que é otimizado para o processamento em lote em grande escala ou para o processamento de stream de longa duração
   • Dataflow cria um pipeline para processar dados em lote e de streaming.
     • "Processar", nesse caso, se refere às etapas de extração, transformação e carregamento de dados, ou ETL.
     • Ao criar um pipeline de dados, os engenheiros de dados enfrentam desafios relacionados a programar o design do pipeline 00:50 e implementar e exibir o pipeline em grande escala
   • O Dataflow automatiza totalmente tarefas operacionais como gestão de recursos e otimização de desempenho.
   • a integração com o Cloud Storage, Pub/Sub, Datastore, Cloud Bigtable e BigQuery para um processamento de dados otimizado entre plataformas.