Anotações curso Luan BigData

Página 1

PENSE NA SOLUÇÃO E NÃO NA TECNOLOGIA!!!

Estudar Trilha para certificação bigdata

Azure https://www.edx.org/microsoft-professional-program-big-data

Google - https://www.coursera.org/specializations/gcp-data-machine-learning

AWS - https://acloud.guru/

HortonWorks - https://br.hortonworks.com/services/training/#training-page

Cloudera - https://www.cloudera.com/

Public Cloud Services Comparison - www.comparecloud.in

HDF e HDP - https://br.hortonworks.com/products/data-platforms/

--O Hortonworks DataFlow (HDF) coleta, auxilia, analisa e fornece dados em tempo real a partir da Internet de Todas as Coisas (IOAT) – dispositivos, sequência de cliques de sensores, arquivos de registro e muito mais.

--A Hortonworks Data Platform (HDP) permite a criação de um data lake corporativo seguro e oferece as analíticas que você precisa para obter insights de negócios rápidos, inovadores e poderosos.

PolyBase SQL 2016 - O PolyBase é uma tecnologia que acessa dados fora do banco de dados por meio da linguagem t-sql.No SQL Server 2016, ela permite executar consultas em dados externos no Hadoop ou importar/exportar dados do Armazenamento de Blobs do Azure.

R & Python no SQL Server 2017 – In-Database Machine Learning Services

https://luanmorenodba.com/2017/10/18/r-python-no-sql-server-2017-in-database-machine-learning-services/

JSON - Estudar!!!

DB NoSQL - Estudar!!! - www.nosql-database.org

Hadoop - Hadoop é uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes volumes de dados, com atenção a tolerância a falhas.

Hadoop é dividido em 3 partes - 1 HDFS / 2 Yarn / 3 Mapreduce

HDFS - https://www.ibm.com/developerworks/br/library/wa-introhdfs/index.html

YARN -

MAPREDUCE - https://www.devmedia.com.br/hadoop-mapreduce-introducao-a-big-data/30034

SPARRK - https://www.devmedia.com.br/introducao-ao-apache-spark/34178

http://cio.com.br/tecnologia/2016/07/07/hadoop-vs-spark-o-que-e-melhor-para-o-seu-negocio/

TEZ - https://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-tez.html

HD INSIGHT - https://docs.microsoft.com/pt-br/azure/hdinsight/hadoop/apache-hadoop-introduction

APACHE HIVE - https://www.devmedia.com.br/apache-hive-simplificando-solucoes-bigdata/30582

ORC - https://br.hortonworks.com/blog/apache-orc-launches-as-a-top-level-project/

https://orc.apache.org/

APACHE DRILL - https://translate.googleusercontent.com/translate_c?depth=1&hl=pt-BR&prev=search&rurl=translate.google.com.br&sl=en&sp=nmt4&u=http://drill.apache.org/docs/drill-introduction/&xid=17259,15700021,15700124,15700149,15700168,15700186,15700191,15700201,15700208&usg=ALkJrhjIt2BFA-0_MdTzgmV0w-tTQ7ek_Q

PIG - https://www.devmedia.com.br/big-data-conhecendo-o-apache-pig/31534

POLYBASE A PARTIR DO SQL SERVER 2016-

https://docs.microsoft.com/pt-br/sql/relational-databases/polybase/polybase-guide?view=sql-server-2017

https://36chambers.wordpress.com/?/POLYBASE

PHOENIX - https://br.hortonworks.com/apache/phoenix/

HBASE - https://br.hortonworks.com/apache/hbase/

PYTHON - https://pt.wikipedia.org/wiki/Python

Muito utilizado no Apache Spark.

SPARK SQL - https://www.devmedia.com.br/apache-spark-trabalhando-com-sql-em-aplicacoes-big-data/34251

JUPYTER NOTEBOOK - https://imasters.com.br/cloud/jupyter-notebook-na-nuvem-para-analises-com-muitos-dados

DATA MIGRATION GUIDE MICROSOFT - https://datamigration.microsoft.com/

Azure CosmosDB - https://azure.microsoft.com/pt-br/services/cosmos-db/

Azure Search - https://azure.microsoft.com/pt-br/services/search/

Kafka - https://azure.microsoft.com/pt-br/services/hdinsight/apache-kafka/

Desenvolvido para conectar em meios distintos para capturar dados e processamento Streaming.

DataBricks - https://azure.microsoft.com/pt-br/services/databricks/

Versão melhorada do Spark transformada para nuvem…

Azure DataLake Storage - https://azure.microsoft.com/pt-br/services/storage/data-lake-storage/

Storage Azure independente do HDFS(Hadoop), este storage fica fora do ecossistema do Hadoop!

Storm - https://www.ibm.com/developerworks/br/library/os-twitterstorm/index.html

https://www.devmedia.com.br/storm-vs-spark-uma-introducao-a-fast-data/33048

Processamento em realtime!

TIPOS DE CLUSTER;

Hadoop

Hbase

Storm

Spark

Kafka

Interactive Query

R Server

Azure Event Hubs - Mesma proposta que o Kafka porém um serviço dentro do Azure que é comercializado como plataforma como serviço!

https://azure.microsoft.com/pt-br/services/event-hubs/

CONFLUENT - Container do Kafka, mesmo conceito do HortonWorks, permite executar querys SQL no Kaftka em tempo real no Streaming.

https://www.confluent.io/what-is-apache-kafka/

Arquiteto de dados - Entende e desenha a solução.

Engenheiro de dados - Implementa e administra a solução.

Cientista de dados - Trabalha os dados em cima da infra estrutura já existente.

Data Lake - Armazena o dado bruto para possíveis análises! Diferentemente de um Data wareHouse que armazena dados já trabalhados!

http://datascienceacademy.com.br/blog/os-4-estagios-para-construir-um-data-lake-de-forma-eficiente/

Apache Sqoop - http://www.bigdatabusiness.com.br/apache-sqoop-e-unificacao-de-dados/