Sqoop

Sqoop

1. tem como objetivo executar a transferência eficiente e bidirecional de dados entre o Hadoop e diversos serviços de armazenamento externo de dados estruturados

2. processamento massivo de dados de diversos tipos (estruturados, semiestruturados e não estruturados)

3. capacidade de importação dos dados direto para o Hive

4. Sqoop utiliza JDBC

5. sqoop import –connect jdbc:mysql://mysql.example.com/BDTeste –username eduardo –password 123456 –query “SELECT id, cidade, pais FROM cidades WHERE $CONDITIONS AND id > 100” –target-dir /etl/input/cidades –split-by id

6. sqoop export –connect jdbc:mysql://mysql.example.com/DBTeste –username eduardo –password 123456 –table cidades –staging-table staging_cidades