WordCount

Descrição

WordCount
Nilesh Patel
Notas por Nilesh Patel, atualizado more than 1 year ago
Nilesh Patel
Criado por Nilesh Patel aproximadamente 6 anos atrás
4
0

Resumo de Recurso

Página 1

Word Count:   Example 1 (RDD) val txtfile=sc.textFile("C:/Users/Redirection/pateln7/Downloads/SPARK/wordcount.txt") val txtflatmap= txtfile.flatMap(x=>x.split(" ")) txtflatmap.first val txtmap=txtflatmap.map(x=>(x,1)) txtmap.first val output=txtmap.reduceByKey(_+_) output.foreach(println)   Single line : val output = txtfile.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_) output.foreach(println)     Example 2  (RDD) val txtfile=sc.textFile("C:/Users/Redirection/pateln7/Downloads/SPARK/wordcount.txt") val txtflatmap= txtfile.flatMap(x=>x.split(" ")) txtflatmap.first val txtmap=txtflatmap.map(x=>(x,1)) txtmap.first val output = txtmap.reduceByKey((x,txtmap)=>(x+txtmap)).foreach(println)   Example 3 (for Array[(string ,Int) ] type data  val str = "Hell saying hello is good, keep say hello"  val x =str.split(" ").map(x=> (x, 1))  val q = sc.parallelize(x)  q.reduceByKey(_+_).foreach(println)

Semelhante

Filter and Map
Nilesh Patel
Joins
Nilesh Patel
Setup spark scala in windows
Nilesh Patel
Equações do 1o grau
Rosana Guimarães Brito
REDES DE COMPUTADORES
quirinodox
Revisão de Sociologia 1a. série do Ensino Médio
e-pn-2007@hotmail.co
Gute Gewohnheiten erfolgreicher Schüler
miminoma
Certo e Errado - Língua Portuguesa
Sérgio Britto
Contextualização da Aula 3 - Tecnologia na Formação Profissional - SAÚDE
Fabrícia Assunção