Yes, it was my intention to write scala code. But I may have failed to write a correct one that compiles. Apologies.
Also, something to keep in mind. This is the dev mailing for Spark developers. Questions related to using Spark should be sent to [email protected] TD 2014/1/28 Eduardo Costa Alfaia <[email protected]> > Hi Tathagata, > > This code that you have sent me is it a scala code? > > yourDStream.foreachRDD(rdd => { > > // Get and print first n elements > val firstN = rdd.take(n) > println("First N elements = " + firstN) > > // Count the number of elements in each batch > println("RDD has " + rdd.count() + " elements") > > }) > > Thanks > > > > Il giorno 20 gennaio 2014 19:11, Tathagata Das > <[email protected]>ha scritto: > > > Hi Eduardo, > > > > You can do arbitrary stuff with the data in a DStream using the operation > > foreachRDD. > > > > yourDStream.foreachRDD(rdd => { > > > > // Get and print first n elements > > val firstN = rdd.take(n) > > println("First N elements = " + firstN) > > > > // Count the number of elements in each batch > > println("RDD has " + rdd.count() + " elements") > > > > }) > > > > > > Alternatively, just for printing the counts, you can also do > > > > yourDStream.count.print() > > > > Hope this helps! > > > > TD > > > > > > > > 2014/1/20 Eduardo Costa Alfaia <[email protected]> > > > > > Hi guys, > > > > > > Somebody help me, Where do I get change the print() function to print > > more > > > than 10 lines in screen? Is there a manner to print the count total of > > all > > > words in a batch? > > > > > > Best Regards > > > -- > > > --- > > > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI > > > > > > I dati utilizzati per l'invio del presente messaggio sono trattati > > > dall'Università degli Studi di Brescia esclusivamente per finalità > > > istituzionali. Informazioni più dettagliate anche in ordine ai diritti > > > dell'interessato sono riposte nell'informativa generale e nelle notizie > > > pubblicate sul sito web dell'Ateneo nella sezione "Privacy". > > > > > > Il contenuto di questo messaggio è rivolto unicamente alle persona cui > > > è indirizzato e può contenere informazioni la cui riservatezza è > > > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e > > l'uso > > > in mancanza di autorizzazione del destinatario. Qualora il messaggio > > > fosse pervenuto per errore, preghiamo di eliminarlo. > > > > > > > -- > --- > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI > > I dati utilizzati per l'invio del presente messaggio sono trattati > dall'Università degli Studi di Brescia esclusivamente per finalità > istituzionali. Informazioni più dettagliate anche in ordine ai diritti > dell'interessato sono riposte nell'informativa generale e nelle notizie > pubblicate sul sito web dell'Ateneo nella sezione "Privacy". > > Il contenuto di questo messaggio è rivolto unicamente alle persona cui > è indirizzato e può contenere informazioni la cui riservatezza è > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso > in mancanza di autorizzazione del destinatario. Qualora il messaggio > fosse pervenuto per errore, preghiamo di eliminarlo. >
