Thank you ram, we will explore the options.

Regards,
Surya Vamshi

From: Munagala Ramanath [mailto:[email protected]]
Sent: 2016, June, 29 11:57 AM
To: [email protected]
Subject: Re: Reading gZip File from Http

Nothing available out-of-the-box but there are some pieces that may be useful:
https://github.com/apache/apex-malhar/blob/master/library/src/main/java/com/datatorrent/lib/io/AbstractHttpInputOperator.java

For the Zip part, there is an example using GZip for output here:
https://github.com/apache/apex-malhar/blob/master/library/src/main/java/com/datatorrent/lib/io/fs/FilterStreamCodec.java

You can explore a similar approach using java.util.zip.ZipInputStream for input.

Ram


On Wed, Jun 29, 2016 at 7:24 AM, Mukkamula, Suryavamshivardhan (CWM-NR) 
<[email protected]<mailto:[email protected]>>
 wrote:
Hi,

Please suggest if we can read a zip file from http URL , unzip and stream the 
data to HDFS by using data torrent ?

Regards,
Surya Vamshi


_______________________________________________________________________

If you received this email in error, please advise the sender (by return email 
or otherwise) immediately. You have consented to receive the attached 
electronically at the above-noted email address; please retain a copy of this 
confirmation for future reference.

Si vous recevez ce courriel par erreur, veuillez en aviser l'expéditeur 
immédiatement, par retour de courriel ou par un autre moyen. Vous avez accepté 
de recevoir le(s) document(s) ci-joint(s) par voie électronique à l'adresse 
courriel indiquée ci-dessus; veuillez conserver une copie de cette confirmation 
pour les fins de reference future.

_______________________________________________________________________
If you received this email in error, please advise the sender (by return email 
or otherwise) immediately. You have consented to receive the attached 
electronically at the above-noted email address; please retain a copy of this 
confirmation for future reference.  

Si vous recevez ce courriel par erreur, veuillez en aviser l'expéditeur 
immédiatement, par retour de courriel ou par un autre moyen. Vous avez accepté 
de recevoir le(s) document(s) ci-joint(s) par voie électronique à l'adresse 
courriel indiquée ci-dessus; veuillez conserver une copie de cette confirmation 
pour les fins de reference future.

Reply via email to