Write a file to local disks on all nodes of a YARN cluster.

2013-12-08 Thread Jay Vyas
I want to put a file on all nodes of my cluster, that is locally readable (not in HDFS). Assuming that i cant gaurantee a FUSE mount or NFS or anything of the SORT on my cluster, is there a poor man's way to do this in yarn? something like for each node n in cluster: n.copToLocal(a,/tmp/a);

Re: Write a file to local disks on all nodes of a YARN cluster.

2013-12-08 Thread Adam Kawa
I believe that you could do that through Puppet, or any tool that can remotely execute some command (e.g. pssh). 2013/12/8 Jay Vyas jayunit...@gmail.com I want to put a file on all nodes of my cluster, that is locally readable (not in HDFS). Assuming that i cant gaurantee a FUSE mount or

Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Moving disks from datanodes

2013-12-08 Thread Steve Edison
I have a 10 node cluster and I want to reclaim 5 nodes without moving the data. I have only 1 copy (rep count 1) in my cluster. Don't ask me why ? What I want to do: Take out the 3 TB data disks /disk1 and /disk2 from the 5 to-be-decommissioned nodes. Move the disks physically to the other

Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Re: Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Re: Re: Re: Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Re: Re: Re: Re: Re: Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Moving disks from datanodes

2013-12-08 Thread rp
Sehr geehrte Damen und Herren, Herr Pappert ist nicht mehr für unser Unternehmen tätig. Ihre E-Mail wird nicht weitergeleitet. Bitte schicken Sie uns Ihre E-Mail an i...@luenebits.de Sie können uns wie folgt erreichen: luenebits GmbH Uelzener Str. 14 21335 Lüneburg Tel. 04131/9980880

Re: Streaming Sensor Data using Flume

2013-12-08 Thread Peyman Mohajerian
Your flume source is a 'custom source', you will put the code for connecting to the source data there and then link the flume source with the channel and hdfs sink. There is a twitter example in the cloudera blog, a three part blog that explains this in nice details. On Sun, Dec 8, 2013 at 9:58

Re: Hadoop-MapReduce

2013-12-08 Thread Ranjini Rathinam
Hi, As suggest by the link below , i have used for my program , but i am facing the below issues, please help me to fix these error. XmlReader.java:8: XmlReader.Map is not abstract and does not override abstract method

Re: Hadoop-MapReduce

2013-12-08 Thread Ranjini Rathinam
Hi, As suggest by the link below , i have used for my program , but i am facing the below issues, please help me to fix these error. XmlReader.java:8: XmlReader.Map is not abstract and does not override abstract method