Desperate!!!! Expanding,shrinking cluster or replacing failed nodes.
Hello all, I have asked this question a couple of days ago but no one responded. I built a 6 node hadoop cluster, guided Michael Noll, starting with a single node and expanding it one by one. Every time I expanded the cluster I ran into error : java.io.IOException: Incompatible namespaceIDs So now my question is what is the correct procedure for expanding, shrinking a cluster? And how to replace a failed node? Can someone point me to the correct manuals. I have already looked at the available documents on the wiki and hadoop.apache.org but could not find the answers. Regards Hans-Peter Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. Aangezien de integriteit van het bericht niet veilig gesteld is middels verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of diensten levert zijn met uitsluiting van alle andere voorwaarden de Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op aanvraag direct kosteloos toegezonden. This e-mail and the documents attached are confidential and intended solely for the addressee; it may also be privileged. If you receive this e-mail in error, please notify the sender immediately and destroy it. As its integrity cannot be secured on the Internet, the Atos Nederland B.V. group liability cannot be triggered for the message content. Although the sender endeavours to maintain a computer virus-free network, the sender does not warrant that this transmission is virus-free and will not be liable for any damages resulting from any virus transmitted. On all offers and agreements under which Atos Nederland B.V. supplies goods and/or services of whatever nature, the Terms of Delivery from Atos Nederland B.V. exclusively apply. The Terms of Delivery shall be promptly submitted to you on your request. Atos Nederland B.V. / Utrecht KvK Utrecht 30132762
Re: Desperate!!!! Expanding,shrinking cluster or replacing failed nodes.
Hi, Here is quick info in section 1.5 http://wiki.apache.org/hadoop/FAQ So just briefly - when you add new node, and you are sure configuration on that one is fine, before you start anything you need to issue hadoop dfsadmin -refreshNodes after what you need to start datanode/mr services. Hope this helps! Regards, Dejan On Tue, Dec 20, 2011 at 1:42 PM, Sloot, Hans-Peter hans-peter.sl...@atos.net wrote: Hello all, I have asked this question a couple of days ago but no one responded. I built a 6 node hadoop cluster, guided Michael Noll, starting with a single node and expanding it one by one. Every time I expanded the cluster I ran into error : java.io.IOException: Incompatible namespaceIDs So now my question is what is the correct procedure for expanding, shrinking a cluster? And how to replace a failed node? Can someone point me to the correct manuals. I have already looked at the available documents on the wiki and hadoop.apache.org but could not find the answers. Regards Hans-Peter Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. Aangezien de integriteit van het bericht niet veilig gesteld is middels verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of diensten levert zijn met uitsluiting van alle andere voorwaarden de Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op aanvraag direct kosteloos toegezonden. This e-mail and the documents attached are confidential and intended solely for the addressee; it may also be privileged. If you receive this e-mail in error, please notify the sender immediately and destroy it. As its integrity cannot be secured on the Internet, the Atos Nederland B.V. group liability cannot be triggered for the message content. Although the sender endeavours to maintain a computer virus-free network, the sender does not warrant that this transmission is virus-free and will not be liable for any damages resulting from any virus transmitted. On all offers and agreements under which Atos Nederland B.V. supplies goods and/or services of whatever nature, the Terms of Delivery from Atos Nederland B.V. exclusively apply. The Terms of Delivery shall be promptly submitted to you on your request. Atos Nederland B.V. / Utrecht KvK Utrecht 30132762
RE: Desperate!!!! Expanding,shrinking cluster or replacing failed nodes.
But I ran into the : java.io.IOException: Incompatible namespaceIDs error every time. Should I config the files : dfs/data/current/VERSION and dfs/name/current/VERSION and conf/*site.xml from other existing nodes? -Original Message- From: Harsh J [mailto:ha...@cloudera.com] Sent: dinsdag 20 december 2011 14:30 To: common-user@hadoop.apache.org Cc: hdfs-...@hadoop.apache.org Subject: Re: Desperate Expanding,shrinking cluster or replacing failed nodes. Hans-Peter, Adding new nodes is simply (assuming network setup is sane and done): - Install/unpack services on new machine. - Deploy a config copy for the services. - Start the services. You should *not* format a NameNode *ever*, after the first time you start it up. Formatting loses all data of HDFS, so don't even think about that after the first time you use it :) On 20-Dec-2011, at 6:12 PM, Sloot, Hans-Peter wrote: Hello all, I have asked this question a couple of days ago but no one responded. I built a 6 node hadoop cluster, guided Michael Noll, starting with a single node and expanding it one by one. Every time I expanded the cluster I ran into error : java.io.IOException: Incompatible namespaceIDs So now my question is what is the correct procedure for expanding, shrinking a cluster? And how to replace a failed node? Can someone point me to the correct manuals. I have already looked at the available documents on the wiki and hadoop.apache.org but could not find the answers. Regards Hans-Peter Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. Aangezien de integriteit van het bericht niet veilig gesteld is middels verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of diensten levert zijn met uitsluiting van alle andere voorwaarden de Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op aanvraag direct kosteloos toegezonden. This e-mail and the documents attached are confidential and intended solely for the addressee; it may also be privileged. If you receive this e-mail in error, please notify the sender immediately and destroy it. As its integrity cannot be secured on the Internet, the Atos Nederland B.V. group liability cannot be triggered for the message content. Although the sender endeavours to maintain a computer virus-free network, the sender does not warrant that this transmission is virus-free and will not be liable for any damages resulting from any virus transmitted. On all offers and agreements under which Atos Nederland B.V. supplies goods and/or services of whatever nature, the Terms of Delivery from Atos Nederland B.V. exclusively apply. The Terms of Delivery shall be promptly submitted to you on your request. Atos Nederland B.V. / Utrecht KvK Utrecht 30132762 Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. Aangezien de integriteit van het bericht niet veilig gesteld is middels verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of diensten levert zijn met uitsluiting van alle andere voorwaarden de Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op aanvraag direct kosteloos toegezonden. This e-mail and the documents attached are confidential and intended solely for the addressee; it may also be privileged. If you receive this e-mail in error, please notify the sender immediately and destroy it. As its integrity cannot be secured on the Internet, the Atos Nederland B.V. group liability cannot be triggered for the message content. Although the sender endeavours to maintain a computer virus-free network, the sender does not warrant that this transmission is virus-free and will not be liable for any damages resulting from any virus transmitted. On all offers and agreements under which Atos Nederland B.V. supplies goods and/or services of whatever
Re: Desperate!!!! Expanding,shrinking cluster or replacing failed nodes.
I followed the same tutorial as you. If I am not wrong the problem arise because you first tried to run a node as single node and then joining it to the cluster (like Arpit mentioned). After testing that the new node works ok try to delete content in directory /app/hadoop/tmp/ and insert a new node to the cluster.When I setup config files on the new node I followed the following procedure: DATANODE setup config files (look the tutorial) /usr/local/hadoop/bin/hadoop-daemon.sh start datanode /usr/local/hadoop/bin/hadoop-daemon.sh start tasktracker --- MASTER $hdbin/hadoop dfsadmin -report nano /usr/local/hadoop/conf/slaves (add a new node) $hdbin/hadoop dfsadmin -refreshNodes $hdbin/hadoop namenode restart $hdbin/hadoop jobtracker restart ($hdbin/hadoop balancer ) ($hdbin/hadoop dfsadmin -report ) Hope it helps.. On 20 December 2011 18:38, Arpit Gupta ar...@hortonworks.com wrote: On the new nodes you are trying to add make sure the dfs/data directories are empty. You probably have a VERSION file from an older deploy and thus causing the incompatible namespaceId error. -- Arpit ar...@hortonworks.com On Dec 20, 2011, at 5:35 AM, Sloot, Hans-Peter wrote: But I ran into the : java.io.IOException: Incompatible namespaceIDs error every time. Should I config the files : dfs/data/current/VERSION and dfs/name/current/VERSION and conf/*site.xml from other existing nodes? -Original Message- From: Harsh J [mailto:ha...@cloudera.com] Sent: dinsdag 20 december 2011 14:30 To: common-user@hadoop.apache.org Cc: hdfs-...@hadoop.apache.org Subject: Re: Desperate Expanding,shrinking cluster or replacing failed nodes. Hans-Peter, Adding new nodes is simply (assuming network setup is sane and done): - Install/unpack services on new machine. - Deploy a config copy for the services. - Start the services. You should *not* format a NameNode *ever*, after the first time you start it up. Formatting loses all data of HDFS, so don't even think about that after the first time you use it :) On 20-Dec-2011, at 6:12 PM, Sloot, Hans-Peter wrote: Hello all, I have asked this question a couple of days ago but no one responded. I built a 6 node hadoop cluster, guided Michael Noll, starting with a single node and expanding it one by one. Every time I expanded the cluster I ran into error : java.io.IOException: Incompatible namespaceIDs So now my question is what is the correct procedure for expanding, shrinking a cluster? And how to replace a failed node? Can someone point me to the correct manuals. I have already looked at the available documents on the wiki and hadoop.apache.org but could not find the answers. Regards Hans-Peter Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. Aangezien de integriteit van het bericht niet veilig gesteld is middels verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of diensten levert zijn met uitsluiting van alle andere voorwaarden de Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op aanvraag direct kosteloos toegezonden. This e-mail and the documents attached are confidential and intended solely for the addressee; it may also be privileged. If you receive this e-mail in error, please notify the sender immediately and destroy it. As its integrity cannot be secured on the Internet, the Atos Nederland B.V. group liability cannot be triggered for the message content. Although the sender endeavours to maintain a computer virus-free network, the sender does not warrant that this transmission is virus-free and will not be liable for any damages resulting from any virus transmitted. On all offers and agreements under which Atos Nederland B.V. supplies goods and/or services of whatever nature, the Terms of Delivery from Atos Nederland B.V. exclusively apply. The Terms of Delivery shall be promptly submitted to you on your request. Atos Nederland B.V. / Utrecht KvK Utrecht 30132762 Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het
