Hi again, I've finally solved the problem below, it was due to an old 1.0.0-rc3 spark jar lying around in my .m2 directory which was used when I compiled my spark applications (with maven).
Christophe. On 20/06/2014 18:13, Christophe Préaud wrote: > Hi, > > Since I migrated to spark 1.0.0, a couple of applications that used to work > in 0.9.1 now fail when broadcasting a variable. > Those applications are run on a YARN cluster in yarn-cluster mode (and used > to run in yarn-standalone mode in 0.9.1) > > Here is an extract of the error log: > > Exception in thread "Thread-3" java.lang.reflect.InvocationTargetException > at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) > at > sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) > at > sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) > at java.lang.reflect.Method.invoke(Method.java:606) > at > org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:186) > Caused by: java.lang.NoSuchMethodError: > org.apache.spark.SparkContext.broadcast(Ljava/lang/Object;)Lorg/apache/spark/broadcast/Broadcast; > at > kelkoo.MerchantOffersPerformance$.main(MerchantOffersPerformance.scala:289) > at > kelkoo.MerchantOffersPerformance.main(MerchantOffersPerformance.scala) > > Has anyone any idea how to solve this problem? > > Thanks, > Christophe. > > Kelkoo SAS > Société par Actions Simplifiée > Au capital de € 4.168.964,30 > Siège social : 8, rue du Sentier 75002 Paris > 425 093 069 RCS Paris > > Ce message et les pièces jointes sont confidentiels et établis à l'attention > exclusive de leurs destinataires. Si vous n'êtes pas le destinataire de ce > message, merci de le détruire et d'en avertir l'expéditeur. Kelkoo SAS Société par Actions Simplifiée Au capital de € 4.168.964,30 Siège social : 8, rue du Sentier 75002 Paris 425 093 069 RCS Paris Ce message et les pièces jointes sont confidentiels et établis à l'attention exclusive de leurs destinataires. Si vous n'êtes pas le destinataire de ce message, merci de le détruire et d'en avertir l'expéditeur.
