Hi, driver and executor path does not work because its for the driver and executor and not for the master and worker jvm. It works fine for driver/executor but we want to add classes to the master/worker. The SPARK_DIST_CLASSPATH looks good, will try this!
Thanks! 2016-03-02 18:35 GMT+01:00 Sumedh Wale <sw...@snappydata.io>: > On Wednesday 02 March 2016 09:39 PM, Matthias Niehoff wrote: > > no, not to driver and executor but to the master and worker instances of > the spark standalone cluster > > > Why exactly does adding jars to driver/executor extraClassPath not work? > > Classpath of master/worker is setup by AbstractCommandBuilder that > explicitly adds the following: > > jars named "datanucleus-*", environment variables: _SPARK_ASSEMBLY (for > assembly jar), SPARK_DIST_CLASSPATH, HADOOP_CONF_DIR, YARN_CONF_DIR > > So you can set SPARK_DIST_CLASSPATH in conf/spark-env.sh to add the > required jars (separated by platform's File.pathSeparator). > > > thanks > > -- > Sumedh Wale > SnappyData (http://www.snappydata.io) > > > Am 2. März 2016 um 17:05 schrieb Igor Berman <igor.ber...@gmail.com>: > >> spark.driver.extraClassPath >> spark.executor.extraClassPath >> >> 2016-03-02 18:01 GMT+02:00 Matthias Niehoff < >> <matthias.nieh...@codecentric.de>matthias.nieh...@codecentric.de>: >> >>> Hi, >>> >>> we want to add jars to the Master and Worker class path mainly for >>> logging reason (we have a redis appender to send logs to redis -> logstash >>> -> elasticsearch). >>> >>> While it is working with setting SPARK_CLASSPATH, this solution is >>> afaik deprecated and should not be used. Furthermore we are also using >>> —driver-java-options >>> and spark.executor.extraClassPath which leads to exceptions when >>> running our apps in standalone cluster mode. >>> >>> So what is the best way to add jars to the master and worker classpath? >>> >>> Thank you >>> >>> -- >>> Matthias Niehoff | IT-Consultant | Agile Software Factory | Consulting >>> codecentric AG | Zeppelinstr 2 | 76185 Karlsruhe | Deutschland >>> tel: +49 (0) 721.9595-681 <%2B49%20%280%29%20721.9595-681> | fax: +49 >>> (0) 721.9595-666 <%2B49%20%280%29%20721.9595-666> | mobil: +49 (0) >>> 172.1702676 <%2B49%20%280%29%20172.1702676> >>> <http://www.codecentric.de/>www.codecentric.de | blog.codecentric.de | >>> www.meettheexperts.de | www.more4fi.de >>> >>> Sitz der Gesellschaft: Solingen | HRB 25917| Amtsgericht Wuppertal >>> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >>> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen >>> Schütz >>> >>> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält >>> vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht >>> der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, >>> informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und >>> evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder >>> Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser >>> E-Mail ist nicht gestattet >>> >> >> > > > -- > Matthias Niehoff | IT-Consultant | Agile Software Factory | Consulting > codecentric AG | Zeppelinstr 2 | 76185 Karlsruhe | Deutschland > tel: +49 (0) 721.9595-681 | fax: +49 (0) 721.9595-666 | mobil: +49 (0) > 172.1702676 > <http://www.codecentric.de/>www.codecentric.de | blog.codecentric.de | > <http://www.meettheexperts.de/>www.meettheexperts.de | > <http://www.more4fi.de/>www.more4fi.de > > Sitz der Gesellschaft: Solingen | HRB 25917| Amtsgericht Wuppertal > Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns > Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz > > Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche > und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige > Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie > bitte sofort den Absender und löschen Sie diese E-Mail und evtl. > beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen > evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist > nicht gestattet > > > -- Matthias Niehoff | IT-Consultant | Agile Software Factory | Consulting codecentric AG | Zeppelinstr 2 | 76185 Karlsruhe | Deutschland tel: +49 (0) 721.9595-681 | fax: +49 (0) 721.9595-666 | mobil: +49 (0) 172.1702676 www.codecentric.de | blog.codecentric.de | www.meettheexperts.de | www.more4fi.de Sitz der Gesellschaft: Solingen | HRB 25917| Amtsgericht Wuppertal Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht gestattet
