Have you taken a look at SPARK-11105 ?
Cheers
On Thu, Feb 4, 2016 at 9:06 AM, Matthias Niehoff <
matthias.nieh...@codecentric.de> wrote:
> Hello everybody,
>
> we’ve bundle our log4j.xml into our jar (in the classpath root).
>
> I’ve added the log4j.xml to the spark-defaults.conf with
>
> spark.{driver,executor}.extraJavaOptions=-Dlog4j.configuration=log4j.xml
>
> There is no log4j.properties or log4j.xml in one of the conf folders on
> any machine.
>
> When I start the app the driver is using our log4j.xml, but all the
> executors use the default log4j.properties („Using Spark’s default log4j
> profile: org/apache/spark/log4j-defaults.properties“).
>
> What do I have to change to make spark use the log4j.xml from our jar also
> on our executors?
>
> We are using Spark 1.5.2
>
> Thank you!
>
> --
> Matthias Niehoff | IT-Consultant | Agile Software Factory | Consulting
> codecentric AG | Zeppelinstr 2 | 76185 Karlsruhe | Deutschland
> tel: +49 (0) 721.9595-681 | fax: +49 (0) 721.9595-666 | mobil: +49 (0)
> 172.1702676
> www.codecentric.de | blog.codecentric.de | www.meettheexperts.de |
> www.more4fi.de
>
> Sitz der Gesellschaft: Solingen | HRB 25917| Amtsgericht Wuppertal
> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns
> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz
>
> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche
> und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige
> Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie
> bitte sofort den Absender und löschen Sie diese E-Mail und evtl.
> beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen
> evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist
> nicht gestattet
>
