Hi Patrick, I guess the easiest way is to use log aggregation: https://spark.apache.org/docs/latest/running-on-yarn.html#debugging-your-application
BR Jean-Michel Dr. Ing. h.c. F. Porsche Aktiengesellschaft Sitz der Gesellschaft: Stuttgart Registergericht: Amtsgericht Stuttgart HRB-Nr. 730623 Vorsitzender des Aufsichtsrats: Dr. Wolfgang Porsche Vorstand: Oliver Blume, Vorsitzender Lutz Meschke, stv. Vorsitzender Andreas Haffner, Detlev von Platen, Albrecht Reimold, Uwe-Karsten Städter, Michael Steiner Informationen zum Umgang mit Ihren Daten finden Sie in unsere Datenschutzhinweisen unter https://www.porsche.com/germany/porscheag-privacy/ Die vorgenannten Angaben werden jeder E-Mail automatisch hinzugefügt. Dies ist kein Anerkenntnis, dass es sich beim Inhalt dieser E-Mail um eine rechtsverbindliche Erklärung der Porsche AG handelt. Erklärungen, die die Porsche AG verpflichten, bedürfen jeweils der Unterschrift durch zwei zeichnungs- berechtigte Personen der AG. -----Ursprüngliche Nachricht----- Von: tkrol <patric...@gmail.com> Gesendet: Freitag, 7. Juni 2019 16:22 An: user@spark.apache.org Betreff: Getting driver logs in Standalone Cluster Hey Guys, I am wondering what is the best way to get logs for driver in the cluster mode on standalone cluster? Normally I used to run client mode so I could capture logs from the console. Now I've started running jobs in cluster mode and obviously driver is running on worker and can't see the logs. I would like to store logs (preferably in hdfs), any easy way to do that? Thanks -- Sent from: http://apache-spark-user-list.1001560.n3.nabble.com/ --------------------------------------------------------------------- To unsubscribe e-mail: user-unsubscr...@spark.apache.org --------------------------------------------------------------------- To unsubscribe e-mail: user-unsubscr...@spark.apache.org
