Running Spark on YARN in yarn-client mode, everything appears to be working just fine except I can't access Spark UI via the Application Master link in YARN UI or directly at http://driverip:4040/jobs I get error 500, and the driver log shows the error pasted below:
When running the same job using spark master mode, everything is fine. Any help is appreciated Error Stacktrace as appears in driver: WARN [2015-08-12 14:05:46,856] org.spark-project.jetty.server.AbstractHttpConnection: header full: java.lang.RuntimeException: Header>6144 WARN [2015-08-12 14:05:46,857] org.spark-project.jetty.server.Response: Committed before 500 null WARN [2015-08-12 14:05:46,862] org.spark-project.jetty.server.AbstractHttpConnection: /null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/ ! java.lang.IllegalStateException: Committed ! at org.spark-project.jetty.server.Response.resetBuffer(Response.java:1154) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.Response.sendError(Response.java:317) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1095) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.servlet.ServletHandler.doScope(ServletHandler.java:428) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.Server.handle(Server.java:370) ~[kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:494) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.AbstractHttpConnection.headerComplete(AbstractHttpConnection.java:971) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.AbstractHttpConnection$RequestHandler.headerComplete(AbstractHttpConnection.java:1033) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.http.HttpParser.parseNext(HttpParser.java:644) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.http.HttpParser.parseAvailable(HttpParser.java:235) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:667) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608) [kripke-driver-server-0.1.572.jar:0.1.572] ! at org.spark-project.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543) [kripke-driver-server-0.1.572.jar:0.1.572] ! at java.lang.Thread.run(Thread.java:744) [na:1.7.0_55 -- View this message in context: http://apache-spark-user-list.1001560.n3.nabble.com/Spark-UI-returning-error-500-in-yarn-client-mode-tp24338.html Sent from the Apache Spark User List mailing list archive at Nabble.com. --------------------------------------------------------------------- To unsubscribe, e-mail: user-unsubscr...@spark.apache.org For additional commands, e-mail: user-h...@spark.apache.org
