[ https://issues.apache.org/jira/browse/SPARK-22869?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=16300946#comment-16300946 ]
Kazuaki Ishizaki commented on SPARK-22869: ------------------------------------------ I am working for this and waiting for merging SPARK-22600. > 64KB JVM bytecode limit problem with filter > ------------------------------------------- > > Key: SPARK-22869 > URL: https://issues.apache.org/jira/browse/SPARK-22869 > Project: Spark > Issue Type: Bug > Components: SQL > Affects Versions: 2.2.1, 2.3.0 > Reporter: Kazuaki Ishizaki > > The following program can throw an exception due to the 64KB JVM bytecode > limit > {code} > val df = spark.sparkContext.parallelize( > Seq((1.1, 2.2, 3.3, 4.4, 5.5, 6.6, 7.7, 8.8, 9.9, 10.0, 11.1, 12.2, > 13.3, 14.4, 15.5, 16.6, 17.7, 18.8, 19.9, 20.0, 21.1, 22.2)), 1).toDF() > df.filter( > round('_1, 0) < round('_2, 0) && round('_1, 1) < round('_2, 1) && > round('_1, 2) < round('_2, 2) && round('_1, 3) < round('_2, 3) && > round('_1, 4) < round('_2, 4) && round('_1, 5) < round('_2, 5) && > round('_1, 6) < round('_2, 6) && round('_1, 7) < round('_2, 7) && > round('_1, 8) < round('_2, 8) && round('_1, 9) < round('_2, 9) && > round('_1, 10) < round('_2, 10) && round('_1, 11) < round('_2, 11) && > round('_1, 12) < round('_2, 12) && round('_1, 13) < round('_2, 13) && > round('_1, 14) < round('_2, 14) && round('_1, 15) < round('_2, 15) && > round('_1, 16) < round('_2, 16) && round('_1, 17) < round('_2, 17) && > round('_1, 18) < round('_2, 18) && round('_1, 19) < round('_2, 19) && > round('_1, 20) < round('_2, 20) && round('_1, 21) < round('_2, 21) && > round('_1, 22) < round('_2, 22) && round('_1, 23) < round('_2, 23) && > round('_1, 24) < round('_2, 24) && round('_1, 25) < round('_2, 25) && > round('_1, 26) < round('_2, 26) && round('_1, 27) < round('_2, 27) && > round('_1, 28) < round('_2, 28) && round('_1, 29) < round('_2, 29) && > round('_3, 0) < round('_4, 0) && round('_3, 1) < round('_4, 1) && > round('_3, 2) < round('_4, 2) && round('_3, 3) < round('_4, 3) && > round('_3, 4) < round('_4, 4) && round('_3, 5) < round('_4, 5) && > round('_3, 6) < round('_4, 6) && round('_3, 7) < round('_4, 7) && > round('_3, 8) < round('_4, 8) && round('_3, 9) < round('_4, 9) && > round('_3, 10) < round('_4, 10) && round('_3, 11) < round('_4, 11) && > round('_3, 12) < round('_4, 12) && round('_3, 13) < round('_4, 13) && > round('_3, 14) < round('_4, 14) && round('_3, 15) < round('_4, 15) && > round('_3, 16) < round('_4, 16) && round('_3, 17) < round('_4, 17) && > round('_3, 18) < round('_4, 18) && round('_3, 19) < round('_4, 19) && > round('_3, 20) < round('_4, 20) && round('_3, 21) < round('_4, 21) && > round('_3, 22) < round('_4, 22) && round('_3, 23) < round('_4, 23) && > round('_3, 24) < round('_4, 24) && round('_3, 25) < round('_4, 25) && > round('_3, 26) < round('_4, 26) && round('_3, 27) < round('_4, 27) && > round('_3, 28) < round('_4, 28) && round('_3, 29) < round('_4, 29) && > round('_5, 0) < round('_6, 0) && round('_5, 1) < round('_6, 1) && > round('_5, 2) < round('_6, 2) && round('_5, 3) < round('_6, 3) && > round('_5, 4) < round('_6, 4) && round('_5, 5) < round('_6, 5) && > round('_5, 6) < round('_6, 6) && round('_5, 7) < round('_6, 7) && > round('_5, 8) < round('_6, 8) && round('_5, 9) < round('_6, 9) && > round('_5, 10) < round('_6, 10) && round('_5, 11) < round('_6, 11) && > round('_5, 12) < round('_6, 12) && round('_5, 13) < round('_6, 13) && > round('_5, 14) < round('_6, 14) && round('_5, 15) < round('_6, 15) && > round('_5, 16) < round('_6, 16) && round('_5, 17) < round('_6, 17) && > round('_5, 18) < round('_6, 18) && round('_5, 19) < round('_6, 19) && > round('_5, 20) < round('_6, 20) && round('_5, 21) < round('_6, 21) && > round('_5, 22) < round('_6, 22) && round('_5, 23) < round('_6, 23) && > round('_5, 24) < round('_6, 24) && round('_5, 25) < round('_6, 25) && > round('_5, 26) < round('_6, 26) && round('_5, 27) < round('_6, 27) && > round('_5, 28) < round('_6, 28) && round('_5, 29) < round('_6, 29) && > round('_7, 0) < round('_8, 0) && round('_7, 1) < round('_8, 1) && > round('_7, 2) < round('_8, 2) && round('_7, 3) < round('_8, 3) && > round('_7, 4) < round('_8, 4) && round('_7, 5) < round('_8, 5) && > round('_7, 6) < round('_8, 6) && round('_7, 7) < round('_8, 7) && > round('_7, 8) < round('_8, 8) && round('_7, 9) < round('_8, 9) && > round('_7, 10) < round('_8, 10) && round('_7, 11) < round('_8, 11) && > round('_7, 12) < round('_8, 12) && round('_7, 13) < round('_8, 13) && > round('_7, 14) < round('_8, 14) && round('_7, 15) < round('_8, 15) && > round('_7, 16) < round('_8, 16) && round('_7, 17) < round('_8, 17) && > round('_7, 18) < round('_8, 18) && round('_7, 19) < round('_8, 19) && > round('_7, 20) < round('_8, 20) && round('_7, 21) < round('_8, 21) && > round('_7, 22) < round('_8, 22) && round('_7, 23) < round('_8, 23) && > round('_7, 24) < round('_8, 24) && round('_7, 25) < round('_8, 25) && > round('_7, 26) < round('_8, 26) && round('_7, 27) < round('_8, 27) && > round('_7, 28) < round('_8, 28) && round('_7, 29) < round('_8, 29) && > round('_9, 0) < round('_10, 0) && round('_9, 1) < round('_10, 1) && > round('_9, 2) < round('_10, 2) && round('_9, 3) < round('_10, 3) && > round('_9, 4) < round('_10, 4) && round('_9, 5) < round('_10, 5) && > round('_9, 6) < round('_10, 6) && round('_9, 7) < round('_10, 7) && > round('_9, 8) < round('_10, 8) && round('_9, 9) < round('_10, 9) && > round('_9, 10) < round('_10, 10) && round('_9, 11) < round('_10, 11) && > round('_9, 12) < round('_10, 12) && round('_9, 13) < round('_10, 13) && > round('_9, 14) < round('_10, 14) && round('_9, 15) < round('_10, 15) && > round('_9, 16) < round('_10, 16) && round('_9, 17) < round('_10, 17) && > round('_9, 18) < round('_10, 18) && round('_9, 19) < round('_10, 19) && > round('_9, 20) < round('_10, 20) && round('_9, 21) < round('_10, 21) && > round('_9, 22) < round('_10, 22) && round('_9, 23) < round('_10, 23) && > round('_9, 24) < round('_10, 24) && round('_9, 25) < round('_10, 25) && > round('_9, 26) < round('_10, 26) && round('_9, 27) < round('_10, 27) && > round('_9, 28) < round('_10, 28) && round('_9, 29) < round('_10, 29) && > round('_1, 0) < round('_2, 0) && round('_1, 1) < round('_2, 1) && > round('_1, 2) < round('_2, 2) && round('_1, 3) < round('_2, 3) && > round('_1, 4) < round('_2, 4) && round('_1, 5) < round('_2, 5) && > round('_1, 6) < round('_2, 6) && round('_1, 7) < round('_2, 7) && > round('_1, 8) < round('_2, 8) && round('_1, 9) < round('_2, 9) && > round('_1, 10) < round('_2, 10) && round('_1, 11) < round('_2, 11) && > round('_1, 12) < round('_2, 12) && round('_1, 13) < round('_2, 13) && > round('_1, 14) < round('_2, 14) && round('_1, 15) < round('_2, 15) && > round('_1, 16) < round('_2, 16) && round('_1, 17) < round('_2, 17) && > round('_1, 18) < round('_2, 18) && round('_1, 19) < round('_2, 19) && > round('_1, 20) < round('_2, 20) && round('_1, 21) < round('_2, 21) && > round('_1, 22) < round('_2, 22) && round('_1, 23) < round('_2, 23) && > round('_1, 24) < round('_2, 24) && round('_1, 25) < round('_2, 25) && > round('_1, 26) < round('_2, 26) && round('_1, 27) < round('_2, 27) && > round('_1, 28) < round('_2, 28) && round('_1, 29) < round('_2, 29) && > round('_3, 0) < round('_4, 0) && round('_3, 1) < round('_4, 1) && > round('_3, 2) < round('_4, 2) && round('_3, 3) < round('_4, 3) && > round('_3, 4) < round('_4, 4) && round('_3, 5) < round('_4, 5) && > round('_3, 6) < round('_4, 6) && round('_3, 7) < round('_4, 7) && > round('_3, 8) < round('_4, 8) && round('_3, 9) < round('_4, 9) && > round('_3, 10) < round('_4, 10) && round('_3, 11) < round('_4, 11) && > round('_3, 12) < round('_4, 12) && round('_3, 13) < round('_4, 13) && > round('_3, 14) < round('_4, 14) && round('_3, 15) < round('_4, 15) && > round('_3, 16) < round('_4, 16) && round('_3, 17) < round('_4, 17) && > round('_3, 18) < round('_4, 18) && round('_3, 19) < round('_4, 19) && > round('_3, 20) < round('_4, 20) && round('_3, 21) < round('_4, 21) && > round('_3, 22) < round('_4, 22) && round('_3, 23) < round('_4, 23) && > round('_3, 24) < round('_4, 24) && round('_3, 25) < round('_4, 25) && > round('_3, 26) < round('_4, 26) && round('_3, 27) < round('_4, 27) && > round('_3, 28) < round('_4, 28) && round('_3, 29) < round('_4, 29) && > round('_5, 0) < round('_6, 0) && round('_5, 1) < round('_6, 1) && > round('_5, 2) < round('_6, 2) && round('_5, 3) < round('_6, 3) && > round('_5, 4) < round('_6, 4) && round('_5, 5) < round('_6, 5) && > round('_5, 6) < round('_6, 6) && round('_5, 7) < round('_6, 7) && > round('_5, 8) < round('_6, 8) && round('_5, 9) < round('_6, 9) && > round('_5, 10) < round('_6, 10) && round('_5, 11) < round('_6, 11) && > round('_5, 12) < round('_6, 12) && round('_5, 13) < round('_6, 13) && > round('_5, 14) < round('_6, 14) && round('_5, 15) < round('_6, 15) && > round('_5, 16) < round('_6, 16) && round('_5, 17) < round('_6, 17) && > round('_5, 18) < round('_6, 18) && round('_5, 19) < round('_6, 19) && > round('_5, 20) < round('_6, 20) && round('_5, 21) < round('_6, 21) && > round('_5, 22) < round('_6, 22) && round('_5, 23) < round('_6, 23) && > round('_5, 24) < round('_6, 24) && round('_5, 25) < round('_6, 25) && > round('_5, 26) < round('_6, 26) && round('_5, 27) < round('_6, 27) && > round('_5, 28) < round('_6, 28) && round('_5, 29) < round('_6, 29) && > round('_7, 0) < round('_8, 0) && round('_7, 1) < round('_8, 1) && > round('_7, 2) < round('_8, 2) && round('_7, 3) < round('_8, 3) && > round('_7, 4) < round('_8, 4) && round('_7, 5) < round('_8, 5) && > round('_7, 6) < round('_8, 6) && round('_7, 7) < round('_8, 7) && > round('_7, 8) < round('_8, 8) && round('_7, 9) < round('_8, 9) && > round('_7, 10) < round('_8, 10) && round('_7, 11) < round('_8, 11) && > round('_7, 12) < round('_8, 12) && round('_7, 13) < round('_8, 13) && > round('_7, 14) < round('_8, 14) && round('_7, 15) < round('_8, 15) && > round('_7, 16) < round('_8, 16) && round('_7, 17) < round('_8, 17) && > round('_7, 18) < round('_8, 18) && round('_7, 19) < round('_8, 19) && > round('_7, 20) < round('_8, 20) && round('_7, 21) < round('_8, 21) && > round('_7, 22) < round('_8, 22) && round('_7, 23) < round('_8, 23) && > round('_7, 24) < round('_8, 24) && round('_7, 25) < round('_8, 25) && > round('_7, 26) < round('_8, 26) && round('_7, 27) < round('_8, 27) && > round('_7, 28) < round('_8, 28) && round('_7, 29) < round('_8, 29) && > round('_9, 0) < round('_10, 0) && round('_9, 1) < round('_10, 1) && > round('_9, 2) < round('_10, 2) && round('_9, 3) < round('_10, 3) && > round('_9, 4) < round('_10, 4) && round('_9, 5) < round('_10, 5) && > round('_9, 6) < round('_10, 6) && round('_9, 7) < round('_10, 7) && > round('_9, 8) < round('_10, 8) && round('_9, 9) < round('_10, 9) && > round('_9, 10) < round('_10, 10) && round('_9, 11) < round('_10, 11) && > round('_9, 12) < round('_10, 12) && round('_9, 13) < round('_10, 13) && > round('_9, 14) < round('_10, 14) && round('_9, 15) < round('_10, 15) && > round('_9, 16) < round('_10, 16) && round('_9, 17) < round('_10, 17) && > round('_9, 18) < round('_10, 18) && round('_9, 19) < round('_10, 19) && > round('_9, 20) < round('_10, 20) && round('_9, 21) < round('_10, 21) && > round('_9, 22) < round('_10, 22) && round('_9, 23) < round('_10, 23) && > round('_9, 24) < round('_10, 24) && round('_9, 25) < round('_10, 25) && > round('_9, 26) < round('_10, 26) && round('_9, 27) < round('_10, 27) && > round('_9, 28) < round('_10, 28) && round('_9, 29) < round('_10, 29) && > round('_1, 0) < round('_2, 0) && round('_1, 1) < round('_2, 1) && > round('_1, 2) < round('_2, 2) && round('_1, 3) < round('_2, 3) && > round('_1, 4) < round('_2, 4) && round('_1, 5) < round('_2, 5) && > round('_1, 6) < round('_2, 6) && round('_1, 7) < round('_2, 7) && > round('_1, 8) < round('_2, 8) && round('_1, 9) < round('_2, 9) && > round('_1, 10) < round('_2, 10) && round('_1, 11) < round('_2, 11) && > round('_1, 12) < round('_2, 12) && round('_1, 13) < round('_2, 13) && > round('_1, 14) < round('_2, 14) && round('_1, 15) < round('_2, 15) && > round('_1, 16) < round('_2, 16) && round('_1, 17) < round('_2, 17) && > round('_1, 18) < round('_2, 18) && round('_1, 19) < round('_2, 19) > ).collect > {code} -- This message was sent by Atlassian JIRA (v6.4.14#64029) --------------------------------------------------------------------- To unsubscribe, e-mail: issues-unsubscr...@spark.apache.org For additional commands, e-mail: issues-h...@spark.apache.org