guobj commented on issue #9983:
URL: 
https://github.com/apache/incubator-gluten/issues/9983#issuecomment-2978753769

   
![Image](https://github.com/user-attachments/assets/a3ab5f01-765c-4f92-a1f4-8364ac2b3b25
   It should be the spill caused by this operator. All this operator in a 
certain stage are spill and much more spill than spark.
   The detailed query plan is as follows:
   Execute CreateDataSourceTableAsSelectCommand (197)
   +- AdaptiveSparkPlan (196)
      +- == Final Plan ==
         VeloxColumnarToRow (126)
         +- ^ ProjectExecTransformer (124)
            +- ^ ShuffledHashJoinExecTransformer LeftOuter BuildRight (123)
               :- ^ ProjectExecTransformer (113)
               :  +- ^ ShuffledHashJoinExecTransformer LeftOuter BuildRight 
(112)
               :     :- ^ ProjectExecTransformer (98)
               :     :  +- ^ ShuffledHashJoinExecTransformer LeftOuter 
BuildRight (97)
               :     :     :- ^ ProjectExecTransformer (83)
               :     :     :  +- ^ ShuffledHashJoinExecTransformer LeftOuter 
BuildRight (82)
               :     :     :     :- ^ ProjectExecTransformer (68)
               :     :     :     :  +- ^ ShuffledHashJoinExecTransformer 
LeftOuter BuildRight (67)
               :     :     :     :     :- ^ ProjectExecTransformer (49)
               :     :     :     :     :  +- ^ ShuffledHashJoinExecTransformer 
LeftOuter BuildRight (48)
               :     :     :     :     :     :- ^ ProjectExecTransformer (31)
               :     :     :     :     :     :  +- ^ 
ShuffledHashJoinExecTransformer LeftOuter BuildRight (30)
               :     :     :     :     :     :     :- ^ ProjectExecTransformer 
(20)
               :     :     :     :     :     :     :  +- ^ 
ShuffledHashJoinExecTransformer LeftOuter BuildLeft (19)
               :     :     :     :     :     :     :     :- ^ 
InputIteratorTransformer (9)
               :     :     :     :     :     :     :     :  +- 
ShuffleQueryStage (7)
               :     :     :     :     :     :     :     :     +- 
ColumnarExchange (6)
               :     :     :     :     :     :     :     :        +- 
VeloxResizeBatches (5)
               :     :     :     :     :     :     :     :           +- ^ 
ProjectExecTransformer (3)
               :     :     :     :     :     :     :     :              +- ^ 
FilterExecTransformer (2)
               :     :     :     :     :     :     :     :                 +- ^ 
ScanTransformer orc mdw_dwd.dwd_rist_cust_transaction_apply_orderid_dtl_df (1)
               :     :     :     :     :     :     :     +- ^ 
InputIteratorTransformer (18)
               :     :     :     :     :     :     :        +- 
ShuffleQueryStage (16)
               :     :     :     :     :     :     :           +- 
ColumnarExchange (15)
               :     :     :     :     :     :     :              +- 
VeloxResizeBatches (14)
               :     :     :     :     :     :     :                 +- ^ 
ProjectExecTransformer (12)
               :     :     :     :     :     :     :                    +- ^ 
FilterExecTransformer (11)
               :     :     :     :     :     :     :                       +- ^ 
ScanTransformer orc fbi_edw_dws.dws_loan_duebill_fixed_detail_v2 (10)
               :     :     :     :     :     :     +- ^ 
InputIteratorTransformer (29)
               :     :     :     :     :     :        +- ShuffleQueryStage (27)
               :     :     :     :     :     :           +- ColumnarExchange 
(26)
               :     :     :     :     :     :              +- 
VeloxResizeBatches (25)
               :     :     :     :     :     :                 +- ^ 
ProjectExecTransformer (23)
               :     :     :     :     :     :                    +- ^ 
FilterExecTransformer (22)
               :     :     :     :     :     :                       +- ^ 
ScanTransformer orc mdw_dwd.dwd_asset_loan_net_income_dtl_df (21)
               :     :     :     :     :     +- ^ 
RegularHashAggregateExecTransformer (47)
               :     :     :     :     :        +- ^ InputIteratorTransformer 
(46)
               :     :     :     :     :           +- ShuffleQueryStage (44)
               :     :     :     :     :              +- ColumnarExchange (43)
               :     :     :     :     :                 +- VeloxResizeBatches 
(42)
               :     :     :     :     :                    +- ^ 
ProjectExecTransformer (40)
               :     :     :     :     :                       +- ^ 
FlushableHashAggregateExecTransformer (39)
               :     :     :     :     :                          +- ^ 
ProjectExecTransformer (38)
               :     :     :     :     :                             +- ^ 
FilterExecTransformer (37)
               :     :     :     :     :                                +- ^ 
InputIteratorTransformer (36)
               :     :     :     :     :                                   +- 
RowToVeloxColumnar (34)
               :     :     :     :     :                                      
+- * ColumnarToRow (33)
               :     :     :     :     :                                        
 +- Scan orc mdw_dws.dws_fin_loan_actual_cost_dd (32)
               :     :     :     :     +- ^ ProjectExecTransformer (66)
               :     :     :     :        +- ^ 
RegularHashAggregateExecTransformer (65)
               :     :     :     :           +- ^ InputIteratorTransformer (64)
               :     :     :     :              +- ShuffleQueryStage (62)
               :     :     :     :                 +- ColumnarExchange (61)
               :     :     :     :                    +- VeloxResizeBatches (60)
               :     :     :     :                       +- ^ 
ProjectExecTransformer (58)
               :     :     :     :                          +- ^ 
FlushableHashAggregateExecTransformer (57)
               :     :     :     :                             +- ^ 
ProjectExecTransformer (56)
               :     :     :     :                                +- ^ 
FilterExecTransformer (55)
               :     :     :     :                                   +- ^ 
InputIteratorTransformer (54)
               :     :     :     :                                      +- 
RowToVeloxColumnar (52)
               :     :     :     :                                         +- * 
ColumnarToRow (51)
               :     :     :     :                                            
+- Scan orc mdw_dws.dws_fin_loan_cost_split_v2_df (50)
               :     :     :     +- ^ ProjectExecTransformer (81)
               :     :     :        +- ^ RegularHashAggregateExecTransformer 
(80)
               :     :     :           +- ^ InputIteratorTransformer (79)
               :     :     :              +- ShuffleQueryStage (77)
               :     :     :                 +- ColumnarExchange (76)
               :     :     :                    +- VeloxResizeBatches (75)
               :     :     :                       +- ^ ProjectExecTransformer 
(73)
               :     :     :                          +- ^ 
FlushableHashAggregateExecTransformer (72)
               :     :     :                             +- ^ 
ProjectExecTransformer (71)
               :     :     :                                +- ^ 
FilterExecTransformer (70)
               :     :     :                                   +- ^ 
ScanTransformer orc ods_fcore_loan_biz_0.t_installment_adjust_0_df (69)
               :     :     +- ^ ProjectExecTransformer (96)
               :     :        +- ^ RegularHashAggregateExecTransformer (95)
               :     :           +- ^ InputIteratorTransformer (94)
               :     :              +- ShuffleQueryStage (92)
               :     :                 +- ColumnarExchange (91)
               :     :                    +- VeloxResizeBatches (90)
               :     :                       +- ^ ProjectExecTransformer (88)
               :     :                          +- ^ 
FlushableHashAggregateExecTransformer (87)
               :     :                             +- ^ ProjectExecTransformer 
(86)
               :     :                                +- ^ 
FilterExecTransformer (85)
               :     :                                   +- ^ ScanTransformer 
orc mdw_dwd.dwd_mkt_oper_coupon_loan_calculate_dtl_df (84)
               :     +- ^ ProjectExecTransformer (111)
               :        +- ^ RegularHashAggregateExecTransformer (110)
               :           +- ^ InputIteratorTransformer (109)
               :              +- ShuffleQueryStage (107)
               :                 +- ColumnarExchange (106)
               :                    +- VeloxResizeBatches (105)
               :                       +- ^ ProjectExecTransformer (103)
               :                          +- ^ 
FlushableHashAggregateExecTransformer (102)
               :                             +- ^ ProjectExecTransformer (101)
               :                                +- ^ FilterExecTransformer (100)
               :                                   +- ^ ScanTransformer orc 
mdw_dam.dam_fin_loan_payable_revenue_df (99)
               +- ^ InputIteratorTransformer (122)
                  +- ShuffleQueryStage (120)
                     +- ColumnarExchange (119)
                        +- VeloxResizeBatches (118)
                           +- ^ ProjectExecTransformer (116)
                              +- ^ FilterExecTransformer (115)
                                 +- ^ ScanTransformer orc 
mdw_dwd.dwd_credit_loan_duebill_clb_dtl_df (114)
      +- == Initial Plan ==
         Project (195)
         +- SortMergeJoin LeftOuter (194)
            :- Project (188)
            :  +- SortMergeJoin LeftOuter (187)
            :     :- Project (179)
            :     :  +- SortMergeJoin LeftOuter (178)
            :     :     :- Project (170)
            :     :     :  +- SortMergeJoin LeftOuter (169)
            :     :     :     :- Project (161)
            :     :     :     :  +- SortMergeJoin LeftOuter (160)
            :     :     :     :     :- Project (153)
            :     :     :     :     :  +- SortMergeJoin LeftOuter (152)
            :     :     :     :     :     :- Project (145)
            :     :     :     :     :     :  +- SortMergeJoin LeftOuter (144)
            :     :     :     :     :     :     :- Project (138)
            :     :     :     :     :     :     :  +- SortMergeJoin LeftOuter 
(137)
            :     :     :     :     :     :     :     :- Sort (131)
            :     :     :     :     :     :     :     :  +- Exchange (130)
            :     :     :     :     :     :     :     :     +- Project (129)
            :     :     :     :     :     :     :     :        +- Filter (128)
            :     :     :     :     :     :     :     :           +- Scan orc 
mdw_dwd.dwd_rist_cust_transaction_apply_orderid_dtl_df (127)
            :     :     :     :     :     :     :     +- Sort (136)
            :     :     :     :     :     :     :        +- Exchange (135)
            :     :     :     :     :     :     :           +- Project (134)
            :     :     :     :     :     :     :              +- Filter (133)
            :     :     :     :     :     :     :                 +- Scan orc 
fbi_edw_dws.dws_loan_duebill_fixed_detail_v2 (132)
            :     :     :     :     :     :     +- Sort (143)
            :     :     :     :     :     :        +- Exchange (142)
            :     :     :     :     :     :           +- Project (141)
            :     :     :     :     :     :              +- Filter (140)
            :     :     :     :     :     :                 +- Scan orc 
mdw_dwd.dwd_asset_loan_net_income_dtl_df (139)
            :     :     :     :     :     +- Sort (151)
            :     :     :     :     :        +- HashAggregate (150)
            :     :     :     :     :           +- Exchange (149)
            :     :     :     :     :              +- HashAggregate (148)
            :     :     :     :     :                 +- Project (147)
            :     :     :     :     :                    +- Filter (146)
            :     :     :     :     :                       +- Scan orc 
mdw_dws.dws_fin_loan_actual_cost_dd (32)
            :     :     :     :     +- Sort (159)
            :     :     :     :        +- HashAggregate (158)
            :     :     :     :           +- Exchange (157)
            :     :     :     :              +- HashAggregate (156)
            :     :     :     :                 +- Project (155)
            :     :     :     :                    +- Filter (154)
            :     :     :     :                       +- Scan orc 
mdw_dws.dws_fin_loan_cost_split_v2_df (50)
            :     :     :     +- Sort (168)
            :     :     :        +- HashAggregate (167)
            :     :     :           +- Exchange (166)
            :     :     :              +- HashAggregate (165)
            :     :     :                 +- Project (164)
            :     :     :                    +- Filter (163)
            :     :     :                       +- Scan orc 
ods_fcore_loan_biz_0.t_installment_adjust_0_df (162)
            :     :     +- Sort (177)
            :     :        +- HashAggregate (176)
            :     :           +- Exchange (175)
            :     :              +- HashAggregate (174)
            :     :                 +- Project (173)
            :     :                    +- Filter (172)
            :     :                       +- Scan orc 
mdw_dwd.dwd_mkt_oper_coupon_loan_calculate_dtl_df (171)
            :     +- Sort (186)
            :        +- HashAggregate (185)
            :           +- Exchange (184)
            :              +- HashAggregate (183)
            :                 +- Project (182)
            :                    +- Filter (181)
            :                       +- Scan orc 
mdw_dam.dam_fin_loan_payable_revenue_df (180)
            +- Sort (193)
               +- Exchange (192)
                  +- Project (191)
                     +- Filter (190)
                        +- Scan orc mdw_dwd.dwd_credit_loan_duebill_clb_dtl_df 
(189)
   


-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: [email protected]

For queries about this service, please contact Infrastructure at:
[email protected]


---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]

Reply via email to