comphead commented on issue #4150:
URL:
https://github.com/apache/datafusion-comet/issues/4150#issuecomment-4501432847
functions which are not straightforward
```
┌─────────────────┬─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Spark class │
Why not straightforward
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Shuffle (array) │ Has randomSeed: Option[Long] baked into the case class
(not as a child expression). Needs Pattern C to convert the seed field into a
literal arg. │
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Pmod │ Has evalMode (ANSI) in the case class. DataFusion
reads ANSI from session config; mismatch unless Comet bridges it.
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ MakeInterval │ Spark secs is Decimal(MAX_LONG_DIGITS, 6) returning
CalendarIntervalType; DataFusion takes Float64 returning IntervalMonthDayNano.
Type divergence. │
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ MakeDTInterval │ Same Decimal→Float64 divergence; returns Duration(µs)
vs Spark DayTimeIntervalType.
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Base64 │ RuntimeReplaceable + chunkBase64: Boolean field —
Catalyst replaces it; needs different handling.
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ UnBase64 │ Has failOnError (ANSI). Pattern C.
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Elt │ Has failOnError (ANSI). Pattern C.
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ FormatString │ Has SQLConf.ALLOW_ZERO_INDEX_IN_FORMAT_STRING check.
Pattern C.
│
├─────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ParseUrl │ Has failOnError (ANSI). Pattern C.
│
└─────────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
