Re: Re: SQL Client并行度设置 问题

2020-12-31 文章 Jark Wu
目前 SQL CLI 还不支持配置 flink-conf.yaml 中的参数,只支持 table 自己的参数。 你可以用 SET table.exec.resource.default-parallelism = xx 来配置 job 并发。 On Thu, 31 Dec 2020 at 17:13, jiangjiguang719 wrote: > 通过设置table.exec.hive.infer-source-parallelism=false 已经可以控制并发度,但是存在以下现象: > 1、无论在streaming 还是在batch 模式,并发度只能由flink-conf.ya

Re:FlinkSQL 下推的值类型与字段类型不对应

2020-12-31 文章 whirly
Hi. 查询语句中可以使用 cast 内置函数将值强制转换为指定的类型,如 select CAST(A.`col1` AS SMALLINT) as col1 from table 参考: https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/systemFunctions.html#type-conversion-functions https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table

flink sql 数组下标问题

2020-12-31 文章 silence
flink sql官方文档中数组的取值方式如下定义 array ‘[’ integer ‘]’ Returns the element at position integer in array. The index starts from 1. 参考链接 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/systemFunctions.html#collection-functions 主要问题就是数组的下标是从1开始的,这不符合数组从0开始的常识,也和hive sql不兼容,

回复: flink如何使用oss作为checkpoint/savepoint/statebackend?

2020-12-31 文章 changleying
发送自 Windows 10 版邮件应用 发件人: Yun Tang 发送时间: 2020年12月31日 10:00 收件人: user-zh@flink.apache.org 主题: Re: flink如何使用oss作为checkpoint/savepoint/statebackend? Hi 其实社区文档 [1] 已经给了很详细的步骤: 1. 将flink-oss-fs-hadoop jar包放在plugins目录下 2. 配置oss的endpoint,id和secret 3. 在需要使用oss的地方,声明oss:// 开头的schema,例如state b

FlinkSQL 下推的值类型与字段类型不对应

2020-12-31 文章 automths
Hi: 我自定义connect并实现了FilterableTableSource接口,可是发现flink planner 下推的Filter中, Literal类型与字段类型不匹配。 比如:下面的SQL: select * from shortRow1 where key in (1, 2, 3) and col1 > 10 and col1 <= 15 其中DDL定义时, key、col1、col1都是SMALLINT类型 在下推的Filter中, GreaterThan中的Literal是Integer类型,这样是合理的吗?或者我的查询语句中要做什么处理? 祝好! | | aut

Re:Re: SQL Client并行度设置 问题

2020-12-31 文章 jiangjiguang719
通过设置table.exec.hive.infer-source-parallelism=false 已经可以控制并发度,但是存在以下现象: 1、无论在streaming 还是在batch 模式,并发度只能由flink-conf.yaml 中的 parallelism.default控制,其是全局配置,不能做到单个作业配置并发度 2、在sql-client-defaults.yaml中设置 parallelism 无效,在SQL Clint 中设置 parallelism.default 和 parallelism 都无效 那么如何有效控制 单个任务的并发度呢? 在 2020-1

Re: 请教如何在flink job 里自定义kafka source function 及时提交offset

2020-12-31 文章 HideOnBushKi
我猜测,要是可以在invoke的时候,拿到sink当前对应的barriar的话,从这个barriar取出offset,或者在richSinkFunction时,调用getRuntimeContext()上下文对象,从这个上下文中,拿到当前的task metrics,从而取出task的offset -- Sent from: http://apache-flink.147419.n8.nabble.com/