目前 SQL CLI 还不支持配置 flink-conf.yaml 中的参数,只支持 table 自己的参数。
你可以用 SET table.exec.resource.default-parallelism = xx 来配置 job 并发。
On Thu, 31 Dec 2020 at 17:13, jiangjiguang719
wrote:
> 通过设置table.exec.hive.infer-source-parallelism=false 已经可以控制并发度,但是存在以下现象:
> 1、无论在streaming 还是在batch 模式,并发度只能由flink-conf.ya
Hi.
查询语句中可以使用 cast 内置函数将值强制转换为指定的类型,如 select CAST(A.`col1` AS SMALLINT) as col1
from table
参考:
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/systemFunctions.html#type-conversion-functions
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table
flink sql官方文档中数组的取值方式如下定义
array ‘[’ integer ‘]’ Returns the element at position integer in array. The
index starts from 1.
参考链接
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/systemFunctions.html#collection-functions
主要问题就是数组的下标是从1开始的,这不符合数组从0开始的常识,也和hive sql不兼容,
发送自 Windows 10 版邮件应用
发件人: Yun Tang
发送时间: 2020年12月31日 10:00
收件人: user-zh@flink.apache.org
主题: Re: flink如何使用oss作为checkpoint/savepoint/statebackend?
Hi
其实社区文档 [1] 已经给了很详细的步骤:
1. 将flink-oss-fs-hadoop jar包放在plugins目录下
2. 配置oss的endpoint,id和secret
3. 在需要使用oss的地方,声明oss:// 开头的schema,例如state b
Hi:
我自定义connect并实现了FilterableTableSource接口,可是发现flink planner 下推的Filter中,
Literal类型与字段类型不匹配。
比如:下面的SQL:
select * from shortRow1 where key in (1, 2, 3) and col1 > 10 and col1 <= 15
其中DDL定义时, key、col1、col1都是SMALLINT类型
在下推的Filter中, GreaterThan中的Literal是Integer类型,这样是合理的吗?或者我的查询语句中要做什么处理?
祝好!
| |
aut
通过设置table.exec.hive.infer-source-parallelism=false 已经可以控制并发度,但是存在以下现象:
1、无论在streaming 还是在batch 模式,并发度只能由flink-conf.yaml 中的
parallelism.default控制,其是全局配置,不能做到单个作业配置并发度
2、在sql-client-defaults.yaml中设置 parallelism 无效,在SQL Clint 中设置
parallelism.default 和 parallelism 都无效
那么如何有效控制 单个任务的并发度呢?
在 2020-1
我猜测,要是可以在invoke的时候,拿到sink当前对应的barriar的话,从这个barriar取出offset,或者在richSinkFunction时,调用getRuntimeContext()上下文对象,从这个上下文中,拿到当前的task
metrics,从而取出task的offset
--
Sent from: http://apache-flink.147419.n8.nabble.com/