sideoutput sql语法支持

2021-05-13 文章 Yu Xia
当前通过flink的side output可以方便的将一条stream划分成两条,但是当想使用SQL的方式实现这个功能。目前社区有做这个的打算吗?还是已经支持了? -- Sent from: http://apache-flink.147419.n8.nabble.com/

FlinKCEP

2021-05-13 文章 lp
请教下,flinkCEP只能用在eventTime 模式下吗,因为我发现写了个cep程序,申明采用processingTime,没有数据发出 -- Sent from: http://apache-flink.147419.n8.nabble.com/

UpsertStreamTableSink requires that Table has a full primary keys if it is updated.

2021-05-13 文章 automths
Hi: 我自定义了一个UpsertStreamTableSink,在接入cdc数据向我的这个Sink写数据的时候,抛出了下面的异常: Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is updated. at org.apache.flink.table.planner.plan.nodes.physical.stream.StreamExecLeg

Re: 回复:flink使用hive作为维表,kafka作为数据源,join时候报错

2021-05-13 文章 hehuiyuan
写on了,刚发现描述的问题没有写全 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复:flink使用hive作为维表,kafka作为数据源,join时候报错

2021-05-13 文章 hehuiyuan
sorry , 描述没写全,是有on的 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink ????ceph

2021-05-13 文章 ????????????????
Hi ALL?? ??flink ceph ceph Best, Luke Yan

Flink etl 的应用场景

2021-05-13 文章 孙啸龙
大家好: 方向:ETL 除了延迟上的区别,离线能实现的,flink 实时实现不了的应用场景有哪些或者有缺陷的点?

回复:flink使用hive作为维表,kafka作为数据源,join时候报错

2021-05-13 文章 allanqinjy
你看异常信息,提示时态表join的时候需要主键,但是你没有定义。而且你join的时候不需要on吗? | | allanqinjy | | allanqi...@163.com | 签名由网易邮箱大师定制 在2021年05月14日 09:32,hehuiyuan 写道: select FROM jdqTableSources AS a JOIN tmmmp FOR SYSTEM_TIME AS OF a.proctime AS b Caused by: org.apache.flink.client.program.ProgramInvocationException

flink使用hive作为维表,kafka作为数据源,join时候报错

2021-05-13 文章 hehuiyuan
select FROM jdqTableSources AS a JOIN tmmmp FOR SYSTEM_TIME AS OF a.proctime AS b Caused by: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Temporal Table Join requires primary key in versioned table, but no primary key can be found. The physic

Mysql cdc 事件时间

2021-05-13 文章 流弊
你好,想问下mysql cdc做维度表left join的时候,能使用处理时间吗,我测试貌似只能使用事件时间 发自我的iPhone

请教flink cep如何对无序数据处理

2021-05-13 文章 sherlock zw
兄弟们,想问下Flink的CEP能够对无序数据流进行处理匹配嘛? 我这里指的无序事件是:例如有两个事件,事件A和事件B,在一个时间窗口内,只要匹配到了A和B,不论A和B的到来顺序,我都认为是符合我的条件

FlinkCEP 尽可能多的匹配的问题

2021-05-13 文章 lp
我有一个flinkCEP程序,采用eventTime,监控形如如下的数据 [13/May/2021:20:45:36 +0800] [13/May/2021:20:45:36 +0800] [13/May/2021:20:45:37 +0800] [13/May/2021:20:45:37 +0800] [13/May/2021:20:45:50 +0800] 程序中关键设置如下: 设置了水印延迟2s 跳过测略AfterMatchSkipStrategy.skipPastLastEvent() .times(3) .within(Time.seconds(3)); 结果得到如下

类型转换问题 String 类型如何转 decimal类型

2021-05-13 文章 WeiXubin
source 端接收到的数据类型为 String, sink 端 MySQL 数据库字段类型定义为 decimal(12, 2) , 在编写 insert 语句时该如何把 String 类型转换为 decimal, 尝试了 flink build-in 的 cast 并不行,请问各位有什么好的方法? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:回复:flink sql写hbase问题

2021-05-13 文章 酷酷的浑蛋
不是,原因找到了,是函数多次嵌套导致,flink原始类型是not null,不能转换为string,这个报错信息真的是蛋疼,让人迷惑 在 2021-05-13 10:09:49,"allanqinjy" 写道: >光看异常,应该是你插入了空值吧,你插入hbase的时候做个filter过滤吧,比如你的rowkey空了,你往hbase插入应该是不行的。你可以试试。 > > >| | >allanqinjy >| >| >allanqi...@163.com >| >签名由网易邮箱大师定制 > > >在2021年05月12日 19:23,酷酷的浑蛋 写道: >M

flink sql怎样将change log stream转换成append log stream?

2021-05-13 文章 casel.chen
flink sql怎样将change log stream转换成append log stream? 通过cdc接入了change log stream,后面就不能使用窗口聚合了,像Tumble和Hop, Session窗口。只能通过state ttl + group by timestamp这种方式聚合。 问一下有没有办法将change log stream转换成append log stream,从而可以使用上述窗口聚合了呢?谢谢!

Re: Flink 1.11版本LeaseRenewer线程不释放

2021-05-13 文章 zilong xiao
并没有定位到具体原因,只能靠重启作业缓解。。。 zhisheng 于2021年5月13日周四 下午4:20写道: > 你好,这个问题后来定位到问题了吗? > > 我们生产也有一个作业有这样的问题,Flink 版本是 1.10.0,这个作业是 JM 的线程数很多(快 6k),作业是 flink 读取 > Kafka,会关联 HBase ,开启了 Checkpoint,就这个作业有问题,很奇怪 > > https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg > > zilong xiao 于2020年12月8日

?????? Flink 1.11????LeaseRenewer??????????

2021-05-13 文章 5599
Flink java ?? --  -- ??: "zhisheng"https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg zilong xiao

Re: Flink 1.11版本LeaseRenewer线程不释放

2021-05-13 文章 zhisheng
你好,这个问题后来定位到问题了吗? 我们生产也有一个作业有这样的问题,Flink 版本是 1.10.0,这个作业是 JM 的线程数很多(快 6k),作业是 flink 读取 Kafka,会关联 HBase ,开启了 Checkpoint,就这个作业有问题,很奇怪 https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg zilong xiao 于2020年12月8日周二 下午6:21写道: > 作业数据流是 kafka -> flink -> > http/prometheus,目前这类型的作业很多,但是就

?????? flink on k8s native ????????

2021-05-13 文章 ????????????????
Hi Yang?? flink session on k8s ??examples application ?? flink run-application \ --target kubernetes-application \ -Dkubernetes.namespace=flink-session-cluster \ -Dkubernetes.cluster-