当前通过flink的side
output可以方便的将一条stream划分成两条,但是当想使用SQL的方式实现这个功能。目前社区有做这个的打算吗?还是已经支持了?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请教下,flinkCEP只能用在eventTime 模式下吗,因为我发现写了个cep程序,申明采用processingTime,没有数据发出
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi:
我自定义了一个UpsertStreamTableSink,在接入cdc数据向我的这个Sink写数据的时候,抛出了下面的异常:
Exception in thread "main" org.apache.flink.table.api.TableException:
UpsertStreamTableSink requires that Table has a full primary keys if it is
updated.
at
org.apache.flink.table.planner.plan.nodes.physical.stream.StreamExecLeg
写on了,刚发现描述的问题没有写全
--
Sent from: http://apache-flink.147419.n8.nabble.com/
sorry , 描述没写全,是有on的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi ALL??
??flink ceph ceph
Best,
Luke Yan
大家好:
方向:ETL
除了延迟上的区别,离线能实现的,flink 实时实现不了的应用场景有哪些或者有缺陷的点?
你看异常信息,提示时态表join的时候需要主键,但是你没有定义。而且你join的时候不需要on吗?
| |
allanqinjy
|
|
allanqi...@163.com
|
签名由网易邮箱大师定制
在2021年05月14日 09:32,hehuiyuan 写道:
select
FROM jdqTableSources AS a
JOIN tmmmp FOR SYSTEM_TIME AS OF a.proctime AS b
Caused by: org.apache.flink.client.program.ProgramInvocationException
select
FROM jdqTableSources AS a
JOIN tmmmp FOR SYSTEM_TIME AS OF a.proctime AS b
Caused by: org.apache.flink.client.program.ProgramInvocationException: The
main method caused an error: Temporal Table Join requires primary key in
versioned table, but no primary key can be found. The physic
你好,想问下mysql cdc做维度表left join的时候,能使用处理时间吗,我测试貌似只能使用事件时间
发自我的iPhone
兄弟们,想问下Flink的CEP能够对无序数据流进行处理匹配嘛?
我这里指的无序事件是:例如有两个事件,事件A和事件B,在一个时间窗口内,只要匹配到了A和B,不论A和B的到来顺序,我都认为是符合我的条件
我有一个flinkCEP程序,采用eventTime,监控形如如下的数据
[13/May/2021:20:45:36 +0800]
[13/May/2021:20:45:36 +0800]
[13/May/2021:20:45:37 +0800]
[13/May/2021:20:45:37 +0800]
[13/May/2021:20:45:50 +0800]
程序中关键设置如下:
设置了水印延迟2s
跳过测略AfterMatchSkipStrategy.skipPastLastEvent()
.times(3)
.within(Time.seconds(3));
结果得到如下
source 端接收到的数据类型为 String, sink 端 MySQL 数据库字段类型定义为 decimal(12, 2) , 在编写
insert 语句时该如何把 String 类型转换为 decimal, 尝试了 flink build-in 的 cast
并不行,请问各位有什么好的方法?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
不是,原因找到了,是函数多次嵌套导致,flink原始类型是not null,不能转换为string,这个报错信息真的是蛋疼,让人迷惑
在 2021-05-13 10:09:49,"allanqinjy" 写道:
>光看异常,应该是你插入了空值吧,你插入hbase的时候做个filter过滤吧,比如你的rowkey空了,你往hbase插入应该是不行的。你可以试试。
>
>
>| |
>allanqinjy
>|
>|
>allanqi...@163.com
>|
>签名由网易邮箱大师定制
>
>
>在2021年05月12日 19:23,酷酷的浑蛋 写道:
>M
flink sql怎样将change log stream转换成append log stream?
通过cdc接入了change log stream,后面就不能使用窗口聚合了,像Tumble和Hop, Session窗口。只能通过state ttl +
group by timestamp这种方式聚合。
问一下有没有办法将change log stream转换成append log stream,从而可以使用上述窗口聚合了呢?谢谢!
并没有定位到具体原因,只能靠重启作业缓解。。。
zhisheng 于2021年5月13日周四 下午4:20写道:
> 你好,这个问题后来定位到问题了吗?
>
> 我们生产也有一个作业有这样的问题,Flink 版本是 1.10.0,这个作业是 JM 的线程数很多(快 6k),作业是 flink 读取
> Kafka,会关联 HBase ,开启了 Checkpoint,就这个作业有问题,很奇怪
>
> https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg
>
> zilong xiao 于2020年12月8日
Flink java ??
-- --
??: "zhisheng"https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg
zilong xiao
你好,这个问题后来定位到问题了吗?
我们生产也有一个作业有这样的问题,Flink 版本是 1.10.0,这个作业是 JM 的线程数很多(快 6k),作业是 flink 读取
Kafka,会关联 HBase ,开启了 Checkpoint,就这个作业有问题,很奇怪
https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg
zilong xiao 于2020年12月8日周二 下午6:21写道:
> 作业数据流是 kafka -> flink ->
> http/prometheus,目前这类型的作业很多,但是就
Hi Yang??
flink session on k8s ??examples
application ??
flink run-application \
--target kubernetes-application \
-Dkubernetes.namespace=flink-session-cluster \
-Dkubernetes.cluster-
19 matches
Mail list logo