maven 仓库flink-connector-filesystem 最高1.11.3，也能用吗？
guoyb <861277...@qq.com> 于2021年4月15日周四 下午10:01写道：
> 1.12.0的也可以，大版本一样就行了
>
>
>
> ---原始邮件---
> 发件人: "张锴" 发送时间: 2021年4月15日(周四) 下午5:16
> 收件人: "user-zh" 主题: flink1.12.2 StreamingFileSink 问题
>
>
>
> flink用的1.12.2，要sink到hdfs,选用了StreamingFileSink，导入依赖的时候m
您好：
我们线上flink集群一个pod更新configmap时报错，我们有两个pod做的k8s原生高可用。
pod1 日志：(也是当时configmap里面保存的leader pod, ip: 10.20.0.39)
2021-04-15 20:42:26,058 INFO
org.apache.flink.kubernetes.kubeclient.resources.KubernetesLeaderElector []
- New leader elected 7d4a9b5c-39aa-4103-963b-eaf24ea6435a for
tuiwen-flink-res
可以参考下[1], 如果是相同的问题，将依赖改为flink-connector-elasticsearch
[1] https://issues.apache.org/jira/browse/FLINK-18857
Best,
Yangze Guo
On Fri, Apr 16, 2021 at 10:43 AM Yangze Guo wrote:
>
> 有完整报错栈或者日志能发下么？
>
> Best,
> Yangze Guo
>
> On Fri, Apr 16, 2021 at 9:33 AM william <712677...@qq.com> wrote:
> >
>
本地模式可以执行成功
提交到yarn，报错
java.lang.ClassNotFoundException:org.apache.kafka.clients.consumer.ConsumerRecord
lib包里有sql-connector-kafka，请问这是什么情况导致的？可以怎么排查，yarn上有哪些jar包呢。
有完整报错栈或者日志能发下么？
Best,
Yangze Guo
On Fri, Apr 16, 2021 at 9:33 AM william <712677...@qq.com> wrote:
>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi:
??
pyflink??1.12.0vmysql-cdc??
mysql??5.7
vbinlog??
CREATE TABLE test (
id int,
name string,
age int,
PRIMARY KEY (id) NOT
问题一： Interval Join doesn't support consuming update and delete
changes是因为输入A或者B是一个更新流
问题二：interval
join使用buffer来缓存A和B的数据，没有放在state里，只有在watermark超过下边界会触发onEventtime清理 buffer。
延迟问题：没有类似statettl的配置，interval join不受statettl控制清除状态
乱序问题：如果 B的数据时间小于 watermark则匹配不到，一切是跟watermmark相关
以上个人看源码理解的。希望有帮助
--
S
可能需要修改源码：
https://blog.csdn.net/young_0609/article/details/110407781
--
Sent from: http://apache-flink.147419.n8.nabble.com/
但是用process-time是有数据的，目前用partition-time一直没成功写出过数据
--
Sent from: http://apache-flink.147419.n8.nabble.com/
这不是一个问题，是我理解的问题。感谢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
1： Interval Join doesn't support consuming update and delete changes
是因为A或B是一个update stream
2：
Interval Join 的临时数据是放在buffer中，当wtm超过边界时间就会清理掉 buffer也就join不到了。所以
statettl无法控制A流的缓存数据。
延迟问题：所以如果wtm不更新，A流的数据不会被清理因为不受statettl控制
乱序问题：如果B流的旧时间小于 watermark就join不上
以上是个人理解、、
--
Sent from: http://apac
??
??pyflink??mysql-cdcmysql??5.7
vbinlog
CREATE TABLE test (
id int,
name string,
age int,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'host
有人知道这个bug吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
已解决
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2021年04月15日 15:38，superainbower 写道：
Hi，请教一下大家，本地环境仅部署了Flink集群，没有Hadoop环境，按照官网在plugins中新增目录添加flink-oss*.jar，在flink-conf.yml中添加fs.oss相关配置
还需要做什么才可以正常读写oss呢，目前现在在sqlclient中，会提示No FileSystem for scheme: oss
| |
superainbower
|
|
super
The Apache Flink community is very happy to announce the release of Apache
Flink Stateful Functions (StateFun) 3.0.0.
StateFun is a cross-platform stack for building Stateful Serverless
applications, making it radically simpler to develop scalable, consistent,
and elastic distributed applications.
1.12.0的也可以，大版本一样就行了
---原始邮件---
发件人: "张锴"
hi
你需要添加下面两个参数:
'csv.line-delimiter'='',
'csv.disable-quote-character'='true'
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
flink.version=1.12.0
Create table t1(
a varchar
)with (
connector=kafka
format=json
)
Create table t2(
a varchar
)with (
connector=filesystem
format=csv
)
SQL: Insert into t2 select a from t1
发送: {"a":[{"a1":1,"a2":2}]}
Hdfs的结果为："[{""a1"":1,""a2"":2}]”
问题：为什么一个双引号
flink.version=1.12.0
Create table t1(
a varchar
)with (
connector=kafka
format=json
)
Create table t2(
a varchar
)with (
connector=filesystem
format=csv
)
SQL: Insert into t2 select a from t1
发送: {"a":[{"a1":1,"a2":2}]}
Hdfs的结果为："[{""a1"":1,""a2"":2}]”
问题：为什么一个双引号
Create table t1(
a varchar
)with (
connector=kafka
format=json
)
Create table t2(
a varchar
)with (
connector=filesystem
format=csv
)
SQL: Insert into t2 select a from t1
发送: {"a":[{"a1":1,"a2":2}]}
Hdfs的结果为："[{""a1"":1,""a2"":2}]”
问题：为什么一个双引号变成了2个双引号？ 发送到其它目标是正常的
flink用的1.12.2，要sink到hdfs,选用了StreamingFileSink，导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包，我应该选用哪个版本合适
hi all,
合理的话这里的ScheduledExecutor的delay参数是否可以和slot.request.timeout和idle.timeout两个参数分开配置？
public void start(
@Nonnull JobMasterId jobMasterId,
@Nonnull String newJobManagerAddress,
@Nonnull ComponentMainThreadExecutor componentMainThreadExecutor)
throws Exception {
this.jobMasterId = j
hi all,
通过看源码发现了问题 :
短时间内提交大量Job后, JobManager进程会OOM的原因是这些Job所属的JobMaster没被及时的GC掉.
原因是JobMaster所属的SlotPoolImpl在启动时后会定期的检查有没有pending slot request, 如果发生了time
out的情况会做相应的cancel操作,
而这个周期任务的延迟是slot.idle.timeout和slot.request.timeout两个参数决定的,
所以在Job执行完毕后, 因为周期检查的线程还有一次在等待周期时间,
这导致SlotPoolImpl和JobMaster都在
broadcast stream读取zk配置 + groovy动态编译生成pattern
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi community,
For some high-parallel Flink jobs, when hdfs Namenode is under pressure, JM
cleaning files becomes a bottleneck. I have some questions and hope to be
answered. thanks.
Motivation:
Flink job:
Parallelism = 4000
Checkpoint interval = 10s
More than 5 Operators include State, an
Hi，请教一下大家，本地环境仅部署了Flink集群，没有Hadoop环境，按照官网在plugins中新增目录添加flink-oss*.jar，在flink-conf.yml中添加fs.oss相关配置
还需要做什么才可以正常读写oss呢，目前现在在sqlclient中，会提示No FileSystem for scheme: oss
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
hi??
flink
cep??cep
28 matches
Mail list logo
