??????kafka appender????

---- ??: "user-zh"

??????kafka appender????

Hi error ? ?? CPU ?? IO ? Best JasonLee ??2021??08??4?? 12:25??datafollower<609326...@qq.com.INVALID> ?? hi allflink??5000+??error??kafka?? log4j2 ??kafkaappender

kafka appender????

hi allflink??5000+??error??kafka?? log4j2 ??kafkaappender ??error??kafka?? 1.kafka appender??error log10

?????? $internal.yarn.log-config-file

?? ---- ??: "user-zh"

flink sql统计IP出现次数TopN问题

场景：实时统计用户访问日志数据，求一分钟内访问事件发生次数超过5次的用户，其不同source_ip出现次数最多前3个的事件 源表数据 user_name, source_ip, ts 张三, 100, 00:08 张三, 104, 00:12 张三, 100, 00:15 张三, 101, 00:35 张三, 100, 00:38 张三, 102, 00:40 张三, 102, 00:45 张三, 101, 00:47 张三, 100, 00:55 张三, 100, 01:15 李四, 200, 01:17 李四, 200, 01:19 李四, 200, 01:27 王五,

Re:几个Flink 1.12. 2超时问题

应该可以从两个层面查一下： 1、调度层面。native application是先启动JM容器，然后由JM容器与K8s交互拉起TM的，可以看一下K8s日志，看看整个流程是否有瓶颈点，比如镜像的拉取，TM容器的启动之类。 2、网络层面。如果调度没有问题，各容器启动的过程和速度都很正常，那就要看网络层面是否存在瓶颈，必要的时候可以tcpdump一下。 在 2021-08-03 14:02:53，"Chenyu Zheng" 写道： 开发者您好， 我正在尝试在Kubernetes上部署Flink 1.12.2，使用的是native

Re: 几个Flink 1.12. 2超时问题

是因为上游事件源速率比较大，需要提高并行度来匹配速率 谢谢！ On 2021/8/3, 2:41 PM, "Ye Chen" wrote: 你好， 请问一下为什么要设置128并行度，这个数值有点太大了，出于什么考虑设置的 在 2021-08-03 14:02:53，"Chenyu Zheng" 写道： 开发者您好， 我正在尝试在Kubernetes上部署Flink 1.12.2，使用的是native

Flink sql 维表聚合问题请教

请教下如何在维表上做聚合操作? 如下操作与预期不符合，不知道是姿势不正确还是其他原因，麻烦大佬些指教下 ~ -- 模拟需求(有点牵强...): -- 过滤 kafka_user_event 中 event_type = LOGIN 数据，并且关联维表 mysql_user_blacklist 统计对应 user_id 在维表中的次数 -> 即: 在维表上做聚合操作 -- 1. 创建user_blacklist表 CREATE TABLE `user_blacklist` ( `user_id` bigint(20) NOT NULL, `create_time` datetime

Re: $internal.yarn.log-config-file

在我们的生产环境中使用YarnClient和YarnClusterDescriptor等api往yarn提交flink任务，此时我们使用 YarnConfigOptionsInternal里面的APPLICATION_LOG_CONFIG_FILE 来给 每一个任务设置它单独的log4j配置文件路径 Caizhi Weng 于2021年7月30日周五 上午11:02写道： > Hi！ > > 实际上 yarn log config file 所在的 config 目录可以通过 FLINK_CONF_DIR > 这个环境变量指定。不过这要求客户端的 FLINK_CONF_DIR

Re: 非对齐检查点还能保证exactly once语义吗

Hi! 1.13 的文档对 unaligned checkpoint 的介绍在 https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/ops/state/checkpoints/#unaligned-checkpoints 和 https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/concepts/stateful-stream-processing/#unaligned-checkpointing shimin huang

Re: 非对齐检查点还能保证exactly once语义吗

Hi! 这个有相关的文档介绍吗，1.11版本左右简单了解过exactly once非对齐机制这块，1.13版本的exactly once的非对齐机制貌似没在官方文档上看到 Caizhi Weng 于2021年8月2日周一 下午7:28写道： > Hi！ > > shimin huang 说的可能是原本的 at least once 的 checkpoint 机制，这种 checkpoint 原本就是不对齐的。 > > Flink 1.13 完善了 exactly once 条件下的不对齐 checkpoint 机制，因此这是能保证 exactly once >

Re:eventTime语义一些设备的数据总是迟到被丢弃

你好， 设备数据迟到多久？maxOutofOrderness设置一个合适的值，让迟到的数据到达窗口后再计算。 best regards 在 2021-08-03 15:15:37，"zwoi" <318666...@qq.com.INVALID> 写道： >hi > 我的设备数据是这样的， 设备id id(设备的唯一标识), 时间戳 time，要处理的指标 value， > 在eventTime语义下watermark 生成方式为new >Watermark(Math.max(time, currentMaxTimestamp)

Re: eventTime语义一些设备的数据总是迟到被丢弃

Hi！ keyby 之后是做窗口聚合吗？如果是的话，SQL API 有一个配置项 table.exec.emit.late-fire.enabled 和 table.exec.emit.late-fire.delay 可以处理迟到数据。当这个功能 enabled 之后，若 delay = 0 则每来一条迟到数据就会输出一次修正的结果，若 delay > 0 则是窗口结束后每隔 delay 的时间输出一次。能接受的迟到的时长和 state ttl 是一样的。详细说明见 WindowEmitStrategy 这个类。 zwoi <318666...@qq.com.invalid>

eventTime????????????????????????????????

hi ?? id id(??), ?? time?? value?? ??eventTime??watermark ??new Watermark(Math.max(time, currentMaxTimestamp) -maxOutofOrderness)?? ?? keyby(id)

Re:几个Flink 1.12. 2超时问题

你好， 请问一下为什么要设置128并行度，这个数值有点太大了，出于什么考虑设置的 在 2021-08-03 14:02:53，"Chenyu Zheng" 写道： 开发者您好， 我正在尝试在Kubernetes上部署Flink 1.12.2，使用的是native application部署模式。但是在测试中发现，当将作业并行度调大之后，各种timeout时有发生。根据监控看，JM和TM容器的cpu和内存都没有使用到k8s给分配的量。 在尝试调大akka.ask.timeout至1分钟，和heartbeat.timeout至2分钟之后，各种超时现象得以缓解。

Re: 几个Flink 1.12. 2超时问题

Taskmanager timeout: java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) ~[?:1.8.0_282]

Re: 几个Flink 1.12. 2超时问题

更正，这个是akka timeout exception java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292)

Re: 几个Flink 1.12. 2超时问题

AKKA timeout java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) ~[?:1.8.0_282]

几个Flink 1.12. 2超时问题

开发者您好， 我正在尝试在Kubernetes上部署Flink 1.12.2， 使用的是native application部署模式。但是在测试中发现，当将作业并行度调大之后，各种timeout时有发生。根据监控看，JM和TM容器的cpu和内存都没有使用到k8s给分配的量。 在尝试调大akka.ask.timeout至1分钟，和heartbeat.timeout至2分钟之后，各种超时现象得以缓解。