Re:关于flink升级

官网有升级建议 https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/upgrading.html#compatibility-table 在 2020-08-14 09:15:53，"引领" 写道： >我们的flink是在1.7版本的，所以这次想对flink进行升级，但升级建议直接升级flink1.11.1么？有木有大佬在生产环境部署的么？ > > >| | >引领 >| >| >yrx73...@163.com >| >签名由网易邮箱大师定制 >

Re:Re: FLINK1.11.1 对OGG数据入HIVE的问题咨询

connector确实是支持不了的。前两个也许可以通过把写不同的表变成写同一个表的不同分区来解决。第三个可能可以通过检查数据跟目标schema是不是匹配，来判断是不是需要去跟HMS同步新的schema。 > >On Thu, Aug 13, 2020 at 3:27 PM USERNAME wrote: > >> >> >> 任务流程: >> OGG->KAFKA->FLINK->HIVE >> >> >> KAFKA数据样例： >> 其

FLINK1.11.1 对OGG数据入HIVE的问题咨询

任务流程: OGG->KAFKA->FLINK->HIVE KAFKA数据样例： 其中会有多个 "table",所以"before"，"after"中的字段是不一致的，同一个表如果有有DDL变更也会导致"before"，"after"字段的变更。 { "table": "SCOOT.TABLENAME", "op_type": "U", "op_ts": "2020-08-11 07:53:40.008001", "current_ts": "2020-08-11T15:56:41.233000", "pos":

Re:Re: CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

evict 丢弃掉的数据，在内存或者RocksDB中也会同步删除吗？ 在 2020-01-21 17:27:38，"tison" 写道： >正好看到这一部分，还是有的，你考虑下滑动的计数窗口 > >[1] 会在 fire 之后把整个 windowState 丢掉，[2] 其实会重新计算 evict 之后的 windowState > >Best, >tison. > > >USERNAME 于2020年1月21日周二 下午5:21写道： > >> 大家，新年快乐~ >>

CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

大家，新年快乐~ [1] TriggerResult.FIRE_AND_PURGE https://github.com/apache/flink/blob/1662d5d0cda6a813e5c59014acfd7615b153119f/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/windowing/evictors/CountEvictor.java#L74 [2] CountEvictor

Re:FLINK 1.9.1 TriggerResult.FIRE_AND_PURGE 与 ctx.registerEventTimeTimer()

nts(actualWindow, contents, evictingWindowState); } -- 这里会吧 evictingWindowState给clear了 if (triggerResult.isPurge()) { evictingWindowState.clear(); } 在 2020-01-19 13:27:17，"USERNAME" 写道： >大家新年快乐！ > > >版本：FLINK 1.9.1 > > >部分代码 >.keyBy("key") >

FLINK 1.9.1 TriggerResult.FIRE_AND_PURGE 与 ctx.registerEventTimeTimer()

大家新年快乐！ 版本：FLINK 1.9.1 部分代码 .keyBy("key") .window(EventTimeSessionWindows.withGap(Time.hours(1))) .trigger(new NewTrigger()) .process(new NewProcess()) --NewTrigger() @Override public TriggerResult onElement(Bean bean, long l, TimeWindow timeWindow, TriggerContext ctx) throws Exception

Re:Re: FLINK 不同 StateBackend ProcessWindowFunction的差别

b/streaming/state/RocksDBListState.java#L119 > >祝好 >唐云 > > >From: USERNAME >Sent: Tuesday, January 7, 2020 17:54 >To: user-zh@flink.apache.org >Subject: FLINK 不同 StateBackend ProcessWindowFunction的差别 > >各位好！ >祝大家新年快乐！ > > &g

Re:Re:Re: FLINK 不同 StateBackend ProcessWindowFunction的差别

TTL 好像不支持 TimeCharacteristic.EventTime 方式 在 2020-01-08 14:17:11，"USERNAME" 写道： >我这例子需要通过 在触发器中 TriggerResult.FIRE_AND_PURGE 来清理当前计算窗口的数据，实现增量计算，跟TTL有点区别吧。 > > > > > >在 2020-01-07 19:51:57，"huoguo" 写道： >> >> >>过期数据能通过TTL 设置过期吗？ >&

FLINK 不同 StateBackend ProcessWindowFunction的差别

各位好！ 祝大家新年快乐！ --版本 FLINK 1.9.1 ON YARN --过程 1.定义一个 EventTimeSessionWindows.withGap(Time.hours(1))窗口 2.定义一个new Trigger(），每隔固定间隔计算一次，并且输出 3.定义一个new ProcessWindowFunction(),每隔固定时间计算一次，并且输出，并且不保留已经计算的数据 --问题 new ProcessWindowFunction()中通过iter.remove();来将计算过的数据去掉，

Re:Re: FLINK 1.9.1 StreamingFileSink 压缩问题

非常感谢帮助！ 祝腊八快乐，祝大家腊八愉快！！ 在 2020-01-02 15:00:25，"JingsongLee" 写道： >Hi, > >看起来你只能改下connector代码才能支持压缩了： >ParquetAvroWriters.createAvroParquetWriter里：设置AvroParquetWriter.Builder的压缩格式。 > >Best, >Jingsong Lee > > >-- >From:USERNAME >Send

Re:Re: FLINK 1.9 + YARN+ SessionWindows + 大数据量 + 运行一段时间后 OOM

，或者改了配置之后仍存在问题，可以尝试调大下面这个配置，未配置时默认值是0.25 >containerized.heap-cutoff-ratio > >Thank you~ > >Xintong Song > > > >On Tue, Dec 17, 2019 at 5:49 PM USERNAME wrote: > >> 版本：flink 1.9.1 >> --运行命令 >> flink run -d -m yarn-cluster -yn 40 -y

FLINK 1.9 + YARN+ SessionWindows + 大数据量 + 运行一段时间后 OOM

版本：flink 1.9.1 --运行命令 flink run -d -m yarn-cluster -yn 40 -ys 2 --部分代码 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); RocksDBStateBackend backend = new RocksDBStateBackend(CHECKPOINT_PATH, true); .keyBy("imei") //10W+

Re:Re:FLINK Checkpoint 问题咨询

>1、使用的是rocksdb 增量state? >2、checkpoint的时间间隔设置的多少？ > > >-- Original -- >From: "USERNAME"; >Date: Tue, Jul 16, 2019 05:36 PM >To: "user-zh"; > >Subject: FLINK Checkpoint 问题咨询 > > > >先谢谢各位大

FLINK Checkpoint 问题咨询

先谢谢各位大佬！ 1.环境 FLINK 版本 ：1.7.2 运行模式：flink on yarn (yarn single job) 2.配置 状态保存方式：RocksDBStateBackend backend = new RocksDBStateBackend("hdfs:/user/flink", true) 窗口方式：EventTimeSessionWindows.withGap(Time.hours(1)) 计算方式：.aggregate(new MyAggregate(), new MyProcess()) 3.数据

Re:Re: Re:Flink1.8+Hadoop3.1.2 编译问题

项目目录下找到相关的jar包。 > >[1] https://issues.apache.org/jira/browse/FLINK-11266 >[2] https://flink.apache.org/downloads.html > >祝好 >唐云 > > > >From: USERNAME >Sent: Friday, June 28, 2019 15:41 >To: user-zh@flink.apache.org >Subject:

Flink1.8+Hadoop3.1.2 编译问题

1.软件版本 Flink 1.8 Hadoop 3.1.2 Apache Maven 3.0.5 2.操作方式 >git clone -b release-1.8.0 https://github.com/apache/flink >cd flink >mvn clean install -DskipTests -Dhadoop.version=3.1.2 3.问题 编译成功之后 .flink/build-target/lib 目录只有三个文件(↓) 正常的Flink1.7.2的编译结果(↓) 有没有遇到过此问题的？？