flink学习

| flink学习 | | | | | |

????

回复: Re: [问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数?

以下个人理解,可能不100%准确. 是根据keyBy,即你代码中的 .keyBy("word"), 根据其值的hash值,模并行度得到余数, 来确定 数据该分到哪个分区, 你代码里没有指定时间特征,默认是处理时间. 所有你的window,则是根据处理时间来分窗口的. 343122...@qq.com 发件人： 刘 文 发送时间： 2019-03-04 11:53 收件人： user-zh@flink.apache.org 主题： Re: [问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数? --

Re: flink学习

请发送邮件到 : user-zh-subscr...@flink.apache.org 回收到一份回执邮件，有可能在垃圾邮件中，你再回复任意消息，就可以订阅了 > 在 2019年3月2日，下午3:10，袁刚 写道： > > | > flink学习 > > > > > > > > > > > | > | > | | > > | > |

Re: 订阅

请发送邮件到 : user-zh-subscr...@flink.apache.org 回收到一份回执邮件，有可能在垃圾邮件中，你再回复任意消息，就可以订阅了 > 在 2019年3月2日，下午3:55，(｡･ˇ_ˇ･｡:) 写道： > > 订阅

Re:回复：sql-client 支持远程连接flink集群吗

请教一下，如何使用 Zeppelin 编写 FlinkSQL并且执行看结果呢（就像SQLClient那样），我找了一些资料，只找到使用Scala的： https://zeppelin.apache.org/docs/0.8.0/interpreter/flink.html 顺便问一下，我现在已经写了一些代码用来初始化 StreamEnvironment 以及 TableEnvironment，我如何将这些初始化的代码用到 Flink SQL Client 中呢（而不是使用配置文件初始化表环境）？我尝试在Flink的工程中引入 Flink SQL Client的maven包，并且以 m

jobmanager重启之后，job没有重启

大家好： 有配置过flink ha吗？我配置了yarn高可用之后，kill掉job manager 之后，jobmanager可以成功重启，但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗？是我配置的问题还是什么原因？ 附上高可用配置： high-availability.storageDir: hdfs:///flink/ha/ high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181 high-availability.zookeeper.

回复：jobmanager重启之后，job没有重启

杨森： 你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下： high-availability: zookeeper high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181 high-availability.storageDir: hdfs://cdh1:9000/flink/recovery high-availability.zookeeper.path.root: /flink state.backend: filesystem state.backe

Re: [问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数?

感谢大家的回答，我明白了一些了，并整理这个问题的文档 Flink1.7.2 Source、Window数据交互源码分析: https://github.com/opensourceteams/fink-maven-scala-2/blob/master/md/miniCluster/flink-source-window-data-exchange.md

????????????????????????????????????????

stream api?? !

Re: 如何每五分钟统计一次当天某个消息的总条数

处理这个问题，我有一些想法： ).Flink Stream默认是处理增量数据，对指定间隔时间或数量内的数据进行分析 ).可以自定义 ProcessAllWindowFunction,相当于，对于一个Window的数据，自己实现处理逻辑，参数是在Window之前的operator也是已经处理的 ).对于你，需要存储每次计算的结果，并更新到存储中心供每次计算使用(如Redis、等) ).下面是一个ProcessAllWIndowFunction的示例，供参考(实现功能: WordCount 程序(增量按单词升序排序) ) package com.opensourcetea

Re: jobmanager重启之后，job没有重启

Hi 韩非： 我这边使用flink run -m的方式提交的job，如果配置为zookeeper就会提交失败，所以才改为这种方式。我的jobmanager也可以成功切换，但是之前的运行的job并没有成功重启。你那边有观察Job的重启情况吗？ Best Sen > 在 2019年3月4日，下午10:01，Fei Han 写道： > > 杨森： >你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下： > high-availability: zookeeper > > high-availability.zookee

Re: 如何每五分钟统计一次当天某个消息的总条数

Hi, 你可以试下设置 event time 窗口为一天，然后设置 processing time timer 来定时每 5 分钟触发输出当天最新的结果。 Best, Paul Lam > 在 2019年3月5日，13:16，张作峰 写道： > > 大家好！ > 请教下诸位大牛，如何使用stream api每五分钟统计一次当天某个消息的总条数？ > 谢谢!

?????? ????????????????????????????????????????

event time ?? -- ?? ??A??12?? : 18320872958 : 0755-26974350 4350?? Email??m...@zhangzuofeng.cn ??http://www.zhangzuofeng.cn wiki: http://wiki.qiannuo

Re: 如何每五分钟统计一次当天某个消息的总条数

当天的，就直接是翻滚窗口就行了吧，不过你要注意你一天量有多大，小心内存不够了 张作峰 于2019年3月5日 周二15:06写道： > 设置event time 窗口为一天，是滑动窗口吗？具体是指？需要统计的是当天的 > > -- > 张作峰 > 创维 一体机软件开发部 > > 深圳市南山区高新南一道创维大厦A座12楼 > 手机: 18320872958 座机: 0755-26974350（分机号 4350） > Email：m...@zhangzuofeng.cn > 主页：http://www.zhangzuofeng.cn > wiki: http:/

Re: jobmanager重启之后，job没有重启

Hi 韩非： 我这边使用flink run -m的方式提交的job，如果配置为zookeeper就会提交失败，所以才改为这种方式。我的jobmanager也可以成功切换，但是之前的运行的job并没有成功重启。你那边有观察Job的重启情况吗？ Best Sen > 在 2019年3月4日，下午10:01，Fei Han 写道： > > 杨森： >你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下： > high-availability: zookeeper > > high-availability.zookee