Re: Flink官网barrier疑问

2019-08-07 文章 Biao Liu
你好,范瑞 Barrier alignment 这里并不会涉及 output/input queue,pending 的只是用于 alignment 的一小部分数据。 如果想了解 checkpoint 的原理,建议阅读文档中引用的两篇论文。[1] [2] 如果想了解 Flink 的具体实现,这里的文档是 internal 部分的,可能需要阅读一下相关代码了。[3] [4] 1. https://arxiv.org/abs/1506.08603 2.

Re: flink-1.8.1 yarn per job模式使用

2019-08-07 文章 Yuhuan Li
非常感谢tison,完美的解决了我的问题,以后会多留意社区问题。 具体到自己的hadoop版本,就是在flink工程编译 flink-1.8.1/flink-shaded-hadoop/flink-shaded-hadoop2-uber/target 的jar放在lib下即可 Zili Chen 于2019年8月7日周三 下午7:33写道: > 这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。 > > 你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber--7.0.jar 这样一个文件。 > > 1.8.1

Re: flink-1.8.1 yarn per job模式使用

2019-08-07 文章 Zili Chen
这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。 你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber--7.0.jar 这样一个文件。 1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了,你要指定自己的 HADOOP_CLASSPATH 或者下载 FLINK 官网 pre-bundle 的 hadoop。 具体可以看这个页面(https://flink.apache.org/downloads.html)第一段的内容。 Best, tison. 李玉环

flink-1.8.1 yarn per job模式使用

2019-08-07 文章 李玉环
Hi 大家好: 在使用flink过程中,运行官网给的命令 https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn 报错如下: ➜ flink-1.8.1 ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar The

Re:关于event-time的定义与产生时间戳位置的问题。

2019-08-07 文章 邵志鹏
Hi, 可以看下事件时间戳的生成,https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/event_timestamps_watermarks.html 下面例子里时间戳都是来自element里面的时间字段。还有一个AscendingTimestampExtractor。 /** * This generator generates watermarks assuming that elements arrive out of order, * but only to a certain degree. The

关于event-time的定义与产生时间戳位置的问题。

2019-08-07 文章 xiaohei.info
hi,all:   event time这个时间戳是在什么时候打到数据上面去的,看api是在flink source收到数据之后再标注的,并不是真正的数据源携带过来的(比如手机终端)?使用kafka source的话根据文档的定义kafka携带的时间戳也仅仅是kafka收到数据的时候打上的时间戳。 那么有个问题:以kafka为例,数据到队列的时候按「顺序」打上时间戳,那么如果数据是「乱序到达」的也被打上了「递增的时间戳」,后续基于event-time的处理都是基于这个时间戳来进行,那不就丧失了真实世界的定义吗?   不知道有哪里是我理解不对的地方望指教!   祝好~

Re: Re: submit jobGraph error on server side

2019-08-07 文章 Zili Chen
从错误堆栈上看你的请求应该是已经发到 jobmanager 上了,也就是不存在找不到端口的问题。 但是 jobmanager 在处理 submit job 的时候某个动作超时了。你这个问题是一旦把 gateway 分开就稳定复现吗?也有可能是 akka 偶然的超时。 Best, tison. 王智 于2019年8月7日周三 下午2:33写道: > 感谢您的回复与指导~ > > > 经过简单的验证(验证方案在邮件末尾),明确是网络问题。 > > > 现在我猜测是flink run 提交job graph 的时候打开了除 这四个以外的端口导致。麻烦再请教一下,flink

回复:Re: submit jobGraph error on server side

2019-08-07 文章 王智
感谢您的回复与指导~ 经过简单的验证(验证方案在邮件末尾),明确是网络问题。 现在我猜测是flink run 提交job graph 的时候打开了除 这四个以外的端口导致。麻烦再请教一下,flink jobmanager 是否会打开新的端口进行通讯(或者还有其他端口配置我没有注意到) ports: - containerPort: 6123 protocol: TCP - containerPort: 6124 protocol: TCP - containerPort: 6125 protocol: TCP -

Flink官网barrier疑问

2019-08-07 文章
Hi,老师: 老师,你好flink官网这个页面(https://ci.apache.org/projects/flink/flink-docs-release-1.8/internals/stream_checkpointing.htm)介绍barrier对齐的这里第三步 • Once the last stream has received barrier n, the operator emits all pending outgoing records, and then emits snapshot n barriers itself.