Re: 多线程模式下使用Blink TableEnvironment

Hi jun su, 如果是自建平台的话，可以考虑用zeppelin的sdk 来提交作业 https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh jun su 于2020年9月18日周五 上午10:59写道： > hi godfrey, > > 我们的用法类似zeppelin, 项目形式类似notebook, 在第一次运行笔记时创建env, > 再次运行notebook时会创建新线程来构建job运行, 所以我参考了zepplin的做法暂时fix了这个问题 > > godfrey he 于2020年9月17日周四

Re: [ANNOUNCE] Apache Flink 1.11.2 released

Good job! Very thanks @ZhuZhu for driving this and thanks for all contributed to the release! best, Weijie Zhu Zhu-2 wrote > The Apache Flink community is very happy to announce the release of Apache > Flink 1.11.2, which is the second bugfix release for the Apache Flink 1.11 > series. > >

答复: flink RichFilterFunction重复过滤一条数据

Hi, 明启，我也遇到了类似的问题，会不会是因为并行度的问题导致？ -邮件原件- 发件人: 明启 孙 [mailto:374060...@qq.com] 发送时间: 2020年9月15日 星期二 10:45 收件人: user-zh 主题: flink RichFilterFunction重复过滤一条数据 场景： flink消费kafka，然后过滤掉某种类型的数据，然后打印一条warn类型的数据。 在测试时，我往kafka写了一条会被过滤掉的数据，偶尔会正常打印一条warn，更多的时候会重复打印该条数据，类似重复消费该条数据。

Re: FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以

HI 我理解你的 kafka 生产数据的速度比较慢 你并发设置的再大都是没有用的 正常 source 的并行度设置和 kafka 的 partition 个数相等就可以了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: K8s native 部署失败

跟jobmanager在同一个node上的tm是可以注册到jm上的，其他的node是不行的 Jm是单机模式部署 > 2020年9月17日 下午3:55，yanzhibo 写道： > > 是非ha，所有tm都注册不上来，但是在tm的pod中 根据service 是可以ping 通 jobmanager的 > > >> 2020年9月17日 上午11:10，Yang Wang 写道： >> >> 你这个报错看着是TM向JM注册超时了，使用的HA还是非HA部署呢 >> >> 如果是HA的话，TM是直接使用JM的Pod

Re: FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以

提交两个作业的话，两个作业是完全独立的，都会消费全量数据。 一个作业的消费能力不行，可以具体看下瓶颈在哪里，比如： 1. 作业是否有lag，如果没有lag，那其实是没有问题的 2. 如果作业有lag，而且lag还在上涨，说明当前消费能力不足，此时可以看下作业具体的瓶颈在哪里 有可能是某个算子在反压导致整个作业的消费能力不足 也有可能是作业的整体CPU资源不足导致的 也有一种极端情况是，作业的并发度已经足够大，source subtask已经对应一个kafka

Re: [ANNOUNCE] Apache Flink 1.11.2 released

Thank you, @ZhuZhu, for driving this release! Best regards, Zhilong From: Zhu Zhu Sent: Thursday, September 17, 2020 13:29 To: dev ; user ; user-zh ; Apache Announce List Subject: [ANNOUNCE] Apache Flink 1.11.2 released The Apache Flink community is very

Re:Re: Re: Re: StreamingFileWriter 压测性能

hi wangenbao : 我这边还没出现过OOM的情况，我理解调大TM 的资源内存 CPU这些参数应当是可以的。 我这边遇到的问题是性能上不去。不过table.exec.hive.fallback-mapred-writer=false 确实有较大改观。 在 2020-09-18 16:45:29，"wangenbao" <156827...@qq.com> 写道： >我这边也遇到了这个bug，table.exec.hive.fallback-mapred-writer没配置的情况下，默认走到hadoop mr >write；

Re: Re: [ANNOUNCE] Apache Flink 1.11.2 released

Thanks Zhuzhu for driving the release!!! Best, Guowei On Fri, Sep 18, 2020 at 5:10 PM Yun Gao wrote: > Great! Very thanks @ZhuZhu for driving this and thanks for all contributed > to the release! > > Best, > Yun > > --Original Mail -- > *Sender:*Jingsong Li >

Re: 退订

Hi, 退订请发邮件到 user-zh-unsubscr...@flink.apache.org 详细的可以参考 [1] [1] https://flink.apache.org/zh/community.html#section-1 Best, Xingbo Han Xiao(联通集团联通支付有限公司总部) 于2020年9月18日周五 下午5:35写道： > 取消订阅 > 如果您错误接收了该邮件，请通过电子邮件立即通知我们。请回复邮件到 > hqs-s...@chinaunicom.cn，即可以退订此邮件。我们将立即将您的信息从我们的发送目录中删除。 > If you

退订

取消订阅 如果您错误接收了该邮件，请通过电子邮件立即通知我们。请回复邮件到 hqs-s...@chinaunicom.cn，即可以退订此邮件。我们将立即将您的信息从我们的发送目录中删除。 If you have received this email in error please notify us immediately by e-mail. Please reply to hqs-s...@chinaunicom.cn ,you can unsubscribe from this mail. We will immediately remove your

Re: Re: [ANNOUNCE] Apache Flink 1.11.2 released

Great! Very thanks @ZhuZhu for driving this and thanks for all contributed to the release! Best, Yun --Original Mail -- Sender:Jingsong Li Send Date:Thu Sep 17 13:31:41 2020 Recipients:user-zh CC:dev , user , Apache Announce List Subject:Re: [ANNOUNCE]

Re: FlinkSQL1.11.1读取kafka写入Hive(parquet) OOM问题

这个问题的关键应该是你在 http://apache-flink.147419.n8.nabble.com/StreamingFileWriter-td7161.html 中回复的：Flink1.11.2解了一个bug：https://issues.apache.org/jira/browse/FLINK-19121 我这边也设置了table.exec.hive.fallback-mapred-writer=false -- Sent

Re: Flink-1.11.1 读写 Hive 问题

Hi， 打印数组可以用Arrays.toString方法。获取hive表失败的堆栈是完整的么，感觉底下应该还有root cause？ On Fri, Sep 18, 2020 at 3:32 PM nashcen <2415370...@qq.com> wrote: > Hello > > 各位，经过3天的踩坑，我已经能够从IDEA，用Flink访问Hive，但是如何查看Hive里的数据库、表、以及表里的数据，并把它们打印出来，目前还不太清楚。 > 以下是Hive中的表， >

Re: Re: Re: StreamingFileWriter 压测性能

我这边也遇到了这个bug，table.exec.hive.fallback-mapred-writer没配置的情况下，默认走到hadoop mr write； 当我的数据比较分散，Hive三分区Parquet表（年月日，小时，hashtid），会产生多个writer，运行一会就TM就OOM； 相同数据量table.exec.hive.fallback-mapred-writer设置为false，用flink native write没有问题； Jingsong Li wrote > 是最新的代码吗？ >

??????ListState ???? TTL ???? list ??????????????????

?? " state backend Heap state backend ?? Java ??RocksDB state backend list map 8 "

??????FlinkKafkaConsumer on Yarn ?????? ??????????????????kafka??????????????????????????????????

hello??Source??topic??612??6 ---- ??:

Re: flink hive批量作业报FileNotFoundException

Hello, 作业的逻辑大概是啥样的，我去试试 On Thu, Sep 17, 2020 at 10:00 PM godfrey he wrote: > cc @Rui Li > > 李佳宸 于2020年9月14日周一 下午5:11写道： > >> 大家好～我执行batch table的作业写入hive时，会出现FileNotFoundException的错误。找不到.staging文件 >> 版本是1.11.1 >> Caused by: java.io.FileNotFoundException: File >> >>

FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以

各位好，我遇到了一个奇怪的问题 我是使用flink1.10和 flink-connector-kafka_2.11 使用Flink on yarn 模式运行，无论怎么调大并行度。Kafka节点（我使用的单节点）的网卡输出速度一直上不去。 但是提交两个同样的应用同样使用FLink on Yarm模式，Kafka节点的网卡输出速度是正常翻倍的。 我想达到的目的不是通过多向yarn集群提交多一个app，而是通过设置并行度来提高应用的吞吐量。。 求各位大佬指导

Re:回复: Flink sql 消费kafka的顺序是怎么样的 第二次运行sql的结果和第一次不同

hi: 感觉你的关注和回复 1> 下面是我的分析过程 1. 第一次是, 先在sql-client.sh 中执行sql select tumble_start(rowtime, interval '2' MINUTE) as wStart, tumble_end(rowtime, interval '2' MINUTE) as wEnd, count(1) as pv, count(distinct uuid) as uv from iservVisit group by tumble(rowtime, interval '2' MINUTE)

回复: Flink sql 消费kafka的顺序是怎么样的 第二次运行sql的结果和第一次不同

Hi，问题已经找到了 你的kafka是3个分区，第一次消费你是边发送数据边消费，这时可以认为watermark就是按照你发送数据的顺序生成的，会按照你发送数据的顺序触发计算，所以得到的结果也是你预想的结果。

Flink-1.11.1 读写 Hive 问题

Hello 各位，经过3天的踩坑，我已经能够从IDEA，用Flink访问Hive，但是如何查看Hive里的数据库、表、以及表里的数据，并把它们打印出来，目前还不太清楚。 以下是Hive中的表， Idea中查询出来的库与表信息，不完整 Idea中查询表中数据，报错

Flink 任务提交问题

CliFrontend 向yarn上提交任务会因为资源不足等原因，导致任务提交进程一直卡着，直到有资源释放为止？ guaishushu1...@163.com

退订

退订 如果您错误接收了该邮件，请通过电子邮件立即通知我们。请回复邮件到 hqs-s...@chinaunicom.cn，即可以退订此邮件。我们将立即将您的信息从我们的发送目录中删除。 If you have received this email in error please notify us immediately by e-mail. Please reply to hqs-s...@chinaunicom.cn ,you can unsubscribe from this mail. We will immediately remove your

回复: Flink sql 消费kafka的顺序是怎么样的 第二次运行sql的结果和第一次不同

先占个楼 我按照题主给的文档，一边发送数据，一边执行以下SQL实时查看查询结果 select tumble_start(rowtime, interval '2' MINUTE) as wStart, tumble_end(rowtime, interval '2' MINUTE) as wEnd, count(1) as pv, count(distinct uuid) as uv from iservVisit group by tumble(rowtime, interval '2' MINUTE) 最后得到的结果是这样的 ：（跟题主不一样）

Re: Re: Re: Re: Re: Re: StreamingFileWriter 压测性能

Hi, 不好意思，麻烦试下 试下最新的release-1.11分支编译出来的Hive依赖 (flink-connector-hive的 改动) > 顺便问一下，你们1.12版本，针对小文件合并，会有改进么 ？ 这是1.12的目标，这两天会出来JIRA和设计方案，类似会加上"auto-compaction"的配置，sink中自动合并 Best, Jingsong On Fri, Sep 18, 2020 at 10:18 AM kandy.wang wrote: > > > > > > > @Jingsong Li > 测了一下，1.11.2还是和以前一样呢。