Re: flink cep超时事件的问题
不知道理解错没有， 感觉你这个场景使用session windows能解决 sunfulin 于2020年10月30日周五 上午11:01写道： > hi，community， > 我最近有一个业务场景，需要基于消息流和具体的业务逻辑判断生成超时事件，考虑通过flink > cep来实现。不过在这个场景中，需要针对输入的消息，判断如果一个小时内没有匹配的数据到来，就需要把该事件输出。 > 目前的cep机制，应该需要下一个事件消息到来时才会输出事件。想请教下各位大神，针对这个诉求有没有啥好的方案。 > 感谢。
Re: Flink Kerberos认证问题
可以通过提交flink任务的客户端配置文件实现认证，具体配置可参考： https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#auth-with-external-systems caozhen 于2020年10月12日周一 下午6:05写道： > "认证的kafka是BBB.keytab" 这个是怎么设置的呢？是自己实现的kafkaSink嘛？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >
Re: 关于local cluster的问题
不好意思没说清楚，跟提交任务没关系，只是执行start-cluster.sh后taskmanager就自动加一 发自我的iPhone > 在 2020年6月30日，18:54，"17610775...@163.com" <17610775...@163.com> 写道： > > hi > 你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个? > > > > Best > JasonLee > > 发件人： naisili Yuan > 发送时间： 2020-06-30 18:29 > 收件人： user-zh > 主题： 关于local cluster的问题 > Hi all > 我这边有写一个java服务去自动拉起本地flink cluster（单机模式）用来调试使用。我是直接调用的bin/start-cluster.sh脚本。 > 现在问题是每次重新发布服务之后，发现这个启动的会话jobmanager会自动增加一个，导致slots总数越来越高。研究半天始终没找到原因，希望获得帮助！ > flink版本1.10.0
关于local cluster的问题
Hi all 我这边有写一个java服务去自动拉起本地flink cluster（单机模式）用来调试使用。我是直接调用的bin/start-cluster.sh脚本。 现在问题是每次重新发布服务之后，发现这个启动的会话jobmanager会自动增加一个，导致slots总数越来越高。研究半天始终没找到原因，希望获得帮助！ flink版本1.10.0
Re: flink sql能否显示地创造一列null行
谢谢各位 ，我也解锁新知识了。社区好热情啊，(●'◡'●) @Jingsong Li seeksst 于2020年6月30日周二 上午10:20写道： > @Jingsong Li 尝试了一下，cast确实可行，解锁新知识，thanks. > > > 原始邮件 > 发件人:lakeshenshenleifight...@gmail.com > 收件人:user-zhuser...@flink.apache.org > 发送时间:2020年6月30日(周二) 10:07 > 主题:Re: flink sql能否显示地创造一列null行 > > > 或者补齐一个非 Null ，但是又不影响业务逻辑的数值 Jingsong Li jingsongl...@gmail.com > 于2020年6月30日周二 上午9:58写道： Hi, 我记得NULL的literal是可以的，不过需要cast成确定的类型，比如 select > CAST(null AS VARCHAR); 你试试。 Best, Jingsong On Tue, Jun 30, 2020 at > 9:40 AM seeksst seek...@163.com wrote:Hi, > 按照你的意思是想将两个不同的数据集进行union，但是由于字段不同需要补充NULL。 显示的NULL是不行的，你可以使用更复杂的方式进行对齐： > case when 1 = 2 then 1 end as 字段 1永远不可能等于2，又没有else分支，所以结果是会返回null. > 原始邮件 发件人:naisili yuanyuanlong1...@gmail.com 收件人: > user-zhuser...@flink.apache.org 发送时间:2020年6月30日(周二) 09:31 主题:flink > sql能否显示地创造一列null行 由于union的操作，结果集的列数必须一致，我能否加入这一列，语法如下： UNION SELECT > NULL , aaa, bbb, NULL FROM （） -- Best, Jingsong Lee
flink sql能否显示地创造一列null行
由于union的操作，结果集的列数必须一致，我能否加入这一列，语法如下： UNION SELECT NULL , aaa, bbb, NULL FROM （）
Re: flink sql字段重命名问题
感谢 发自我的iPhone > 在 2020年6月12日，21:08，godfrey he 写道： > > hi，如 benchao 所说，SELECT XX AS YY 和Table API的renameColumns等价。 > 而且这些名字仅用于sql解析和优化阶段，实际执行的时候不会使用字段名。 > > Best， > Godfrey > > Benchao Li 于2020年6月12日周五 下午6:36写道： > >> 直接用SELECT XX AS YY就等价于Table API的renameColumns了吧。 >> >> naisili Yuan 于2020年6月12日周五 下午6:23写道： >> >>> Hi all >>>想请教下，flink使用sql的时候，字段重命名如何解决呢？看到了table api中的renameColumes接口，flink >>> sql的没有看到明确的接口 >>>我自己试了一下在创建表的sql语句中就加入name_alias AS >>> name，发现可行，但是这样引入的字段，会不会影响效率，希望能获得解答，谢谢！ >>> >>
flink sql字段重命名问题
Hi all 想请教下，flink使用sql的时候，字段重命名如何解决呢？看到了table api中的renameColumes接口，flink sql的没有看到明确的接口 我自己试了一下在创建表的sql语句中就加入name_alias AS name，发现可行，但是这样引入的字段，会不会影响效率，希望能获得解答，谢谢！
Re: 请教集群稳定性问题
解决了我的问题，非常感谢 liu_mingzhang 于2019年5月13日周一 上午9:48写道： > > > 你好,这个问题需要把javax.ws.rs-api-2.0.jar 对应版本的包放到$FLINK_HOME/lib下 > 在2019年5月12日 11:05，naisili Yuan 写道： > 好的，谢谢回复。 > 想问下，生产环境适合用standalone > cluster模式部署嘛，我感觉集群还是不稳定，10个job跑不了24小时就出问题，基本都是心跳丢失或者slot 被移除之类的问题。 > 但是我部署flink on yarn又出了问题，自己解决半天也出了问题，希望能得到帮助，我运行bin/yarn-session.sh -jm > 1024m -tm 4096m -s 8报错： > 2019-05-12 11:02:39,056 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: jobmanager.rpc.address, 192.168.199.244 > 2019-05-12 11:02:39,057 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: jobmanager.rpc.port, 6123 > 2019-05-12 11:02:39,057 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: jobmanager.heap.size, 1024m > 2019-05-12 11:02:39,057 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: taskmanager.heap.size, 8gb > 2019-05-12 11:02:39,057 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: taskmanager.numberOfTaskSlots, 8 > 2019-05-12 11:02:39,057 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: parallelism.default, 1 > 2019-05-12 11:02:39,058 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: taskmanager.data.port, 25630 > 2019-05-12 11:02:39,058 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: tasknamager.rpc.port, 20603-20606 > 2019-05-12 11:02:39,058 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: blob.server.port, 20666 > 2019-05-12 11:02:39,058 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: resourcemanager.rpc.port, 20667 > 2019-05-12 11:02:39,059 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: yarn.appmaster.rpc.address, 192.168.199.100 > 2019-05-12 11:02:39,059 INFO > org.apache.flink.configuration.GlobalConfiguration- Loading > configuration property: yarn.appmaster.rpc.port, 8032 > 2019-05-12 11:02:39,338 WARN org.apache.hadoop.util.NativeCodeLoader > - Unable to load native-hadoop library for your > platform... using builtin-java classes where applicable > 2019-05-12 11:02:39,396 INFO > org.apache.flink.runtime.security.modules.HadoopModule- Hadoop user > set to root (auth:SIMPLE) > 2019-05-12 11:02:39,492 ERROR > org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while > running the Flink Yarn session. > java.lang.NoClassDefFoundError: javax/ws/rs/ext/MessageBodyReader > at java.lang.ClassLoader.defineClass1(Native Method) > at java.lang.ClassLoader.defineClass(ClassLoader.java:763) > at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) > at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) > at java.net.URLClassLoader.access$100(URLClassLoader.java:74) > at java.net.URLClassLoader$1.run(URLClassLoader.java:369) > at java.net.URLClassLoader$1.run(URLClassLoader.java:363) > at java.security.AccessController.doPrivileged(Native Method) > at java.net.URLClassLoader.findClass(URLClassLoader.java:362) > at java.lang.ClassLoader.loadClass(ClassLoader.java:424) > at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) > at java.lang.ClassLoader.loadClass(ClassLoader.java:357) > at java.lang.ClassLoader.defineClass1(Native Method) > at java.lang.ClassLoader.defineClass(ClassLoader.java:763) > at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) > at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) > at java.net.URLClassLoader.access$100(URLClassLoader.java:74) > at java.net.URLClassLoader$1.run(URLClassLoader.java:369) > at java.net.URLClassLoader$1.run(URLClassLoader.java:363) > at java.security.AccessController.doPrivileged(Native Method) > at java.net.URLClassLoader.findClass(URLClassLoader.java:362) > at java.lang.ClassLoader.loadClass(ClassLoader.java:424) > at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) > at java.lang.ClassLoader.loadClass(ClassLoader.java:357) > at java.lang.ClassLoader.defineClass1(Native Method) > at java.lang.ClassLoader.defineClass(ClassLoader.java:763) > at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) > at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) > at java.net.URLClassLoader.access$100(URLClassLoader.java:74) > at java.net.URLClassLoader$1.run(URLClassLoader.java:369) > at java.n
Re: 请教集群稳定性问题
好的，谢谢回复。 想问下，生产环境适合用standalone cluster模式部署嘛，我感觉集群还是不稳定，10个job跑不了24小时就出问题，基本都是心跳丢失或者slot 被移除之类的问题。 但是我部署flink on yarn又出了问题，自己解决半天也出了问题，希望能得到帮助，我运行bin/yarn-session.sh -jm 1024m -tm 4096m -s 8报错： 2019-05-12 11:02:39,056 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: jobmanager.rpc.address, 192.168.199.244 2019-05-12 11:02:39,057 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: jobmanager.rpc.port, 6123 2019-05-12 11:02:39,057 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: jobmanager.heap.size, 1024m 2019-05-12 11:02:39,057 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: taskmanager.heap.size, 8gb 2019-05-12 11:02:39,057 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: taskmanager.numberOfTaskSlots, 8 2019-05-12 11:02:39,057 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: parallelism.default, 1 2019-05-12 11:02:39,058 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: taskmanager.data.port, 25630 2019-05-12 11:02:39,058 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: tasknamager.rpc.port, 20603-20606 2019-05-12 11:02:39,058 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: blob.server.port, 20666 2019-05-12 11:02:39,058 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: resourcemanager.rpc.port, 20667 2019-05-12 11:02:39,059 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: yarn.appmaster.rpc.address, 192.168.199.100 2019-05-12 11:02:39,059 INFO org.apache.flink.configuration.GlobalConfiguration- Loading configuration property: yarn.appmaster.rpc.port, 8032 2019-05-12 11:02:39,338 WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2019-05-12 11:02:39,396 INFO org.apache.flink.runtime.security.modules.HadoopModule- Hadoop user set to root (auth:SIMPLE) 2019-05-12 11:02:39,492 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while running the Flink Yarn session. java.lang.NoClassDefFoundError: javax/ws/rs/ext/MessageBodyReader at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:763) at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) at java.net.URLClassLoader.access$100(URLClassLoader.java:74) at java.net.URLClassLoader$1.run(URLClassLoader.java:369) at java.net.URLClassLoader$1.run(URLClassLoader.java:363) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:362) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:763) at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) at java.net.URLClassLoader.access$100(URLClassLoader.java:74) at java.net.URLClassLoader$1.run(URLClassLoader.java:369) at java.net.URLClassLoader$1.run(URLClassLoader.java:363) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:362) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:763) at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) at java.net.URLClassLoader.access$100(URLClassLoader.java:74) at java.net.URLClassLoader$1.run(URLClassLoader.java:369) at java.net.URLClassLoader$1.run(URLClassLoader.java:363) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:362) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.hadoop.yarn.util.timeline.TimelineUtils.(TimelineUtils.java:50) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:179) at
请教集群稳定性问题
我的集群配置的是内存checkpoint，自动重启，但是经常跑了一晚上就自动重启，重启的原因日志是这样的： org.apache.flink.util.FlinkException: The assigned slot f6b9b4065386152879a01dfc7d396f42_1 was removed. at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlot(SlotManager.java:893) at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlots(SlotManager.java:863) at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.internalUnregisterTaskManager(SlotManager.java:1058) at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.unregisterTaskManager(SlotManager.java:385) at org.apache.flink.runtime.resourcemanager.ResourceManager.closeTaskManagerConnection(ResourceManager.java:825) at org.apache.flink.runtime.resourcemanager.ResourceManager$TaskManagerHeartbeatListener$1.run(ResourceManager.java:1139) at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:332) at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:158) at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:70) at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.onReceive(AkkaRpcActor.java:142) at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.onReceive(FencedAkkaRpcActor.java:40) at akka.actor.UntypedActor$$anonfun$receive$1.applyOrElse(UntypedActor.scala:165) at akka.actor.Actor$class.aroundReceive(Actor.scala:502) at akka.actor.UntypedActor.aroundReceive(UntypedActor.scala:95) at akka.actor.ActorCell.receiveMessage(ActorCell.scala:526) at akka.actor.ActorCell.invoke(ActorCell.scala:495) at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:257) at akka.dispatch.Mailbox.run(Mailbox.scala:224) at akka.dispatch.Mailbox.exec(Mailbox.scala:234) at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339) at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) 或者是： java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id 7675b5849deb7da116ad946eed0f74b6 timed out. at org.apache.flink.runtime.jobmaster.JobMaster$TaskManagerHeartbeatListener.notifyHeartbeatTimeout(JobMaster.java:1631) at org.apache.flink.runtime.heartbeat.HeartbeatManagerImpl$HeartbeatMonitor.run(HeartbeatManagerImpl.java:339) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at org.apache.flink.runtime.concurrent.akka.ActorSystemScheduledExecutorAdapter$ScheduledFutureTask.run(ActorSystemScheduledExecutorAdapter.java:154) at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:39) at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:415) at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339) at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) 想请教下，有没有给出的flink参考配置能解决这方面的问题，我的是standalone模式部署的。先谢谢了！
Re: taskmanager faild
不好意思，我忘记贴图了。 我的flink standalone集群挂了，查看日志，看到截图上的错误 我自己分析不明白，谷歌也查不到对应的问题。希望能得到你们的帮助，谢谢！ 问题描述：我正在运行任务的flink集群跑了两天后挂掉了，原因是所有taskmanager进程全部挂了，只有一个jobmanager还在。 集群环境：5台centos7的机器，32核，256GB内存，2个jobmanager，5个taskmanager，每台机器32个slots。jobmanager使用zookeeper做了高可用。 初步分析原因：zookeeper的问题 另外：不小心把日志清理了，没法粘贴文字了~ Xintong Song 于2019年4月22日周一 下午1:27写道： > Hi naisili, > > This is the user-zh mailing list, so if you speak Chinese you can ask > questions in Chinese. If you prefer using English, you can send emails to > u...@flink.apache.org. Hope that helps you. > > BTW, I think you forgot to attache the screenshot. > > Thank you~ > > Xintong Song > > > > On Mon, Apr 22, 2019 at 10:53 AM naisili Yuan > wrote: > > > I use standalone cluster on flink, and i use zookeeper for the jobmanager > > HA. > > The Screenshot is my taskmanager proccess down log, falte a error. > > And is don't know why it failed, even i google the error. > > Ask for help, thanks. > > > > > > >
