Re:回复: 本地checkpoint 文件190G了

2019-11-29 文章 Henry
ser-zh"; >主题: Re: 本地checkpoint 文件190G了 > > >你的 retain 数量设置是多少,然后程序里 state 本身写了多大的 state,有没开启 incremental checkpoint > >Best, >tison. > > >sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道: > >> 花了两天时间-- 原始邮件 -- >

Re:本地checkpoint 文件190G了

2019-11-29 文章 Henry
是不是很快就增长到那么多了? 在 2019-11-30 10:13:27,"sun" <1392427...@qq.com> 写道: 求助,我的文件夹一直在长大 发自我的iPhone

Re:yarn-session.sh 启动 报错

2019-11-18 文章 Henry
是不是程序里没有指定入口类啊? 在命令行里指定试试? -C com.xx.bbb 在 2019-11-18 16:31:26,"李军" 写道: >启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 >报错:Error: Could not find or load main class >org.apache.flink.yarn.cli.FlinkYarnSessionCli > > >ResourceManager,NodeManager都已启动。

Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

2019-11-18 文章 Henry
终于搞明白了,太感谢啦 在 2019-11-18 16:09:32,"aihua li" 写道: >这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态 >资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看 > >> 在 2019年11月18日,下午3:54,Henry 写道: >> >> >

Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

2019-11-17 文章 Henry
:44:09,"aihua li" 写道: >看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了 > >> 在 2019年11月17日,下午4:14,Henry 写道: >> >> >> >> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Runnin

Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

2019-11-17 文章 Henry
在 2019-11-17 16:14:32,"Henry" 写道: > > >是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job >中只有最后提交的那个 >程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 > > > > > >在 2019-11-17 16:05:29,18612537...@163.com 写道: >>提交两个是两个进程,所以是两个jo

Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

2019-11-17 文章 Henry
是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 在 2019-11-17 16:05:29,18612537...@163.com 写道: >提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 > >发自我的iPhone > >> 在 2019年11月17日,下午2:51,Henry 写道:

通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

2019-11-16 文章 Henry
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库

通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

2019-11-15 文章 Henry
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库

Re:Re: Flink 的 log 文件夹下产生了 34G 日志

2019-10-28 文章 Henry
/%3c465086db-1679-4dd9-aab5-086bb4039...@gmail.com%3E> >> 在 2019年10月28日,下午10:00,Henry 写道: >> >> >> >> 谢谢您。不过连接打不开呀。 >> >> http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 >> >> >

Re:Re: Flink 的 log 文件夹下产生了 34G 日志

2019-10-28 文章 Henry
722.html#a724 > ><http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724> > > > >> 在 2019年10月28日,下午3:54,Henry 写道: >> >> 您好! >> >> >> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G

Flink 的 log 文件夹下产生了 34G 日志

2019-10-28 文章 Henry
您好! 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的, 谢谢大家了。 日志内容如下: https://img-blog.csdnimg.cn/20191028155219828.png https://img-blog.csdnimg.cn/20191028155224293.png https://img-blog.csdnimg.cn/20191028155227494.png

Re:回复: Re: Flink SQL :Unknown or invalid SQL statement.

2019-10-08 文章 Henry
谢谢啦 在 2019-10-09 11:19:17,"pengchengl...@163.com" 写道: >你好,可以参考https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html > > > >pengchengl...@163.com > >发件人: Henry >发送时间: 2019-10-09 10:44 >收件人: user-zh >主题: Re:Re: Fli

Re:Re: Flink SQL :Unknown or invalid SQL statement.

2019-10-08 文章 Henry
哈,非常非常感谢啦。 在 yaml 里定义使用表的哪些内容呢?有木有相关资料呢? 木有搜到呢。谢谢了。 在 2019-10-09 10:16:20,"Terry Wang" 写道: >SQL client目前还不支持create table语法,你需要在yaml文件里定义使用的表。 > >Best, >Terry Wang > > > >> 2019年10月9日 上午8:49,Henry 写道: >> >> 大家好,求助一下。 >> FIink SQ

Flink SQL :Unknown or invalid SQL statement.

2019-10-08 文章 Henry
大家好,求助一下。 FIink SQL> create table kafka_source( > messageKey varbinary, > message varbinary, > topic varchar, >'partition' int, > 'offset' bigint >) with ( > type='kafka011', > topic='test', > bootstrap. servers='thcathost:9092', > 'group. id'='chf' >); [ERROR] Unknown or inva

Re:Re: Re: Re: Re: Flink 的 log 文件夹下产生了 44G 日志

2019-07-21 文章 Henry
看到啦,谢谢啦。 在 2019-07-21 19:16:36,"Caizhi Weng" 写道: >Hi Henry, > >你可能看错了,仔细看你的 run 函数,里面有个 try catch 里有 running = true... > >Henry 于2019年7月20日周六 下午9:32写道: > >> >> >> 啊!我想起来了,之前忘了因为啥原因了,为了方便调试把 running = false; 改成了 running = true; >> 感谢感谢!

Re:Re: Re: Re: Flink 的 log 文件夹下产生了 44G 日志

2019-07-20 文章 Henry
啊!我想起来了,之前忘了因为啥原因了,为了方便调试把 running = false; 改成了 running = true; 感谢感谢! 但是原因是为啥呢?这个 running = true; 是写在 cancel 中的,任务在执行没有取消它, 怎么会跳转这里呢? 在 2019-07-20 03:23:28,"Caizhi Weng" 写道: >Hi Henry, > >LOG.error(e.getLocalizedMessage()); >running = true; > >这里写错了吧,应该是 runni

Re:Re: Re: Flink 的 log 文件夹下产生了 44G 日志

2019-07-19 文章 Henry
cel() { running = false; } @Override public void close() throws Exception { LOG.info("Closing"); try { connection.close(); } catch (JMSException e) { throw new RuntimeException("Error while closing ActiveMQ connection ", e); } } } 在 2019-07-19 14:43:17,

Re:Re: Flink 的 log 文件夹下产生了 44G 日志

2019-07-18 文章 Henry
你好,谢谢!是的,这个Source是用JMS实现的自定义Source。目前还在查原因,但是怎么能够让Flink不这样爆炸写log日志呢?20分钟就能写满磁盘,写了40G多。 在 2019-07-19 11:11:37,"Caizhi Weng" 写道: >Hi Henry, > >这个 source 看起来不像是 Flink 提供的 source,应该是 source 本身实现的问题。你可能需要修改 source >的源码让它出错后关闭或者进行其它处理... > >Henry 于2019年7月19日周五 上午9:3

Flink 的 log 文件夹下产生了 44G 日志

2019-07-18 文章 Henry
大家好,之前那个报错图片大家没看到,重新弄一下。 报错图片链接: https://img-blog.csdnimg.cn/20190719092540880.png https://img-blog.csdnimg.cn/20190719092848500.png 我看报错的原因是,我这里Source用的是ActiveMQ,从昨天早上9点开始运行Flink任务接收消息,到今天早上8点都很正常。然后在今天早上8点4分的时候开始猛报错flink往log文件夹下写日志。第二个图是报错开始,显示ActiveMQ好像超时,然后就是消费者关闭一直猛写log。 我想问一下有没有什么办法设置flin

Re:Re: Flink 的 log 文件夹下产生了 44G 日志

2019-07-17 文章 Henry
明白啦,谢谢哈。 我以为会显示图片呢。 我贴链接下次。 在 2019-07-18 12:03:57,"zhisheng" 写道: >尴尬了,之前回复的邮件难道都是空白,Henry >你可以把报错信息放到哪个博客里面,然后再这里提供个链接,邮件看不到你的截图错误信息,你可以先根据错误信息定位问题所在,把错误的问题先解决掉,然后再来合理的配置重启策略。 > >Biao Liu 于2019年7月18日周四 上午1:15写道: > >> Hi Henry, >> >> 邮件列表貌似不能支持直接

Flink 的 log 文件夹下产生了 44G 日志

2019-07-16 文章 Henry
您好! 请问一下,把程序打jar包然后提交集群运行了一天,flink安装目录下的log文件夹里产生了44G日志文件。flink 主要做的接收到消息处理完之后写入数据库,但是通过查看数据库数据的情况,数据也挺完整的没有什么错误,可是tail 查看了一下产生的log文件,里面不停的在产生 error 信息,但是也没有看到具体哪里报错,IDEA 本地运行的时候没有报错。据说要在代码设置默认重启策略,我在代码里开启了checkpoint,“senv.enableCheckpointing(6) ,看资料说“如果启用了 checkpointing,但没有配置重启策略,则使用固