ser-zh";
>主题: Re: 本地checkpoint 文件190G了
>
>
>你的 retain 数量设置是多少,然后程序里 state 本身写了多大的 state,有没开启 incremental checkpoint
>
>Best,
>tison.
>
>
>sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道:
>
>> 花了两天时间-- 原始邮件 --
>
是不是很快就增长到那么多了?
在 2019-11-30 10:13:27,"sun" <1392427...@qq.com> 写道:
求助,我的文件夹一直在长大
发自我的iPhone
是不是程序里没有指定入口类啊? 在命令行里指定试试? -C com.xx.bbb
在 2019-11-18 16:31:26,"李军" 写道:
>启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
>报错:Error: Could not find or load main class
>org.apache.flink.yarn.cli.FlinkYarnSessionCli
>
>
>ResourceManager,NodeManager都已启动。
终于搞明白了,太感谢啦
在 2019-11-18 16:09:32,"aihua li" 写道:
>这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态
>资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看
>
>> 在 2019年11月18日,下午3:54,Henry 写道:
>>
>>
>
:44:09,"aihua li" 写道:
>看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了
>
>> 在 2019年11月17日,下午4:14,Henry 写道:
>>
>>
>>
>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Runnin
在 2019-11-17 16:14:32,"Henry" 写道:
>
>
>是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job
>中只有最后提交的那个
>程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>
>
>
>
>
>在 2019-11-17 16:05:29,18612537...@163.com 写道:
>>提交两个是两个进程,所以是两个jo
是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job
中只有最后提交的那个
程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
在 2019-11-17 16:05:29,18612537...@163.com 写道:
>提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>
>发自我的iPhone
>
>> 在 2019年11月17日,下午2:51,Henry 写道:
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024
xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到
Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1
个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running
状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024
xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到
Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1
个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running
状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库
/%3c465086db-1679-4dd9-aab5-086bb4039...@gmail.com%3E>
>> 在 2019年10月28日,下午10:00,Henry 写道:
>>
>>
>>
>> 谢谢您。不过连接打不开呀。
>>
>> http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724
>>
>>
>
722.html#a724
>
><http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
>
>
>
>> 在 2019年10月28日,下午3:54,Henry 写道:
>>
>> 您好!
>>
>>
>> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G
您好!
请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的,
谢谢大家了。
日志内容如下:
https://img-blog.csdnimg.cn/20191028155219828.png
https://img-blog.csdnimg.cn/20191028155224293.png
https://img-blog.csdnimg.cn/20191028155227494.png
谢谢啦
在 2019-10-09 11:19:17,"pengchengl...@163.com" 写道:
>你好,可以参考https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html
>
>
>
>pengchengl...@163.com
>
>发件人: Henry
>发送时间: 2019-10-09 10:44
>收件人: user-zh
>主题: Re:Re: Fli
哈,非常非常感谢啦。 在 yaml 里定义使用表的哪些内容呢?有木有相关资料呢? 木有搜到呢。谢谢了。
在 2019-10-09 10:16:20,"Terry Wang" 写道:
>SQL client目前还不支持create table语法,你需要在yaml文件里定义使用的表。
>
>Best,
>Terry Wang
>
>
>
>> 2019年10月9日 上午8:49,Henry 写道:
>>
>> 大家好,求助一下。
>> FIink SQ
大家好,求助一下。
FIink SQL> create table kafka_source(
> messageKey varbinary,
> message varbinary,
> topic varchar,
>'partition' int,
> 'offset' bigint
>) with (
> type='kafka011',
> topic='test',
> bootstrap. servers='thcathost:9092',
> 'group. id'='chf'
>);
[ERROR] Unknown or inva
看到啦,谢谢啦。
在 2019-07-21 19:16:36,"Caizhi Weng" 写道:
>Hi Henry,
>
>你可能看错了,仔细看你的 run 函数,里面有个 try catch 里有 running = true...
>
>Henry 于2019年7月20日周六 下午9:32写道:
>
>>
>>
>> 啊!我想起来了,之前忘了因为啥原因了,为了方便调试把 running = false; 改成了 running = true;
>> 感谢感谢!
啊!我想起来了,之前忘了因为啥原因了,为了方便调试把 running = false; 改成了 running = true;
感谢感谢! 但是原因是为啥呢?这个 running = true; 是写在 cancel 中的,任务在执行没有取消它,
怎么会跳转这里呢?
在 2019-07-20 03:23:28,"Caizhi Weng" 写道:
>Hi Henry,
>
>LOG.error(e.getLocalizedMessage());
>running = true;
>
>这里写错了吧,应该是 runni
cel() {
running = false;
}
@Override
public void close() throws Exception {
LOG.info("Closing");
try {
connection.close();
} catch (JMSException e) {
throw new RuntimeException("Error while closing ActiveMQ connection ", e);
}
}
}
在 2019-07-19 14:43:17,
你好,谢谢!是的,这个Source是用JMS实现的自定义Source。目前还在查原因,但是怎么能够让Flink不这样爆炸写log日志呢?20分钟就能写满磁盘,写了40G多。
在 2019-07-19 11:11:37,"Caizhi Weng" 写道:
>Hi Henry,
>
>这个 source 看起来不像是 Flink 提供的 source,应该是 source 本身实现的问题。你可能需要修改 source
>的源码让它出错后关闭或者进行其它处理...
>
>Henry 于2019年7月19日周五 上午9:3
大家好,之前那个报错图片大家没看到,重新弄一下。
报错图片链接:
https://img-blog.csdnimg.cn/20190719092540880.png
https://img-blog.csdnimg.cn/20190719092848500.png
我看报错的原因是,我这里Source用的是ActiveMQ,从昨天早上9点开始运行Flink任务接收消息,到今天早上8点都很正常。然后在今天早上8点4分的时候开始猛报错flink往log文件夹下写日志。第二个图是报错开始,显示ActiveMQ好像超时,然后就是消费者关闭一直猛写log。
我想问一下有没有什么办法设置flin
明白啦,谢谢哈。 我以为会显示图片呢。 我贴链接下次。
在 2019-07-18 12:03:57,"zhisheng" 写道:
>尴尬了,之前回复的邮件难道都是空白,Henry
>你可以把报错信息放到哪个博客里面,然后再这里提供个链接,邮件看不到你的截图错误信息,你可以先根据错误信息定位问题所在,把错误的问题先解决掉,然后再来合理的配置重启策略。
>
>Biao Liu 于2019年7月18日周四 上午1:15写道:
>
>> Hi Henry,
>>
>> 邮件列表貌似不能支持直接
您好!
请问一下,把程序打jar包然后提交集群运行了一天,flink安装目录下的log文件夹里产生了44G日志文件。flink
主要做的接收到消息处理完之后写入数据库,但是通过查看数据库数据的情况,数据也挺完整的没有什么错误,可是tail 查看了一下产生的log文件,里面不停的在产生
error 信息,但是也没有看到具体哪里报错,IDEA
本地运行的时候没有报错。据说要在代码设置默认重启策略,我在代码里开启了checkpoint,“senv.enableCheckpointing(6)
,看资料说“如果启用了 checkpointing,但没有配置重启策略,则使用固
22 matches
Mail list logo