StreamingFileSink自定义输出的文件名
用StreamingFileSink.forBulkFormat写到HDFS上的文件，默认文件名为 part-subtaskID-bucketID，如: part-3-62529。 现在想自定义输出的文件名，不用part-subtaskID-bucketID这种格式。但在Flink中没有找到入口可以自定义文件名。 请教下各位大大，怎么才能实现。 感谢！辛苦！
Operate uid自动生成的逻辑
代码中哪里可以找到Operate uid自动生成的逻辑
Re:回复: Re: flink报错
一共7台机器，所有的机器上的配置都看过了，每个TaskManager的slot值是32 如果出现网络波动的话，会有可能造成这个错误吗？ 在 2019-07-30 11:09:01，"athlon...@gmail.com" 写道： >集群有几台机器?所有机器的配置都检查过了? > > > >athlon...@gmail.com > >发件人： 赵锐 >发送时间： 2019-07-30 11:07 >收件人： user-zh >主题： Re:回复: flink报错 >这个错误只随机出现过一次，报错时看flink的web页面slot也是充足的，配置也都检查过了 > > > > > >在 2019-07-30 10:49:02，"athlon...@gmail.com" 写道： >>从字面意思上看实际曹2个,需要3个..看看配置 >> >> >> >>athlon...@gmail.com >> >>发件人： 赵锐 >>发送时间： 2019-07-30 10:46 >>收件人： user-zh >>主题： flink报错 >>你好，flink在运行job时发现如下报错 >>Could not allocate all requires slots within timeout of 30 ms. Slots >>required: 3, slots allocated: 2 >>但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？ >> >> >> > > > >
Re:回复: Re: flink报错
一共7台机器，所有的机器上的配置都看过了，每个TaskManager的slot值是32 如果出现网络波动的话，会有可能造成这个错误吗？ 在 2019-07-30 11:09:01，"athlon...@gmail.com" 写道： >集群有几台机器?所有机器的配置都检查过了? > > > >athlon...@gmail.com > >发件人： 赵锐 >发送时间： 2019-07-30 11:07 >收件人： user-zh >主题： Re:回复: flink报错 >这个错误只随机出现过一次，报错时看flink的web页面slot也是充足的，配置也都检查过了 > > > > > >在 2019-07-30 10:49:02，"athlon...@gmail.com" 写道： >>从字面意思上看实际曹2个,需要3个..看看配置 >> >> >> >>athlon...@gmail.com >> >>发件人： 赵锐 >>发送时间： 2019-07-30 10:46 >>收件人： user-zh >>主题： flink报错 >>你好，flink在运行job时发现如下报错 >>Could not allocate all requires slots within timeout of 30 ms. Slots >>required: 3, slots allocated: 2 >>但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？ >> >> >> > > > >
Re:回复: Re: flink报错
一共7台机器，所有的机器上的配置都看过了，每个TaskManager的slot值是32 如果出现网络波动的话，会有可能造成这个错误吗？ 在 2019-07-30 11:09:01，"athlon...@gmail.com" 写道： >集群有几台机器?所有机器的配置都检查过了? > > > >athlon...@gmail.com > >发件人： 赵锐 >发送时间： 2019-07-30 11:07 >收件人： user-zh >主题： Re:回复: flink报错 >这个错误只随机出现过一次，报错时看flink的web页面slot也是充足的，配置也都检查过了 > > > > > >在 2019-07-30 10:49:02，"athlon...@gmail.com" 写道： >>从字面意思上看实际曹2个,需要3个..看看配置 >> >> >> >>athlon...@gmail.com >> >>发件人： 赵锐 >>发送时间： 2019-07-30 10:46 >>收件人： user-zh >>主题： flink报错 >>你好，flink在运行job时发现如下报错 >>Could not allocate all requires slots within timeout of 30 ms. Slots >>required: 3, slots allocated: 2 >>但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？ >> >> >> > > > >
Re:flink报错
分配slot超时了，导致只分配了两个，还有一个超时了没有分配成功，你查看下日志，找下超时原因。 在 2019-07-30 10:46:48，"赵锐" 写道： 你好，flink在运行job时发现如下报错 Could not allocate all requires slots within timeout of 30 ms. Slots required: 3, slots allocated: 2 但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？
回复: Re: flink报错
集群有几台机器?所有机器的配置都检查过了? athlon...@gmail.com 发件人： 赵锐 发送时间： 2019-07-30 11:07 收件人： user-zh 主题： Re:回复: flink报错 这个错误只随机出现过一次，报错时看flink的web页面slot也是充足的，配置也都检查过了 在 2019-07-30 10:49:02，"athlon...@gmail.com" 写道： >从字面意思上看实际曹2个,需要3个..看看配置 > > > >athlon...@gmail.com > >发件人： 赵锐 >发送时间： 2019-07-30 10:46 >收件人： user-zh >主题： flink报错 >你好，flink在运行job时发现如下报错 >Could not allocate all requires slots within timeout of 30 ms. Slots >required: 3, slots allocated: 2 >但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？ > > >
Re:回复: flink报错
这个错误只随机出现过一次，报错时看flink的web页面slot也是充足的，配置也都检查过了 在 2019-07-30 10:49:02，"athlon...@gmail.com" 写道： >从字面意思上看实际曹2个,需要3个..看看配置 > > > >athlon...@gmail.com > >发件人： 赵锐 >发送时间： 2019-07-30 10:46 >收件人： user-zh >主题： flink报错 >你好，flink在运行job时发现如下报错 >Could not allocate all requires slots within timeout of 30 ms. Slots >required: 3, slots allocated: 2 >但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？ > > >
回复: flink报错
从字面意思上看实际曹2个,需要3个..看看配置 athlon...@gmail.com 发件人： 赵锐 发送时间： 2019-07-30 10:46 收件人： user-zh 主题： flink报错 你好，flink在运行job时发现如下报错 Could not allocate all requires slots within timeout of 30 ms. Slots required: 3, slots allocated: 2 但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？
??????flink????
flink-conf.yaml??TaskManager??slot?? -- -- ??: ""; : 2019??7??30??(??) 10:46 ??: "user-zh"; : flink ??flink??job?? Could not allocate all requires slots within timeout of 30 ms. Slots required: 3, slots allocated: 2 flink??web??slot170??
flink报错
你好，flink在运行job时发现如下报错 Could not allocate all requires slots within timeout of 30 ms. Slots required: 3, slots allocated: 2 但是观察flink的web页面时发现slot还有170多个，还有其它原因会导致这个错误的出现吗？
Re: Re：RestClusterClient
hi，感谢您的关注，flink 未运行，或者 页面显示 正在选取 leader ，均会必现这个报错。
代码内是 catch JobExecutionException，使用log4j 打印cause。
在flink-cirrostream-client-xxx.log中， job准备阶段正常运行，日志打印到
org.apache.flink.client.program.rest.RestClusterClient- Submitting job
8247fbfadfdad4fb81dc958ff066bd94 (detached: false).
然后：
大概 10s 之后就会打印日志 Could not retrieve the execution result。
也尝试添加打印错误栈，但是没有在日志中找到相关信息。
somnus...@163.com
发件人： Zili Chen
发送时间： 2019-07-29 10:07
收件人： user-zh
主题： Re: 回复：RestClusterClient
Hi somnussuy & rockey,
能否提供报异常的现象和相关的 log？
我看到你说【没有相关堆栈信息】但是你们是知道这个错误出现的。
仅凭文字不太能理解你们是遇到了什么问题。
Best,
tison.
rockey...@163.com 于2019年7月29日周一 上午9:45写道：
> hi,Jeff Yang
> somnussuy 是我同事，他无法收到您的回复邮件，我在这代替他回复。我们的集群部署模式是 Standalone Cluster 和 HA
> by zookeeper，在任务 Could not retrieve the execution result
> 异常时，日志文件中并没有相关的堆栈信息。
> 希望得到您的帮助： 1. 如果出现该报错，应该在哪里去排查日志。 2. 出现该报错的可能情况有哪些，目前仅有 flink
> 集群未启动，一定会复现，其他情况偶然出现，频率在 1/50 左右。
>
>
>
> rockey...@163.com
>
> 发件人： Jeff Yang
> 发送时间： 2019-07-26 17:50
> 收件人： user-zh
> 主题： 回复：RestClusterClient
> Hisomnussuy,
> Please give us some detail information for this question. Such as “
> deploy method “ , “logs" and so on.
>
>
> Best,
> Yang
>
>
> 原始邮件
> 发件人:somnussuysomnus...@163.com
> 收件人:user-zhuser...@flink.apache.org
> 发送时间:2019年7月26日(周五) 11:42
> 主题:RestClusterClient
>
>
> 您好，flink集群关闭的情况下，运行任务会有报错信息 Could not retrieve the execution result，但是在
> flink 集群正常运行的情况下，偶然会报 Could not retrieve the execution result，通过查询了解到，flink
> 通过 RestClusterClient类 将任务提交至 jobmanager，如果 detached 为 false，会采用
> CompletableFuture 的 thenCompose 方法，在获取结果时，会有异常的捕获，如下： final
> CompletableFutureJobResult jobResultFuture =
> jobSubmissionFuture.thenCompose( ignored -
> requestJobResult(jobGraph.getJobID())); final JobResult jobResult; try {
> jobResult = jobResultFuture.get(); } catch (Exception e) { throw new
> ProgramInvocationException("Could not retrieve the execution result.",
> jobGraph.getJobID(), ExceptionUtils.stripExecutionException(e)); }
> 但是，什么原因导致报错，日志中并无明显体现。 希望得到您的帮助： 1. 如果出现该报错，应该在哪里去排查日志。 2.
> 出现该报错的可能情况有哪些，目前仅有 flink 集群未启动，一定会复现，其他情况偶然出现，频率在 1/50 左右。
>
Re: 請問在 Flink SQL 上能不能指定 WHERE 裡的判斷式的執行順序？
不太清楚能否直接实现你说的这种功能。不过，你可以换一种思路，比如用子查询： select * from ( select * from (select *, if(user.is_robot,0, 1) flag from users) tab_a where flag=1) tab_b where UDF_NEED_TO_QUERY_DB(user) shicheng31...@gmail.com 发件人： Tony Wei 发送时间： 2019-07-27 00:37 收件人： user-zh 主题： 請問在 Flink SQL 上能不能指定 WHERE 裡的判斷式的執行順序？ Hi, 想請問是否有辦法在 Flink SQL 上指明 WHERE 裡的判斷式的執行順序，來做到一些特定情況下的 查詢優化？ 舉例來說，在下面的 SQL，假如有個很耗時的 UDF 需要每次都去查詢資料庫。在這樣的狀況下， 如果可以確保優先執行 `!user.is_robot` 的判斷，再去執行後面的 UDF 的話，就能減少許多的資料 庫查詢。因為那些在 `user.is_robot` 裡得到 `true` 的數據就可以提早被丟棄，而不用去執行後面 較為花費時間的 UDF 了。 select * from users where !user.is_robot and UDF_NEED_TO_QUERY_DB(user) 謝謝大家的幫忙。 Best regards, Tony Wei
flink 中文邮件订阅
flink 中文邮件订阅
