补充一下，我是继承Trigger自己实现了一个定时器，然后只重写了三个抽象方法
-- 原始邮件 --
发件人: smq <374060...@qq.com>
发送时间: 2021年3月8日 15:30
收件人: user-zh
Trigger 抽象类其中有两个方法，onProcessingTime （）和OnEventTime （），在源码描述中，当trigger
context设置的定时器触发时会调用上面两个方法。但是在实际测试中，发现，就算没有设置定时器，上面的方法也能在水印超过窗口最大时间之后触发。请问有人知道了解过这个吗。
Hi,
可以排查下 GC 情况，频繁 FGC 也会导致这些情况。
Best,
jjiey
> 2021年3月8日 14:37，yidan zhao 写道：
>
> 如题，我有个任务频繁发生该异常然后重启。今天任务启动1h后，看了下WEB-UI的检查点也没，restored达到了8已经。然后Exception页面显示该错误，估计大多数都是因为该错误导致的restore。
> 除此外，就是 ‘Job leader for job id eb5d2893c4c6f4034995b9c8e180f01e lost
> leadership’ 错导致任务重启。
>
> 下面给出刚刚的一
如题，我有个任务频繁发生该异常然后重启。今天任务启动1h后，看了下WEB-UI的检查点也没，restored达到了8已经。然后Exception页面显示该错误，估计大多数都是因为该错误导致的restore。
除此外，就是 ‘Job leader for job id eb5d2893c4c6f4034995b9c8e180f01e lost
leadership’ 错导致任务重启。
下面给出刚刚的一个错误日志（环境flink1.12，standalone集群，5JM+5TM，JM和TM混部在相同机器）：
2021-03-08 14:31:40
org.apache.flink.runtim
还有没有大佬解释下，我最近又遇到这个问题了，而且很频繁。任务启动1小时restored达到了8。
yidan zhao 于2021年3月3日周三 下午2:58写道：
> Mark下。这个问题我也遇到多次，看过一个xintognsongn的回复，由于网络、zk可用性等问题会导致。不够一般会自动恢复。
>
> 史 正超 于2020年12月7日周一 下午10:13写道：
>
>> 8 个slot，8个并行度，jm是2G，tm配置的是8G，其它的任务配置是
>> ```
>> SET 'execution.checkpointing.interval' = '5min';
>> SET 'e
您好！
hive.metastore.sasl.enabled 是true
启动sql client的时候，可以正常读取到认证信息，并读取metastore的表名。
读和写，认证就失败了。
---原始邮件---
发件人: "Rui Li"
我现在有个需求，公司提供了一个用c++写的算法，已经包成了.so文件，我已经建了一个SpringBoot工程，使用JNI操作C++写的算法，请问我怎样在Flink里调用呢？需要定义算子、算子链吗？
也可能是需要这个fix：https://issues.apache.org/jira/browse/FLINK-20913
On Mon, Mar 8, 2021 at 12:11 PM Rui Li wrote:
> Hi，
>
>
> 从你发的stacktrace来看，走到了set_ugi方法说明client认为server没有开启kerberos。确认一下你HiveCatalog这边指定的hive-site.xml是否配置正确呢，像hive.metastore.sasl.enabled是不是设置成true了？
>
> On Sun, Mar 7, 2021 at 5:49 PM
Hi，
从你发的stacktrace来看，走到了set_ugi方法说明client认为server没有开启kerberos。确认一下你HiveCatalog这边指定的hive-site.xml是否配置正确呢，像hive.metastore.sasl.enabled是不是设置成true了？
On Sun, Mar 7, 2021 at 5:49 PM 861277...@qq.com <861277...@qq.com> wrote:
> 环境：
> flink1.12.1
> hive2.1.0
> CDH6.2.0
>
>
> 【问题描述】
> 在没开启Kerberos认证时，可
有没有大佬有思路可以参考下？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi,
不好意思回复这么晚。关于pandas
udaf，我有专门测试过框架层的开销(函数用普通的均值计算)。和java相比，差距也就3，4倍左右，具体可以参考代码[1]。关于你这个代码，我怀疑是因为你函数实现的问题。你这个函数构造df是会有额外的开销。你为啥不直接使用j来进行计算。当然了，你也可以根据调整一些参数来提高性能，比如python.fn-execution.bundle.size和python.fn-execution.bundle.time，具体可以参考文档[2]。
[1]
https://github.com/HuangXingBo/pyflink-performanc
个人理解是不会重复驱动执行的，具体你可以测试一下，但是从底层原理上讲，我也讲不了。
发件人： lp
发送时间： 2021-03-05 17:31
收件人： user-zh
主题： flink dataStream多次sink DAG重复驱动执行？
有个疑问，
如下程序片段：
--
Properties properties = new Properties();
properties.setProperty("bootstrap.servers",kafkaAddr);
properties.setProperty("group.id",k
Hi,
退订请发邮件到 user-zh-unsubscr...@flink.apache.org
详细的可以参考 [1]
[1] https://flink.apache.org/zh/community.html#section-1
发件人： zenglong chen
发送时间： 2021-03-08 10:00
收件人： user-zh
主题： 退订
退订
退订
如题
hezongji...@qq.com
from pyflink.table import EnvironmentSettings, StreamTableEnvironment
env_settings =
EnvironmentSettings.new_instance().in_streaming_mode().use_blink_planner().build()
table_env = StreamTableEnvironment.create(environment_settings=env_settings)
table = table_env.from_elements([(1, 'Hi'), (2, 'He
是这样的，可以产生，问题从watermarksState里面拿出来的时间戳，会变成是默认值，全局除过这里有设置过，再无任何关于watermark的逻辑。
[image: image.png]
val dataLoadStream = data
.map(new EventMapFunction(config))
// Add watermark
.assignTimestampsAndWatermarks(
WatermarkStrategy
.forBoundedOutOfOrderness[EventData](Duration.ofMinutes(1)
可以中途产生，走这个接口
org.apache.flink.streaming.api.datastream.DataStream#assignTimestampsAndWatermarks(org.apache.flink.api.common.eventtime.WatermarkStrategy)
麻烦贴一下你加 watermark 的代码和 pipeline 看一下啥情况
Best,
tison.
Xavier 于2021年3月7日周日 下午7:51写道：
>想问下社区，watermark必须加在数据源上吗？顺便想问下一般用什么方式来调watermark，我自己
想问下社区，watermark必须加在数据源上吗？顺便想问下一般用什么方式来调watermark，我自己本地有发现加在map
function之后，watermark会自动重置为默认值的情况。
谢谢！
--
Best Regards,
*Xavier*
环境：
flink1.12.1
hive2.1.0
CDH6.2.0
【问题描述】
在没开启Kerberos认证时，可以正常读写hive表
开启Kerberos认证后，
启动时可以正常读取到hive metastore的元数据信息，读写不了表。
【sql-client.sh embedded】
Flink SQL> show tables;
dimension_table
dimension_table1
test
Flink SQL> select * from test;
[ERROR] Could not execute SQL statement. Reaso
可以看下flink源码的flink k8s模块，里面的test pachage下有需求flink k8s的使用姿势，希望对你有帮助。
DanielGu <610493...@qq.com> 于2021年3月7日周日 下午4:34写道：
> >有的，通过 FLINK 和 YARN 或 k8s
> 的接口进行编程，管理元数据，管理用户文件，支持提交作业及之后管理作业状态，这是许多公司应用Flink
> 的实现方式。
>
> 请问有什么可以参考的资料吗?有相关意愿,不知道从哪里下手,希望整个 flink on k8s
>
>
>
> --
> Sent from: http://apache-
>有的，通过 FLINK 和 YARN 或 k8s 的接口进行编程，管理元数据，管理用户文件，支持提交作业及之后管理作业状态，这是许多公司应用Flink
的实现方式。
请问有什么可以参考的资料吗?有相关意愿,不知道从哪里下手,希望整个 flink on k8s
--
Sent from: http://apache-flink.147419.n8.nabble.com/
22 matches
Mail list logo
