:
flink on yarn ??flink
hdfs,ark1??hdfs??active??standby
ark2standbyactive
:??flink??checkpoint??hdfs??url??hdfs:ark:8082
,standby??,
??
:kafaflink,process,
:sink??,??process??,sinkprint()
,???
??
版本是一致的，都是1.12.5版本
在 2021-11-08 11:11:35，"Shuiqiang Chen" 写道：
>Hi,
>
>能检查下作业jar里 kafka client的版本和平台上的是否一致吗？
>
>casel.chen 于2021年11月5日周五 下午11:25写道：
>
>> 我在公司实时计算平台上提交了一个streaming api写的作业，结果抛如下异常。因为我们的实时计算平台是以flink
>> sql为主的，上面已经集成了flink-kafka-connector。而我提交的作业也是需要从kafka消费，所以将相同版本的flink kafka
没有人遇到这类问题吗？
[docker@master flink-1.13.2]$ ./bin/yarn-session.sh
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in
[jar:file:/home/docker/flink-1.13.2/lib/log4j-slf4j-impl-2.12.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in
??
----
??:
"user-zh"
取消订阅
tanggen...@163.com
Hi！
如果某个窗口里没有任何数据，那么这个窗口就不会产生。这个输出应该说明数据里没有 11:12:36 ~ 11:12:37 的内容。
陈卓宇 <2572805...@qq.com.invalid> 于2021年11月8日周一 上午11:24写道：
> 场景是:
> 首先使用assignTimestampsAndWatermarks定义了eventTime的时间语义,然后我调用window(TumblingEventTimeWindows.of(Time.seconds(1))).process(...)
> 开一个1秒钟的窗口进行逻辑的计算
>
取消订阅
??:
assignTimestampsAndWatermarks??eventTime??,??window(TumblingEventTimeWindows.of(Time.seconds(1))).process(...)
??1
print??,context.window().getEnd(),
Hi,
能检查下作业jar里 kafka client的版本和平台上的是否一致吗？
casel.chen 于2021年11月5日周五 下午11:25写道：
> 我在公司实时计算平台上提交了一个streaming api写的作业，结果抛如下异常。因为我们的实时计算平台是以flink
> sql为主的，上面已经集成了flink-kafka-connector。而我提交的作业也是需要从kafka消费，所以将相同版本的flink kafka
> connector也打进了作业jar包内。请问是什么原因造成的，需要如何修复？谢谢！
>
>
> 2021-11-05 16:38:58 -
Hi, weiguangjin.
图示挂掉了。请尝试上传外部图床，或者粘贴原始 hint 文本信息。
Best,
Roc.
在 2021-11-08 09:45:08，"weiguangjin" 写道：
所有的maven 依赖已经下载，请教一下社区帮忙检查一下代码是否提交全
Hi, 俊超.
如果你指的是数据流必须在接受到一个或者多个ddl数据流才能够继续解析的话，那么你可以在ddl流到达算子之前，将数据流存入liststate,当接收到ddl类型的数据流元素后，先解析或处理
liststate中的数据,而后继续处理当前与后续的来自数据流的元素。
也可以使用上述方式达到 ‘使用广播流的方式来提前加载mysql表结构的变化’ 的逻辑效果。
所有的maven 依赖已经下载，请教一下社区帮忙检查一下代码是否提交全
您好，我想使用广播流的方式来提前加载mysql表结构的变化(ddl)，但是会遇到广播流没有数据流到达速度快的情况，导致问题。网上说可以使用liststate来解决这种情况，但是具体应该如何使用呢
| |
程俊超
|
|
邮箱：c_18641943...@163.com
|
签名由 网易邮箱大师 定制
1ms ，但是在数量不是特别大的场景下，小长度的窗口没有意义，flink
默认的网络缓冲区超时时间是 100ms
应该不怎么影响性能，就跟你在流中直接跟一个
process方法差不多（定时器一直在刷）
On 2021/11/5 12:32, 李航飞 wrote:
滚动窗口最小可开多大，100ms？
对性能有什么影响吗？
During a security analysis of Flink, I noticed that Flink allows for remote
code execution, is this an issue?
Apache Flink is a framework for executing user-supplied code in clusters. Users
can submit code to Flink processes, which will be executed unconditionally,
without any attempts to
作为读的数据源时，使用的hbase的sdk
scanner读取，不是全量读。见org.apache.flink.connector.hbase2.source.AbstractTableInputFormat#nextRecord。
作为维表时，使用Guava
cache缓存每次join到的key。见org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction#eval。
Best Wishes!
- Yuan
在2021年11月7日 16:26，guanyq 写道：
请大佬指导下：
-- 在 Flink
请大佬指导下：
-- 在 Flink SQL 中注册 HBase 表 "mytable"
CREATETABLEhTable(rowkeyINT,family1ROW,family2ROW,family3ROW,PRIMARYKEY(rowkey)NOTENFORCED)WITH('connector'='hbase-1.4','table-name'='mytable','zookeeper.quorum'='localhost:2181');
Flink sql在读取hbase表时，是一次将数据加载到内存还是每次加载一批数据呀？
20 matches
Mail list logo
