1.flink 版本是1.11.1
streamEnv = StreamExecutionEnvironment.getExecutionEnvironment
streamBlinkSettings =
EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build()
streamTableEnv = StreamTableEnvironment.create(streamEnv, streamBlinkSettings)
没有insert语句也就是没有sink无法触发计算
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你应该用的是最新的版本,flink1.10 之后已经改了操作方式,
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
EnvironmentSettings settings = EnvironmentSettings.newInstance()
.useBlinkPlanner()
.inStreamingMode()
.build();
StreamTableEnvironment
flink sql执行sql语句
SELECT kafka_table.src_ip AS kafka_table_src_ip,COUNT(kafka_table.dest_ip) AS
COUNT_kafka_table_dest_ip_ FROM kafka_table GROUP BY kafka_table.src_ip
直接我发运行,我的初始化环境是
初始化 dataStreamEnv
初始化 tableEnv
1.执行sql
2.执行sql的结果转为datastream
dataStreamEnv.execute("SqlPlatformRealTime")
1、在checkpoint后,用ck恢复时报错。
org.apache.kafka.connect.errors.ConnectException:
com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000,
eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19,
@Congxian Qiu Sorry,刚看到。
之前使用的 flink 1.7,没有出现过这个问题。升级到 flink 1.10 后这个问题必现,但是时间不定。
On 8/9/2020 15:00,Congxian Qiu wrote:
Hi xuhaiLong
请问你这个作业在这个版本是是必然出现 NPE 问题吗?另外 1.10 之前的版本有出现过这个问题吗?
Best,
Congxian
xuhaiLong 于2020年8月7日周五 下午3:14写道:
感谢回复!我这边的确是这个bug 引起的
On 8/7/2020 13:43,chenkaibit wrote:
1??timestampvarchar??
2??
2020-09-09 15:25:55.416
local_dtm
| curr_dtm
| local_dtm_no_zone
| curr_dtm_no_zone
|
|
1??timestampvarchar??
2??
2020-09-0915:25:55.416
local_dtm
| curr_dtm
| local_dtm_no_zone
| curr_dtm_no_zone
|
|
各位大佬,在执行flink 流任务的时候,经常会出现,某几台服务器的 CPU比较高(共
用集群,还有很多其他组件),导致在这些机器上的算子的延迟远远高于其他机器上的
算子,
请 flink 是否有动态分区策略或者 Taskmanager 迁移策略,可以完成类似于 spark
在算子执行很慢的情况下,master 会起一个一样的算子,如果后起的算子先完成任
务,任务也可见继续往下游执行。
感谢各位大佬
请问,flink sql支持元数据的权限校验吗?例如使用hive catalog时,支持hive的权限检查?如果目前不支持,未来是否会考虑?
代码是不是主动设置过stagebackend的地址呢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
状态每次有做过清理么。还是在原始基础上进行add的呢,可以贴下代码
--
Sent from: http://apache-flink.147419.n8.nabble.com/
12 matches
Mail list logo