你应该用的是最新的版本,flink1.10 之后已经改了操作方式,
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
EnvironmentSettings settings = EnvironmentSettings.newInstance()
.useBlinkPlanner()
.inStreamingMode()
.build();
StreamTableEnvironment
1、在checkpoint后,用ck恢复时报错。
org.apache.kafka.connect.errors.ConnectException:
com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000,
eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19,
没法使用是指什么?
在2020年09月8日 17:59,me 写道:
flink sql中Table类型注册临时表,无法使用的问题?
val tableA : Table = …
tableEnv.registerTable("tableTmpA", tableA)
tableEnv.sqlquery(“select * from tableTmpA”) ==> flink1.11这里是没办法直接使用的
请问谁成功使用过这个特性?
想尝试采用flink-cdc 来清洗数据,但是尝试下来,困于几点:
① 使用sql-client 开启checkpoint ,如果程序挂掉,该如何接着checkpoint,继续执行相应程序。尤其是在执行group
by或者是count等操作时该如何办?
② 如果以上方式不行,是否可以采用写代码的形式,重启时指定checkpoint,但还是采用flink-cdc的方式去消费
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
lizeObject(InstantiationUtil.java:586)
at org.apache.flink.api.java.ClosureCleaner.clean(ClosureCleaner.java:133)
... 9 more
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
public class JdbcReaderTest extends RichSourceFunction> {
private DataSource dataSource;
private String querySql;
priva
哈喽,你现在写入效率是否增加,我也遇到了,感觉写入速度比较低的问题
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
在2020年08月20日 22:52,LittleFall<1578166...@qq.com> 写道:
谢谢你的回复,它确实帮到了我。
我找到了另一个问题:
rewriteBatchedStatements=true
应该是驼峰式,而我之前用了全小写,以至于按批写入不生效。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
这段时间开始引入flink在生产环境,主要想将sql用起来,有木有大佬推荐一下,在生产环境下,用yarn模式好还是standalone模式,我们spark等大数据都是yarn来管理
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
谢谢各位大佬。我测测整体环境吧!!!
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
在2020年08月14日 10:51,caozhen 写道:
我升级1.7到1.11过程遇到主要下面的问题,可以参考下
1、编译mainjar阶段:flink api的变化,例如env创建有变化,某些类的包名有变化
2、编译mainjar阶段:flink、flinksql环境相关的依赖改为provided,不打进fat包,否则引发NoClassDefFoundError问题
3、测试运行阶段:资源设置:TM、JM 有重大变化
4、测试运行阶段:解决flink
我们的flink是在1.7版本的,所以这次想对flink进行升级,但升级建议直接升级flink1.11.1么?有木有大佬在生产环境部署的么?
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制