回复:flink sql执行sql语句无法执行的错误-No operators defined in streaming topology. Cannot execute.

2020-09-11 Thread
你应该用的是最新的版本,flink1.10 之后已经改了操作方式, StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance() .useBlinkPlanner() .inStreamingMode() .build(); StreamTableEnvironment

关于flink cdc 测试时遇到的几种问题,比较疑惑,各位大佬求帮助

2020-09-11 Thread
1、在checkpoint后,用ck恢复时报错。 org.apache.kafka.connect.errors.ConnectException: com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException: Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000, eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19,

回复:flink sql中Table类型注册临时表,无法使用的问题?

2020-09-08 Thread
没法使用是指什么? 在2020年09月8日 17:59,me 写道: flink sql中Table类型注册临时表,无法使用的问题? val tableA : Table = … tableEnv.registerTable("tableTmpA", tableA) tableEnv.sqlquery(“select * from tableTmpA”) ==> flink1.11这里是没办法直接使用的 请问谁成功使用过这个特性?

sql-client checkpoint sql-client

2020-09-04 Thread
想尝试采用flink-cdc 来清洗数据,但是尝试下来,困于几点: ① 使用sql-client 开启checkpoint ,如果程序挂掉,该如何接着checkpoint,继续执行相应程序。尤其是在执行group by或者是count等操作时该如何办? ② 如果以上方式不行,是否可以采用写代码的形式,重启时指定checkpoint,但还是采用flink-cdc的方式去消费 | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制

关于flink 读取 jdbc报错详情,序列化报错

2020-08-24 Thread
lizeObject(InstantiationUtil.java:586) at org.apache.flink.api.java.ClosureCleaner.clean(ClosureCleaner.java:133) ... 9 more | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制 public class JdbcReaderTest extends RichSourceFunction> { private DataSource dataSource; private String querySql; priva

回复: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread
哈喽,你现在写入效率是否增加,我也遇到了,感觉写入速度比较低的问题 | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制 在2020年08月20日 22:52,LittleFall<1578166...@qq.com> 写道: 谢谢你的回复,它确实帮到了我。 我找到了另一个问题: rewriteBatchedStatements=true 应该是驼峰式,而我之前用了全小写,以至于按批写入不生效。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink生产环境使用

2020-08-18 Thread
这段时间开始引入flink在生产环境,主要想将sql用起来,有木有大佬推荐一下,在生产环境下,用yarn模式好还是standalone模式,我们spark等大数据都是yarn来管理 | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制

回复: 关于flink升级

2020-08-13 Thread
谢谢各位大佬。我测测整体环境吧!!! | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制 在2020年08月14日 10:51,caozhen 写道: 我升级1.7到1.11过程遇到主要下面的问题,可以参考下 1、编译mainjar阶段:flink api的变化,例如env创建有变化,某些类的包名有变化 2、编译mainjar阶段:flink、flinksql环境相关的依赖改为provided,不打进fat包,否则引发NoClassDefFoundError问题 3、测试运行阶段:资源设置:TM、JM 有重大变化 4、测试运行阶段:解决flink

关于flink升级

2020-08-13 Thread
我们的flink是在1.7版本的,所以这次想对flink进行升级,但升级建议直接升级flink1.11.1么?有木有大佬在生产环境部署的么? | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制