Re: 关于Flink1.10 Standalone 模式任务提交

你的意思是，UberJar 不放在 lib 里，在用户程序里通过线程上下文 ClassLoader 能加载到 KafkaTableSourceSinkFactory 吗？（同时 class loading 为 child-first） 》》是的 On Thu, Apr 23, 2020 at 11:42 AM tison wrote: > >》拿到ClassLoader后看下能不能取到KafkaTableSourceSinkFactory的class > >这个能拿到 > > 你的意思是，UberJar 不放在 lib 里，在用户程序里通过线程上下文 ClassLoader 能加载到

Re: 关于Flink1.10 Standalone 模式任务提交

>》拿到ClassLoader后看下能不能取到KafkaTableSourceSinkFactory的class >这个能拿到 你的意思是，UberJar 不放在 lib 里，在用户程序里通过线程上下文 ClassLoader 能加载到 KafkaTableSourceSinkFactory 吗？（同时 class loading 为 child-first） 如果是这样，听起来 client 的 classloading 策略没啥问题，似乎是 SPI 加载那边的 ClassLoader 有问题。之前 FileSystem 相关解析就出过类似的 ClassLoader 的 BUG Be

Re: 关于Flink1.10 Standalone 模式任务提交

我尝试进行了添加，程序依然无法运行，异常信息和上面一致，下面是我的shade配置： org.apache.maven.plugins maven-shade-plugin package shade com.akulaku.data.main.StreamMain

Re: 关于Flink1.10 Standalone 模式任务提交

Hi, Flink的connector发现机制是通过java spi服务发现机制的，所以你的services下文件不包含Kafka相关的内容就不会加载到。 > 而且两种打包方式运行时是都能加载到KafkaFactory类文件的 只是类文件是没有用的，没地方引用到它。 你试试[1]中的方法？添加combine.children [1] https://github.com/apache/flink/blob/master/flink-table/flink-table-uber-blink/pom.xml#L104 Best, Jingsong Lee On Thu, Apr 2

回复： 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

我给你一些数据和代码吧!和我真实场景错误一样 订单主表：orders 13点两条记录；order_state是状态 0取消 1待支付 {"order_no":"order1","order_state":1,"pay_time":"","create_time":"2020-04-01 13:00:00","update_time":"2020-04-01 13:00:00"} {"order_no":"order2","order_state":1,"pay_time":"","create_time":"2020-04-01 13:00:00","update_time":"20

Re: 关于Flink1.10 Standalone 模式任务提交

我这面采用shade打包方式进行了尝试，发现依然运行出错，运行错误日志与assembly打包产生的错误日志一致，就是上面提到的错误，而且shade和assembly打包产生的 META-INF/services/org.apache.flink.table.factories.TableFactory文件及里面的内容一致，而且两种打包方式运行时是都能加载到KafkaFactory类文件的，所以貌似不是打包导致的问题，而更像是bug 下面是我maven插件配置： org.apache.maven.plugins

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

非常感谢Leonard Xu和zhisheng的回复 > es index 的 mapping 是否提前设置好了？ 提前设置好了，提前创建索引的mapping如下： { "xxx-2020.04.23": { "mappings": { "doc": { "dynamic_templates": [ { "string_fields": { "match": "*", "match_mapping_type": "string",

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

赞详细的分析! 没能复现你说的问题，最后一步的分析应该有点小问题，我看下了jdbc mysql的实现 com/mysql/jdbc/PreparedStatement.java#executeBatchInternal() 1289行 是会判断batchedArgs数组的大小后会直接返回的，应该不会执行，你可以进一步调试确认下 ``` if (this.batchedArgs == null || this.batchedArgs.size() == 0) { return new long[0]; } ``` 祝好， Leonard

回复： 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

好的，我先换了看看，之后建jira 在2020年4月22日 22:38，Jingsong Li 写道： Hi, - JDBC是upsert sink，所以你需要toUpsertStream，而不是toRetractStream，建议你用完整的DDL来插入mysql的表。 - 这个异常看起来是JDBC的bug，你可以建个JIRA来跟踪吗？ Best, Jingsong Lee On Wed, Apr 22, 2020 at 9:58 PM 1101300123 wrote: 我在SQL关联后把结果写入mysql出现 No value specified fo

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

Hi, - JDBC是upsert sink，所以你需要toUpsertStream，而不是toRetractStream，建议你用完整的DDL来插入mysql的表。 - 这个异常看起来是JDBC的bug，你可以建个JIRA来跟踪吗？ Best, Jingsong Lee On Wed, Apr 22, 2020 at 9:58 PM 1101300123 wrote: > > > 我在SQL关联后把结果写入mysql出现 No value specified for parameter 1错误？ > 我的版本是1.10.0，代码如下 > JDBCUpsertT

关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

我在SQL关联后把结果写入mysql出现 No value specified for parameter 1错误？ 我的版本是1.10.0，代码如下 JDBCUpsertTableSink build = JDBCUpsertTableSink.builder() .setTableSchema(results.getSchema()) .setOptions(JDBCOptions.builder() .setDBUrl("MultiQueries=true&useUnicode=tr

????: ?????? ??flink-connector-kafka??????????Subscribe????

??kafka balance??PK?? kafka partition??offset??kafka balance dixingxin...@163.com i'mpossible ?? 2020-04-22 17:1

Re: 关于Flink1.10 Standalone 模式任务提交

Hi, 如果org.apache.flink.table.factories.TableFactory里面没有KafkaTableSourceSinkFactory，那就是打包有问题。不清楚1.9的是怎么运行起来的，但是所有的jar的meta-inf-services文件都没有KafkaTableSourceSinkFactory，那也不应该能运行起来的。 推荐打包方式用shade，shade会merge meta-inf-services的文件的。 Best, Jingsong Lee On Wed, Apr 22, 2020 at 7:31 PM 宇张 wrote: > >

Re: 关于Flink1.10 Standalone 模式任务提交

》也确认下org.apache.flink.table.factories.TableFactory的内容，里面有没有KafkaTableSourceSinkFactory 这个我看了一下我先前flink1.9的工程，应用程序Jar里面也是没有这个类的，但是程序运行加载是没问题的，这么对比貌似就不是maven打包的问题了。 On Wed, Apr 22, 2020 at 7:22 PM 宇张 wrote: > > 》也确认下org.apache.flink.table.factories.TableFactory的内容，里面有没有KafkaTableSourceSinkFact

Re: 关于Flink1.10 Standalone 模式任务提交

》也确认下org.apache.flink.table.factories.TableFactory的内容，里面有没有KafkaTableSourceSinkFactory 这个没有，只有org.apache.flink.formats.json.JsonRowFormatFactory 》拿到ClassLoader后看下能不能取到KafkaTableSourceSinkFactory的class 这个能拿到 这么看来 貌似是 mvn打包有问题： mvn clean package -DskipTests 依赖范围为默认 On Wed, Apr 22, 2020 at 7:05 PM

Re: 关于Flink1.10 Standalone 模式任务提交

Hi, 也确认下org.apache.flink.table.factories.TableFactory的内容，里面有没有KafkaTableSourceSinkFactory > 这个指的是打印当前线程的classloader嘛Thread.currentThread().getContextClassLoader() 是的，拿到ClassLoader后看下能不能取到KafkaTableSourceSinkFactory的class Best, Jingsong Lee On Wed, Apr 22, 2020 at 7:00 PM 宇张 wrote: > 看下你打包的 Ub

Re: 关于Flink1.10 Standalone 模式任务提交

看下你打包的 UberJar 里有没一个内容包括 1、下面这个文件是存在的 org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory 的文件 META-INF/services/org.apache.flink.table.factories.TableFactory 2、flink版本1.10，Standalone模式启动服务（start-cluster.sh），flink run运行(/software/flink-1.10.0/bin/flink run -c com.data.main.Stream

Re: 关于Flink1.10 Standalone 模式任务提交

Hi, 先确认下你的Jar包里有没有 meta-inf-services的文件？里面确定有Kafka？ 如果有，再确认下"TableEnvironmentImpl.sqlQuery"调用时候的ThreadClassLoader? 因为现在默认是通过ThreadClassLoader来获取Factory的。 Best, Jingsong Lee On Wed, Apr 22, 2020 at 5:30 PM 宇张 wrote: > 我这面使用Standalone模式运行Flink任务，但是Uber > Jar里面的TableSourceFactory不能被加载，即使设置了class

Re: 关于Flink1.10 Standalone 模式任务提交

虽然你放到 lib 下就能行了听起来是个 BUG，能不能说明一下你的 Flink 版本还有具体的启动命令。 FLINK-13749 可能在早期版本上没有，另外 Standalone 的类加载如果是 PerJob 有更改过。 Best, tison. tison 于2020年4月22日周三 下午5:48写道： > 看下你打包的 UberJar 里有没一个内容包括 > > org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory > > 的文件 > > META-INF/services/org.a

Re: 关于Flink1.10 Standalone 模式任务提交

看下你打包的 UberJar 里有没一个内容包括 org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory 的文件 META-INF/services/org.apache.flink.table.factories.TableFactory Best, tison. 宇张 于2020年4月22日周三 下午5:30写道： > 我这面使用Standalone模式运行Flink任务，但是Uber > Jar里面的TableSourceFactory不能被加载，即使设置了classloader.r

Re: flink1.10关于jar包冲突问题

好的，接下来工程中我会把 不需要的传递依赖都应该 exclude 掉，而遇到的jar包冲突问题会进行记录，感谢解疑 On Wed, Apr 22, 2020 at 2:16 PM tison wrote: > 能具体看一下报错吗？一般来说 Flink 自己需要的依赖都会 shaded 起来，不需要的传递依赖都应该 exclude 掉。暴露成 API > 的类别一般需要封装或者使用稳定的接口。 > > 这可能是一个工程上的问题，你可以具体罗列一下遇到的 JAR 包冲突问题，看一下怎么解。 > > Best, > tison. > > > 宇张 于2020年4月22日周三 上午11:52

关于Flink1.10 Standalone 模式任务提交

我这面使用Standalone模式运行Flink任务，但是Uber Jar里面的TableSourceFactory不能被加载，即使设置了classloader.resolve-order: child-first，只有放在lib目录才能加载得到，我看发布文档跟改了类加载策略，但是我不知道为什么Uber Jar里面的Factory不能被加载 Flink Client respects Classloading Policy (FLINK-13749 )

?????? ??flink-connector-kafka??????????Subscribe????

Hi??     ??kafka??Flink??kafka??rebalance??     ??flink-connector-kafkatopic???

?????? ????0??????????Elasticsearch??????kafka????????

Mapping??template "xxx-2020.04.23": {     "mappings": {       "doc": {         "dynamic_templates": [           {             "string_fields": {               "match": "*",               "match_mapping_type": "string",               "mapping": {                 "type": "keyword"    

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

hi, es index 的 mapping 是否提前设置好了？ 我看到异常 : > failed to process cluster event (put-mapping) within 30s 像是自动建 mapping 超时了 Leonard Xu 于2020年4月22日周三 下午4:41写道： > Hi, > > 提前创建的索引的shard配置是怎么样的？集群的reallocation、relocation配置怎样的？ > 可以从这方面找思路排查下看看 > > 祝好， > Leonard Xu > > > > > 在 2020年4月22日，16:10，Oliver

Re: 关于StreamingFileSink

Hi, 按我的理解：.part-4-13.inprogressx/part-4-14.inprogressx 就是残留文件了，因为它所在checkpoint并没有finish，所以它不会被读到，也不会影响作业的运行，也不会继续改变了。 Best, Jingsong Lee On Tue, Apr 21, 2020 at 4:38 PM Leonard Xu wrote: > Hello，图挂了，可以搞个图床了挂链接到邮件列表。。。 > 另外问下为什么不从最新的cp开始恢复作业呢？这样我理解会有脏数据吧。 > > > 在 2020年4月19日，23:23，Yu

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

Hi, 提前创建的索引的shard配置是怎么样的？集群的reallocation、relocation配置怎样的？ 可以从这方面找思路排查下看看 祝好， Leonard Xu > 在 2020年4月22日，16:10，Oliver 写道： > > hi， > > > 我有一个任务是使用flink将kafka数据写入ES，纯ETL过程， > 现在遇到的问题是：每天0点之后数据写入ES异常,同时监控发现kafka消息开始堆积，重启任务后，kafka消息堆积现象逐渐恢复，如果不重启则堆积问题一直存在。 > > > 想咨询下这种问题应该怎么样排查和处理？ > > > f

????0??????????Elasticsearch??????kafka????????

hi?? ??flink??kafkaESETL?? ??0??ES,kafka??kafka ?? flink??1.10 ES??6.x  jar??flink-sql-