Re: k8s session模式SQLclient怎样连接
我建了一个jira,建议sql client把作业提交到各种集群的方式在文档里写清楚, 可以关注 https://issues.apache.org/jira/browse/FLINK-23483 Best, Godfrey Caizhi Weng 于2021年7月23日周五 上午10:12写道: > Hi! > > 可以考虑把 k8s session 的 flink rest api 地址暴露出来,然后客户端把 execution.target 设为 > remote,rest.address 和 rest.port 设为相应地址。 > > maker_d...@foxmail.com 于2021年7月22日周四 下午9:46写道: > > > 大家好, > > 我将flink部署在k8s集群上,使用官方文档上的session模式进行部署,可以正常提交任务。 > > 现在我想使用sqlclient,在提交任务时提示 : > > [ERROR] Could not execute SQL statement. Reason: > > java.net.UnknownHostException: flink-cluster > > 请问大家,如何使用sqlclient连接k8s上的flink session。 > > flink版本 1.12.4. > > > > > > > > maker_d...@foxmail.com > > >
请问下flink on kubernetes 开发计划
大家好! 请问下flink on kubernetes 开发计划。是否可以参与。
Re:回复:flink sql 依赖隔离
建议上传的时候单独放,提交任务的时候 拉下来单独引用 在 2021-07-23 11:01:59,"silence" 写道: > >这边目前主要还是yarn,目前痛点是同一个sql任务会用到多个udf,udf通过-C http://xxx.jar进行加载 >udf和sql jar之间、udf和udf之间都可能会有依赖冲突, >目前初步想法是每个udf绑定一个jarpath,使用独立的classloader进行加载,避免和主jar以及其他udf之间的依赖冲突 >-- >发件人:Michael Ran >发送时间:2021年7月22日(星期四) 20:07 >收件人:user-zh ; silence >主 题:Re:flink sql 依赖隔离 > >通过任务进行隔离引用呗。你们美团已经是k8s了吧? >在 2021-07-05 14:06:53,"silence" 写道: >>请教大家目前flink sql有没有办法做到依赖隔离 >>比如connector,format,udf(这个最重要)等, >>很多情况下不同用户定义的组件会经常混用,会有很多的依赖冲突问题难以解决。 >>目前有没有办法做到udf的依赖隔离(比如不同的udf使用独立的jar和classloader),或者社区对此有没有什么规划 >
退订
退订
flink写hbase
大家好: 我flink map算子并行度36处理完数据后用sink用2个并行度写hbase的话,处理完几万条数据后会报table 对象空指针的异常。按理来说之前已经处理了几万条数据,操作的都是hbase的同一张表,不可能table对象获取空指针啊。如果将sink的并行度调整为1的话,不会再有空指针的问题,但是数据写到不到10万条的时候sink的处理速度很慢,出现了严重的反压,导致上游处理数据的速度为0,任务失败。最后将并行度改为map算子的并行度改为24,sink的并行度改为2,虽然说也有反压。但是目前程序没有出现任务失败的情况。有大佬给解释一下什么原因么,有点想不通。 java.lang.NullPointerException at org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:129) at org.apache.hadoop.hbase.client.HTable.put(HTable.java:1031) at com.chinaunicom.audit.photo.history.handle.customsink.HbaseNumberAndQualitySink.invoke(HbaseNumberAndQualitySink.java:312) at com.chinaunicom.audit.photo.history.handle.customsink.HbaseNumberAndQualitySink.invoke(HbaseNumberAndQualitySink.java:48) at org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:54) at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:191) at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.processElement(StreamTaskNetworkInput.java:204) at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.emitNext(StreamTaskNetworkInput.java:174) at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:65) at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:398) at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:191) at org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:619) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:583) at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:758) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:573) at java.lang.Thread.run(Thread.java:745)