Re: k8s session模式SQLclient怎样连接
我建了一个jira，建议sql client把作业提交到各种集群的方式在文档里写清楚， 可以关注 https://issues.apache.org/jira/browse/FLINK-23483 Best, Godfrey Caizhi Weng 于2021年7月23日周五 上午10:12写道： > Hi！ > > 可以考虑把 k8s session 的 flink rest api 地址暴露出来，然后客户端把 execution.target 设为 > remote，rest.address 和 rest.port 设为相应地址。 > > maker_d...@foxmail.com 于2021年7月22日周四 下午9:46写道： > > > 大家好， > > 我将flink部署在k8s集群上，使用官方文档上的session模式进行部署，可以正常提交任务。 > > 现在我想使用sqlclient，在提交任务时提示 ： > > [ERROR] Could not execute SQL statement. Reason: > > java.net.UnknownHostException: flink-cluster > > 请问大家，如何使用sqlclient连接k8s上的flink session。 > > flink版本 1.12.4. > > > > > > > > maker_d...@foxmail.com > > >
请问下flink on kubernetes 开发计划
大家好！ 请问下flink on kubernetes 开发计划。是否可以参与。
Re:回复：flink sql 依赖隔离
建议上传的时候单独放，提交任务的时候 拉下来单独引用 在 2021-07-23 11:01:59，"silence" 写道： > >这边目前主要还是yarn，目前痛点是同一个sql任务会用到多个udf，udf通过-C http://xxx.jar进行加载 >udf和sql jar之间、udf和udf之间都可能会有依赖冲突， >目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突 >-- >发件人：Michael Ran >发送时间：2021年7月22日(星期四) 20:07 >收件人：user-zh ; silence >主 题：Re:flink sql 依赖隔离 > >通过任务进行隔离引用呗。你们美团已经是k8s了吧？ >在 2021-07-05 14:06:53，"silence" 写道： >>请教大家目前flink sql有没有办法做到依赖隔离 >>比如connector，format，udf(这个最重要)等， >>很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。 >>目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划 >
退订
退订
flink写hbase
大家好： 我flink map算子并行度36处理完数据后用sink用2个并行度写hbase的话，处理完几万条数据后会报table 对象空指针的异常。按理来说之前已经处理了几万条数据，操作的都是hbase的同一张表，不可能table对象获取空指针啊。如果将sink的并行度调整为1的话，不会再有空指针的问题，但是数据写到不到10万条的时候sink的处理速度很慢，出现了严重的反压，导致上游处理数据的速度为0，任务失败。最后将并行度改为map算子的并行度改为24，sink的并行度改为2，虽然说也有反压。但是目前程序没有出现任务失败的情况。有大佬给解释一下什么原因么，有点想不通。 java.lang.NullPointerException at org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:129) at org.apache.hadoop.hbase.client.HTable.put(HTable.java:1031) at com.chinaunicom.audit.photo.history.handle.customsink.HbaseNumberAndQualitySink.invoke(HbaseNumberAndQualitySink.java:312) at com.chinaunicom.audit.photo.history.handle.customsink.HbaseNumberAndQualitySink.invoke(HbaseNumberAndQualitySink.java:48) at org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:54) at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:191) at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.processElement(StreamTaskNetworkInput.java:204) at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.emitNext(StreamTaskNetworkInput.java:174) at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:65) at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:398) at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:191) at org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:619) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:583) at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:758) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:573) at java.lang.Thread.run(Thread.java:745)
