Re:Re:Re:sink jdbc超时问题（无心跳包）

2021-12-19 文章 Michael Ran 
心跳没有，只有重试参数：sink.max-retries
在 2021-12-20 12:14:37，"Jeff"  写道：
>
>
>
>会有？ 什么意思呢？ 我现在用的是1.13.2没有呀，相关配置也没。
>
>
>
>
>
>
>
>
>
>
>
>在 2021-12-20 10:43:05，"Michael Ran"  写道：
>>会有判断连接是否有效，以及重试的操作
>>在 2021-12-20 11:39:23，"Jeff"  写道：
>>>sink jdbc长时间未有数据写入后，再写数据时会出现连接超时问题，请问flink jdbc connector是否有像连接池那样的心跳功能？

Re:Re:sink jdbc超时问题（无心跳包）

2021-12-19 文章 Jeff 



会有？ 什么意思呢？ 我现在用的是1.13.2没有呀，相关配置也没。











在 2021-12-20 10:43:05，"Michael Ran"  写道：
>会有判断连接是否有效，以及重试的操作
>在 2021-12-20 11:39:23，"Jeff"  写道：
>>sink jdbc长时间未有数据写入后，再写数据时会出现连接超时问题，请问flink jdbc connector是否有像连接池那样的心跳功能？

Re:sink jdbc超时问题（无心跳包）

2021-12-19 文章 Michael Ran 
会有判断连接是否有效，以及重试的操作
在 2021-12-20 11:39:23，"Jeff"  写道：
>sink jdbc长时间未有数据写入后，再写数据时会出现连接超时问题，请问flink jdbc connector是否有像连接池那样的心跳功能？

sink jdbc超时问题（无心跳包）

2021-12-19 文章 Jeff 
sink jdbc长时间未有数据写入后，再写数据时会出现连接超时问题，请问flink jdbc connector是否有像连接池那样的心跳功能？

Re:flink on native k8s模式下CPU使用率不高问题

2021-12-19 文章 Jeff 
升级版本没有用的，我用的是flink 
1.13.2也遇到这个问题，原因是它request与limit相同，所以后来我改了它的源代码，你可以参考一下：https://github.com/jeff-zou/flink.git
  ,我主要是改了KubernetesUtils.java这个类，利用external resource传入参数来替换request

















在 2021-12-18 09:15:06，"casel.chen"  写道：
>所用flink版本是1.12.5，部署作业到native k8s设置的不管是 kubernetes.taskmanager.cpu 还是 
>kubernetes.jobmanager.cpu 最终在k8s yaml文件中显示的cpu 
>request和limit都是一样的。这会导致作业的CPU使用率很低，因为我们发现作业刚启动的时候所需要的CPU资源要远远高于作业实际运行起来的CPU资源，二者可能相差近5倍左右。如果设置的cpu较低的话，作业启动需要花费很长时间。
>如何才能够提高作业CPU使用率呢？可以直接修改k8s 
>yaml文件将request设置得高一些，而limit设置低一些吗？还有更好的办法吗？升级Flink版本有望解决么？

Re: kafka源码执行测试用例问题

2021-12-19 文章 Hang Ruan 
应该先用mvn install 发布到本地仓库，这个依赖才可以被找到

Yuepeng Pan  于2021年12月17日周五 20:28写道：

> Hi, Chen.
>  如果是idea模式，可以尝试排查下pom中依赖项的scope。
>
>
>
> Best,
> Roc.
>
>
>
>
>
> 在 2021-12-17 17:41:32，"陈卓宇" <2572805...@qq.com.INVALID> 写道：
> >您好社区：
> >
> >我在进行flink源码Kafka连接器部分进行测试用例运行
> >
> >报错日志：
> >
> >[ERROR]
> org.apache.flink.connector.kafka.source.reader.KafkaPartitionSplitReaderTest 
> Time elapsed: 1.398 s  <<< ERROR!
> >java.lang.NoClassDefFoundError:
> org/apache/flink/networking/NetworkFailuresProxy
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestEnvironment.createProxy(KafkaTestEnvironment.java:241)
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestEnvironmentImpl.getKafkaServer(KafkaTestEnvironmentImpl.java:434)
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestEnvironmentImpl.prepare(KafkaTestEnvironmentImpl.java:136)
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestBase.startClusters(KafkaTestBase.java:165)
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestBase.startClusters(KafkaTestBase.java:152)
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestBase.prepare(KafkaTestBase.java:115)
> >    at
> org.apache.flink.streaming.connectors.kafka.KafkaTestBase.prepare(KafkaTestBase.java:107)
> >    at
> org.apache.flink.connector.kafka.source.testutils.KafkaSourceTestEnv.setup(KafkaSourceTestEnv.java:59)
> >    at
> org.apache.flink.connector.kafka.source.reader.KafkaPartitionSplitReaderTest.setup(KafkaPartitionSplitReaderTest.java:87)
> >    at
> java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native
> Method)
> >    at
> java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
> >    at
> java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> >    at
> java.base/java.lang.reflect.Method.invoke(Method.java:566)
> >    at
> org.junit.platform.commons.util.ReflectionUtils.invokeMethod(ReflectionUtils.java:725)
> >    at
> org.junit.jupiter.engine.execution.MethodInvocation.proceed(MethodInvocation.java:60)
> >    at
> org.junit.jupiter.engine.execution.InvocationInterceptorChain$ValidatingInvocation.proceed(InvocationInterceptorChain.java:131)
> >    at
> org.junit.jupiter.engine.extension.TimeoutExtension.intercept(TimeoutExtension.java:149)
> >    at
> org.junit.jupiter.engine.extension.TimeoutExtension.interceptLifecycleMethod(TimeoutExtension.java:126)
> >    at
> org.junit.jupiter.engine.extension.TimeoutExtension.interceptBeforeAllMethod(TimeoutExtension.java:68)
> >    at
> org.junit.jupiter.engine.execution.ExecutableInvoker$ReflectiveInterceptorCall.lambda$ofVoidMethod$0(ExecutableInvoker.java:115)
> >    at
> org.junit.jupiter.engine.execution.ExecutableInvoker.lambda$invoke$0(ExecutableInvoker.java:105)
> >    at
> org.junit.jupiter.engine.execution.InvocationInterceptorChain$InterceptedInvocation.proceed(InvocationInterceptorChain.java:106)
> >    at
> org.junit.jupiter.engine.execution.InvocationInterceptorChain.proceed(InvocationInterceptorChain.java:64)
> >    at
> org.junit.jupiter.engine.execution.InvocationInterceptorChain.chainAndInvoke(InvocationInterceptorChain.java:45)
> >    at
> org.junit.jupiter.engine.execution.InvocationInterceptorChain.invoke(InvocationInterceptorChain.java:37)
> >    at
> org.junit.jupiter.engine.execution.ExecutableInvoker.invoke(ExecutableInvoker.java:104)
> >    at
> org.junit.jupiter.engine.execution.ExecutableInvoker.invoke(ExecutableInvoker.java:98)
> >    at
> org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.lambda$invokeBeforeAllMethods$11(ClassBasedTestDescriptor.java:397)
> >    at
> org.junit.platform.engine.support.hierarchical.ThrowableCollector.execute(ThrowableCollector.java:73)
> >    at
> org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.invokeBeforeAllMethods(ClassBasedTestDescriptor.java:395)
> >    at
> org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.before(ClassBasedTestDescriptor.java:209)
> >    at
> org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.before(ClassBasedTestDescriptor.java:80)
> >    at
> org.junit.platform.engine.support.hierarchical.NodeTestTask.lambda$executeRecursively$6(NodeTestTask.java:148)
> >    at
> org.junit.platform.engine.support.hierarchical.ThrowableCollector.execute(ThrowableCollector.java:73)
> >    at
> org.junit.platform.engine.support.hierarchical.NodeTestTask.lambda$executeRecursively$8(NodeTestTask.java:141)
> >    at
> org.junit.platform.engine.support.hierarchical.Node.around(Node.java:137)
> >    at
> org.junit.platform.engine.support.hierarchical.NodeTestTask.lambda$executeRecursively$9(NodeTestTask.java:139)
> >    at
> org.junit.platform.engine.support.hierarchical.ThrowableCollector.execute(ThrowableCollector.java:73)
> >    at
> org.junit.platform.engine.support.hierarchical.NodeTestTask.executeRecursively(NodeTestTask.java:138)
> >    at
> org.junit.platform.engine.su