Re:实时读取hive参数不生效
Hi, Fei Han. 图片挂掉了。可以尝试外链外部图床或者直接附上相关的hints原始信息。 Best, Roc. 在 2021-12-21 20:12:33，"Fei Han" 写道： @all: 大家好！ 我在实时读取hive的时候动态参数不生效， Flink版本1.13.3 Hive版本hive2.1.1-CDH6.2.0 我的脚本如下： 报错如下： 请大佬们看下是什么原因造成的？
Re:Flink1.14 redis connector
Hi, 可以参阅这个仓库 https://github.com/apache/bahir-flink.git Best, Roc. 在 2021-12-20 22:49:42，"guanyq" 写道： >请问下： >我记得之前的版本有redis connector，但是为什么现在版本的官网里面没有redis connector了 > > > > > > > > > > > > > > > > > >
Re:kafka源码执行测试用例问题
Hi, Chen. 如果是idea模式，可以尝试排查下pom中依赖项的scope。 Best, Roc. 在 2021-12-17 17:41:32，"陈卓宇" <2572805...@qq.com.INVALID> 写道： >您好社区： > >我在进行flink源码Kafka连接器部分进行测试用例运行 > >报错日志： > >[ERROR] >org.apache.flink.connector.kafka.source.reader.KafkaPartitionSplitReaderTest > Time elapsed: 1.398 s <<< ERROR! >java.lang.NoClassDefFoundError: >org/apache/flink/networking/NetworkFailuresProxy > at >org.apache.flink.streaming.connectors.kafka.KafkaTestEnvironment.createProxy(KafkaTestEnvironment.java:241) > at >org.apache.flink.streaming.connectors.kafka.KafkaTestEnvironmentImpl.getKafkaServer(KafkaTestEnvironmentImpl.java:434) > at >org.apache.flink.streaming.connectors.kafka.KafkaTestEnvironmentImpl.prepare(KafkaTestEnvironmentImpl.java:136) > at >org.apache.flink.streaming.connectors.kafka.KafkaTestBase.startClusters(KafkaTestBase.java:165) > at >org.apache.flink.streaming.connectors.kafka.KafkaTestBase.startClusters(KafkaTestBase.java:152) > at >org.apache.flink.streaming.connectors.kafka.KafkaTestBase.prepare(KafkaTestBase.java:115) > at >org.apache.flink.streaming.connectors.kafka.KafkaTestBase.prepare(KafkaTestBase.java:107) > at >org.apache.flink.connector.kafka.source.testutils.KafkaSourceTestEnv.setup(KafkaSourceTestEnv.java:59) > at >org.apache.flink.connector.kafka.source.reader.KafkaPartitionSplitReaderTest.setup(KafkaPartitionSplitReaderTest.java:87) > at >java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) > at >java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) > at >java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) > at >java.base/java.lang.reflect.Method.invoke(Method.java:566) > at >org.junit.platform.commons.util.ReflectionUtils.invokeMethod(ReflectionUtils.java:725) > at >org.junit.jupiter.engine.execution.MethodInvocation.proceed(MethodInvocation.java:60) > at >org.junit.jupiter.engine.execution.InvocationInterceptorChain$ValidatingInvocation.proceed(InvocationInterceptorChain.java:131) > at >org.junit.jupiter.engine.extension.TimeoutExtension.intercept(TimeoutExtension.java:149) > at >org.junit.jupiter.engine.extension.TimeoutExtension.interceptLifecycleMethod(TimeoutExtension.java:126) > at >org.junit.jupiter.engine.extension.TimeoutExtension.interceptBeforeAllMethod(TimeoutExtension.java:68) > at >org.junit.jupiter.engine.execution.ExecutableInvoker$ReflectiveInterceptorCall.lambda$ofVoidMethod$0(ExecutableInvoker.java:115) > at >org.junit.jupiter.engine.execution.ExecutableInvoker.lambda$invoke$0(ExecutableInvoker.java:105) > at >org.junit.jupiter.engine.execution.InvocationInterceptorChain$InterceptedInvocation.proceed(InvocationInterceptorChain.java:106) > at >org.junit.jupiter.engine.execution.InvocationInterceptorChain.proceed(InvocationInterceptorChain.java:64) > at >org.junit.jupiter.engine.execution.InvocationInterceptorChain.chainAndInvoke(InvocationInterceptorChain.java:45) > at >org.junit.jupiter.engine.execution.InvocationInterceptorChain.invoke(InvocationInterceptorChain.java:37) > at >org.junit.jupiter.engine.execution.ExecutableInvoker.invoke(ExecutableInvoker.java:104) > at >org.junit.jupiter.engine.execution.ExecutableInvoker.invoke(ExecutableInvoker.java:98) > at >org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.lambda$invokeBeforeAllMethods$11(ClassBasedTestDescriptor.java:397) > at >org.junit.platform.engine.support.hierarchical.ThrowableCollector.execute(ThrowableCollector.java:73) > at >org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.invokeBeforeAllMethods(ClassBasedTestDescriptor.java:395) > at >org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.before(ClassBasedTestDescriptor.java:209) > at >org.junit.jupiter.engine.descriptor.ClassBasedTestDescriptor.before(ClassBasedTestDescriptor.java:80) > at >org.junit.platform.engine.support.hierarchical.NodeTestTask.lambda$executeRecursively$6(NodeTestTask.java:148) > at >org.junit.platform.engine.support.hierarchical.ThrowableCollector.execute(ThrowableCollector.java:73) > at >org.junit.platform.engine.support.hierarchical.NodeTestTask.lambda$executeRecursively$8(NodeTestTask.java:141) > at >org.junit.platform.engine.support.hierarchical.Node.around(Node.java:137) > at >org.junit.platform.engine.support.hierarchical.NodeTestTask.lambda$executeRecursively$9(NodeTestTask.java:139) > at >org.junit.platform.engine.support.hierarchical.ThrowableCollector.execute(ThrowableCollector.java:73) > at >org.junit.platform.engine.support.hierarchical.NodeTestTask.executeRecursively(NodeTestTask.java:138) > at >org.junit.platform.engine.support.hierarchical.NodeTestTask.execute(NodeTestTask.java:95) > at >java.base/java.util.ArrayList.forEach(ArrayList.java:1540) > at >org.junit.platform.engine.support.hierarchical.SameThreadHierarchicalTestExecutorService.invokeAll(SameThreadHierarchicalTestExecutorService.java:41) > at
Re:Re:Re:flink本地编译卡住
Hi, Jeff. 根据你提示的部分原信息： [1].可以先尝试核对一下maven版本，这个页面中有一些关于maven构建flink的一些注意事项： https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html [2].另外可以构建命令之前尝试添加maven 的 clean, 或者删除卡顿模块生成目标jar包在本地仓库的目录位置 [3].确认下是不是mvn内存过小导致jvm卡顿, 如果是这个问题，可以适度根据机器资源更改参数配置 [4].如果还是不能确定问题，可以尝试一下 -X -e 启动 maven 的debug级别信息以获得更多构建时候的输出细节 以上，仅供参考。 祝好， Yuepeng Pan. At 2021-12-11 16:53:44, "Jeff" wrote: > > > > > > >able-runtime-blink\target\dependency-reduced-pom.xml > >[INFO] > >[INFO] --- maven-surefire-plugin:2.22.1:test (integration-tests) @ >flink-table-r > >untime-blink_2.12 --- > >[INFO] Tests are skipped. > >[INFO] > >[INFO] --- maven-install-plugin:2.5.2:install (default-install) @ >flink-table-ru > >ntime-blink_2.12 --- > >[INFO] Installing >G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe > >t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT.jar to >G:\Java\maven\repository\o > >rg\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime > >-blink_2.12-1.13-SNAPSHOT.jar > >[INFO] Installing >G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe > >t\dependency-reduced-pom.xml to >G:\Java\maven\repository\org\apache\flink\flink- > >table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime-blink_2.12-1.13-SNAPS > >HOT.pom > >[INFO] Installing >G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe > >t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to >G:\Java\maven\reposi > >tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r > >untime-blink_2.12-1.13-SNAPSHOT-tests.jar > >[INFO] Installing >G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe > >t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to >G:\Java\maven\reposi > >tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r > >untime-blink_2.12-1.13-SNAPSHOT-tests.jar > > > > >就是卡在这里，没有其它信息了。是不是它在后台编译nodejs前端代码码？ 但等了一天多也没有反应。 > > > > >在 2021-12-11 15:47:46，"Yuepeng Pan" 写道： > >图片挂掉了。 >可以外链到图床或者直接贴一下关键的原始提示信息。 > > > > > > > > > > >在 2021-12-11 16:34:41，"Jeff" 写道： > > > > >根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C >，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图： >请问有什么处理方法么？ > > > > > > > > > > > > >
Re:flink本地编译卡住
图片挂掉了。 可以外链到图床或者直接贴一下关键的原始提示信息。 在 2021-12-11 16:34:41，"Jeff" 写道： 根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C ，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图： 请问有什么处理方法么？
Re:flink本地编译卡住
图片挂掉了，可以放到图床或者附带一些原提示信息。 在 2021-12-11 11:19:51，"Jeff" 写道： 根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C ，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图： 请问有什么处理方法么？
Re:取消订阅
Hi, 退订请发送任意内容到 user-zh-unsubscr...@flink.apache.org Best, Roc 在 2021-11-08 14:42:33，"张伟明" <821596...@qq.com.INVALID> 写道： >取消订阅
Re:取消订阅
Hi, 退订请发送任意内容到 user-zh-unsubscr...@flink.apache.org Best, Roc 在 2021-11-08 13:58:37，"tanggen...@163.com" 写道： >取消订阅 > > >tanggen...@163.com
Re:idea 导入编译报错，类似代码没有提交全
Hi, weiguangjin. 图示挂掉了。请尝试上传外部图床，或者粘贴原始 hint 文本信息。 Best, Roc. 在 2021-11-08 09:45:08，"weiguangjin" 写道： 所有的maven 依赖已经下载，请教一下社区帮忙检查一下代码是否提交全
Re:flink广播流
Hi, 俊超. 如果你指的是数据流必须在接受到一个或者多个ddl数据流才能够继续解析的话，那么你可以在ddl流到达算子之前，将数据流存入liststate,当接收到ddl类型的数据流元素后，先解析或处理 liststate中的数据,而后继续处理当前与后续的来自数据流的元素。 也可以使用上述方式达到 ‘使用广播流的方式来提前加载mysql表结构的变化’ 的逻辑效果。 [1].https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/state/state_backends/ [2].https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/fault-tolerance/broadcast_state/ 祝好。 Best, Roc 在 2021-11-08 09:44:52，"程俊超" 写道： >您好，我想使用广播流的方式来提前加载mysql表结构的变化(ddl)，但是会遇到广播流没有数据流到达速度快的情况，导致问题。网上说可以使用liststate来解决这种情况，但是具体应该如何使用呢 > > >| | >程俊超 >| >| >邮箱：c_18641943...@163.com >| > >签名由 网易邮箱大师 定制
Re:flink作业的停止
Hi, lei-tian. 基于你的描述，我推测（flink-1.10+）会存在这几种可能。 1. 使用了 flink的yarn-session模式，然后进行了相应的作业提交。这种情况表现为，作业最终完成后，yarn中对应flink集群的taskmanager container能够被释放掉，但是只是保留了Jobmanager组件的容器没有释放。在 flink的yarn-session模式 的部署方式中，这是正常的。 2. 不论是在flink yarn 的per-job部署模式或者yarn-session部署模式中，如果负责hbase source/sink的 算子与其他任意一种流模式的算子进行connect或者union等多流的计算，那么将会导致hbase IO结束后，剩余的流式算子还是处于正常运行状态，这种情况下的大概表现为 yarn中 flink taskmanager container和jobmanager container 都未释放。 3.其他。 如果作业所有的souce都是读取"批模式"的数据源，比如 mysql/hbase 而非包含kafka/pulsar等，那么你可以尝试flink on yarn 的per-job的部署方式运行任务。 祝好。 Roc 在 2021-10-18 21:31:21，"lei-tian" 写道： >您好： > > 我用flink读取hbase或者文件的数据，读完数据之后页面显示状态为finished，但是这个任务在yarn上的资源还没有被释放，仍然在yarn的running列表里面，需要通过命令行kill掉这个任务，有什么解决的方法么。我没有设置batch或者streaming的模式，用的是默认的。 > > >| | >lei-tian >| >| >totorobabyf...@163.com >| >签名由网易邮箱大师定制
Re:退订
Hi, tanggen...@163.com, 你可以发送任意内容到 user-zh-unsubscr...@flink.apache.org 邮箱，并根据后续邮件提示操作取消订阅。 Best, Roc 在 2021-10-14 17:28:56，"tanggen...@163.com" 写道： >退订 > > > >tanggen...@163.com
Re:Re:回复：flinksql有计划支持mysql catalog吗？
旭晨,你好。 关于你描述的问题，当前的MySQLCatalog的实现是不支持的，如果需要此功能，则需要重写对应的方法。https://github.com/apache/flink/pull/16962 中 twalthr 老师与 jark 老师提及后续会重构这一部分。你可以在对应的JIRA或者PR上直接进行留言做进一步的讨论。 目前基于AbstractJdbcCatalog实现的XXXCatalog, 包括PostgresCatalog和正在实现的MySQLCatalog都是不支持创建和更改表的。GenericInMemoryCatalog与HiveCatalog是支持的。 祝好， Roc. 在 2021-10-13 16:42:16，"赵旭晨" 写道： >@Roc Marshal 你好： >我大致翻了下你的FLINK-15352分支上的关于mysqlcatalog的测试代码，想问一个问题： >目前的mysql实现，tabelenvironment通过jdbc驱动，去加载mysql元数据，那么，反过来，通过flink java > api或者sqlclient，执行DDL建表语句create > catalog.database.table，将元数据写入mysql，之后当我第二次要调用相关表的时候就不需要再建表了，因为mysql已经有相关元数据了，这个能支持吗？ > > > > > > > > > > > > > > > > > >在 2021-10-12 12:06:03，"Roc Marshal" 写道： >>旭晨，你好。 >>目前这个feature已经在工作中。 >>欢迎 review / 讨论/改进。 https://github.com/apache/flink/pull/16962 >> >>祝好。 >>Roc. >> >> >> >>发自 网易邮箱大师 >> >> >> >> >> 回复的原邮件 >>| 发件人 | 赵旭晨 | >>| 日期 | 2021年10月12日 10:17 | >>| 收件人 | user-zh@flink.apache.org | >>| 抄送至 | | >>| 主题 | flinksql有计划支持mysql catalog吗？ | >>目前flink的jdbccatalog只支持PG，有计划支持mysql的吗？由于公司的元数据存储统一用mysql，不太可能再引进PG，或者反过来问，flink社区到目前为止不支持mysqlcatalog的原因是什么？有什么顾虑么？
