Re: 关于1.12新增的initialize阶段时间较长问题

有截图吗？ 赵一旦 于2021年2月7日周日 下午3:13写道： > 这个问题现在还有个现象，我提交任务，web > UI就类似卡住状态，过一会刷新出来任务，会有4-5个initialize状态的任务，然后几秒之内陆续消失，剩下1个。 > > 目前怀疑是有什么重试机制，导致重复提交N个任务，然后可能还有什么去重机制，然后其中几个陆续自动停掉？ > > 赵一旦 于2021年1月26日周二 上午10:51写道： > > > 如上，目前发现以前很快（10-30s）内能从敲命名到running的任务。现在有时候innitialize阶段就得1-2min。不清楚啥情况。 > > >

java.lang.IllegalStateException: Mailbox is in state CLOSED, but is required to be in state OPEN for put operations

程序时常会报：java.lang.IllegalStateException: Mailbox is in state CLOSED, but is required to be in state OPEN for put operations。 请问原因是什么？以及如何避免。 zh...@greatld.com

Re: 关于1.12新增的initialize阶段时间较长问题

这个问题现在还有个现象，我提交任务，web UI就类似卡住状态，过一会刷新出来任务，会有4-5个initialize状态的任务，然后几秒之内陆续消失，剩下1个。 目前怀疑是有什么重试机制，导致重复提交N个任务，然后可能还有什么去重机制，然后其中几个陆续自动停掉？ 赵一旦 于2021年1月26日周二 上午10:51写道： > 如上，目前发现以前很快（10-30s）内能从敲命名到running的任务。现在有时候innitialize阶段就得1-2min。不清楚啥情况。 >

????flink????state

import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows; import org.apache.flink.streaming.api.windowing.time.Time; ... DataStream

flink升级hadoop3

flink 如何升级hadoop3 ?

Re:Re: pyflink1.12 to_pandas报错：java.lang.RuntimeException: Failed to fetch next result

Hi，您好，这里的 'field list' ，是指我在通过ddl定义源表中的field么？ 前提是，这些列在数据库中都是存在的 这个是已经定义了的，TS_PF_SEC_INFO.print_schema()是可以打印出来的。 但还发现一个问题，虽然可以print_schema()， 但当print打印时候，会报错其他的几个列Unknown column。 这是什么原因？还是说定义ddl的格式不正确，导致列未识别？ 代码： env.execute_sql(TP_GL_DAY_ddl) env.execute_sql(TS_PF_SEC_INFO_ddl) s

Re: flink on yarn 多TaskManager 拒绝连接问题

建议你使用telnet检查一下JM和有问题TM之间的网络连通性，Flink在这个地方没有已知的bug Best, Yang Junpb 于2021年2月5日周五 下午8:09写道： > nohup bin/flink run -m yarn-cluster \ > -c main \ > -ynm ${FLINK_NAME} \ > -ys 3 \ > -p 4 \ > -yjm 2048m \ > -ytm 2048m \ > > 在flink on yarn 的情况下，使用以上flink run 参数，确保TaskManager 为 2 > > 奇怪的是 JobManager

Re: pyflink1.12 to_pandas报错：java.lang.RuntimeException: Failed to fetch next result

Hi, 你可以看到报错信息的有这么一行 Caused by: java.sql.SQLSyntaxErrorException: Unknown column 'FULLMV' in 'field list' 说你的表没有FULLMV这个字段导致的 Best, Xingbo 肖越 <18242988...@163.com> 于2021年2月7日周日 上午10:43写道： > 补充一下代码信息 > 下面是执行的语句： > query_table = env.sql_query(sql) > query_table.print_schema() > > > @ud

PyFlink Could not read the user code wrapper:org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat

请教大佬们： 在执行pyflink过程中，报错 Could not read the user code wrapper: org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat .. Caused by: java.lang.ClassNotFoundException: org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat flink-connector-jdbc_2.11-1.11.1.jar 有添加在flink/lib下 有了解的大佬嘛、谢谢~

Re:pyflink1.12 to_pandas报错：java.lang.RuntimeException: Failed to fetch next result

补充一下代码信息 下面是执行的语句： query_table = env.sql_query(sql) query_table.print_schema() @udf(result_type=DataTypes.FLOAT(), func_type="pandas") def udf_test(i): i = i.astype('float') return i result = query_table.select(query_table.PF_ID, query_table.SYMBOL_ID, udf_t

pyflink1.12 to_pandas报错：java.lang.RuntimeException: Failed to fetch next result

在写处理脚本的时候，在to_pandas这步经常会报错：java.lang.RuntimeException: Failed to fetch next result 想寻求大佬帮助，分析一下原因 sql: 'SELECT FULLMV,B_ACTL_AMT,S_ACTL_AMT,PF_ID,SYMBOL_ID FROM TS_PF_SEC_INFO JOIN TP_GL_DAY ON BIZ_DATE = DAY_ID WHERE PF_ID = \'103016\' AND SYMBOL_ID = \'201601\' AND CCY_TYPE =

flink升级hadoop3

flink 如何升级hadoop3 ?

?????? fink on yarn per job container ????

Hi ??https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247490197&idx=1&sn=b0893a9bf12fbcae76852a156302de95 state ttlmanaged memory --  --

?????? pyflink??py4j??????????????????????????java???? ??

java >>> from pyflink.util.utils import add_jars_to_context_class_loader >>> add_jars_to_context_class_loader(['file:///root/Test2.jar']) >>> from pyflink.java_gateway import get_gateway >>> get_gateway().jvm.Test2.Test2.main(None) Traceback (most recent c