Hi,
是流式作业还是批式作业无法恢复吗？从错误上看作业已经处于结束状态，你可以查看一下有没有其他错误日志，看看为什么作业失败退出了
Best,
Shammon FY
On Thu, Aug 31, 2023 at 7:47 PM denghaibin wrote:
> flink-1.16.0任务运行一段时间后，大批量任务失败。错误日志如下。麻烦大佬看下是什么问题
> java.util.concurrent.CompletionException:
> org.apache.flink.util.FlinkRuntimeExcepti
如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sql/explain/
On Sun, Aug 27, 2023 at 5:23 PM 海风 <18751805...@163.com> wrote:
> 请教下，是否可以去查询一个flink
> sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？
>
>
>
像上面提到的，目前可能直接使用CDC是一个比较好的方案，自己读数据会有很多问题，比如update数据如何读取、如何读取增量数据、如何处理failover等，还是直接使用CDC最方便
Best,
Shammon FY
On Tue, Aug 8, 2023 at 11:30 AM Jiabao Sun
wrote:
> Hi,
>
> 可以尝试使用 flink-cdc-connectors 去实时关联。
> 使用 regular join 需要保留两张表完整的状态，表数据量较大建议使用 rocksdb backend。
> 被关联的表变化不大的话可
Hi，
你代码里的ResultSet读取完成后需要将resultSet关闭掉，避免资源泄漏
至于你提到的Mysql数据读完程序就结束具体是指哪块？mysql是bounded
source，数据消费完成并且整个作业计算完成后，就会结束，这是正常情况
Best,
Shammon FY
On Mon, Aug 7, 2023 at 5:04 PM 小昌同学 wrote:
> 各位老师好
> ，我这边在本地使用通过继承RichSourceFunction类，实现从MySQL中读取数据，但是为啥程序将MySQL中的全部数据获取出来后，程序就自动停止了啊；
>
Hi,
看着像是版本冲突了，你有在你的flink session集群目录里放hbase的包吗？可以检查一下跟flink hbase
shaded的hbase版本是否一致
Best,
Shammon FY
On Sat, Aug 5, 2023 at 9:33 PM 杨东树 wrote:
> 各位好，
>目前使用sql-client查询hbase数据时，无法查询成功，麻烦指导下，谢谢。
>复现方法：
> 1、hbase操作:
> hbase(main):005:0> create 'flink_to_hbas
Hi,
一般需要确认一下是哪块引起的fullgc，比如metaspace还是堆内存过大导致的。如果是堆内存过大导致的，可以将内存dump下来，用一些分析工具例如mat、visualvm等具体查看一下哪些对象占比比较多，是否存在内存泄漏等原因
Best,
Shammon FY
On Fri, Aug 4, 2023 at 10:00 AM yidan zhao wrote:
> GC日志看GC原因
>
> 2278179732 <2278179...@qq.com.invalid> 于2023年8月3日周四 13:59写道：
> >
>
Hi,
可以通过配置`jobstore.max-capacity`和`jobstore.expiration-time`控制保存的任务数，具体参数可以参考[1]
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#full-jobmanager-options
Best,
Shammon FY
On Fri, Jul 28, 2023 at 10:17 AM 阿华田 wrote:
> 目前flink-job-history
> 已经收录5000+任务，当点击
);`或者分成两条数据插入，对底层存储可能差别不大，因为插入的数据量不会减少，具体你可以观察一下
Best,
Shammon FY
On Tue, Jul 25, 2023 at 4:02 PM 小昌同学 wrote:
> 各位老师好，我这边在使用Flink 的JdbcSink的时候，有一个疑问想请教一下各位老师：
>
> 我的代码如下:我代码中设定的每一个批次插入1000条，或者是每隔200ms插入一次数据，但是由于我司musql资源不行，从监控页面看插入的IO过高，我想请教一下我使用这样的insert语句，当我积累了1000条，是怎么样的格式
>
Hi,
跟使用普通流式作业的DataStream用法一样，只需要在RuntimeMode里使用Batch模式，Flink在Batch模式下会只输出最后的结果，而不会输出中间结果。具体可以参考Flink里的WordCount例子
[1]
[1]
https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/wordcount/WordCount.java
On Wed, Jul
Hi,
运行的是哪个例子？从错误上看是在从MiniCluster获取结果的时候，MiniCluster被关闭了
Best,
Shammon FY
On Sat, Jul 22, 2023 at 3:25 PM guanyq wrote:
> 本地IDEA运行 MiniCluster is not yet running or has already been shut down.
> 请问是什么原因，如何处理
>
>
>
>
&
Hi,
根据上面的异常栈信息，你可以检查一下是否配置了cluster id，在yarn里配置项是`yarn.application.id`
Best,
Shammon FY
On Sat, Jul 15, 2023 at 6:50 PM 杨东树 wrote:
> 您好，
>针对sql-client运行在yarn-session模式报错，现补充相关日志报错信息：
> 2023-07-15 18:43:21,503 INFO org.apache.flink.table.client.cli.
Hi,
我觉得增加到3分钟可能不是一个合适的方法，这会增加作业恢复时间。建议还是追查一下为什么上游task这么长时间没有部署启动成功比较好。
Best,
Shammon FY
On Fri, Jul 14, 2023 at 2:25 PM zhan...@eastcom-sw.com <
zhan...@eastcom-sw.com> wrote:
> hi, 上次将`taskmanager.network.request-backoff.max` 从默认的10s增加到30s后 跑了5天还是出现
> PartitionNotFoundException循环
Hi
你可以贴一下完整的异常栈信息，这可以帮助定位具体问题
Best,
Shammon FY
On Wed, Jul 12, 2023 at 10:52 AM chenyu_opensource <
chenyu_opensou...@163.com> wrote:
> 目前是用flink1.12版本，从kafka中读取数据到hdfs，前期运行正常，过段时间报错：
> Caused by: org.apache.flink.streaming.runtime.tasks.TimerException:
> org.apache.hadoop.ipc.
Hi,
邮件里的图片看不到
Best,
Shammon FY
On Sun, Jul 9, 2023 at 7:30 PM 杨东树 wrote:
> 各位好，
>目前我在使用flink1.14.5版本的sql-client on
> yarn-session模式时，发现无法正常执行sql任务，日志报如下错误，希望能得到指导，谢谢：
>背景信息：
>1、当flink配置execution.target:
> yarn-per-job时，随后进入sql-client执行sql任务，可正常执行。
&
Hi,
我们的做法是启动Flink集群后，在其他节点(pod或者独立启动)启动Sql-Gateway，通过Flink的地址远程连接Flink集群，这样Sql-Gateway的部署和Flink集群完全分开
Best,
Shammon FY
On Tue, Jul 4, 2023 at 10:52 AM chaojianok wrote:
> 大家好，请教个问题。
>
> 用native kubernetes方式在k8s集群上部署好了flink，现在需要在这个flink集群里使用flink sql
> gateway，大家有什么好的方案吗？
> 目前的
Hi,
如果要增加request
partition的重试时间，可以调整配置项`taskmanager.network.request-backoff.max`，默认是10秒，具体配置可以参阅[1]
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#full-taskmanageroptions
Best,
Shammon FY
On Tue, Jul 4, 2023 at 11:38 AM zhan...@eastcom-sw.com <
zhan...@east
Hi,
PartitionNotFoundException异常原因通常是下游task向上游task发送partition
request请求，但是上游task还没有部署成功。一般情况下，下游task会重试，超时后会报出异常。你可以查看下有没有其他的异常日志，查一下上游task为什么没有部署成功。
Best,
Shammon FY
On Tue, Jul 4, 2023 at 9:30 AM zhan...@eastcom-sw.com <
zhan...@eastcom-sw.com> wrote:
>
> 异常日志内容
>
> 2023-
/serialization/types_serialization/
Best,
Shammon FY
On Fri, Jun 30, 2023 at 10:34 AM Liu Join wrote:
> 请教下，如果用flink进行批计算，使用DataStream API有没有什么优化的地方，是否可以直接将数据作为矩阵在算子之间传递进行计算
>
Hi,
这个doris的sink是你自己实现的还是flink或者doris官方提供的？从错误来看，像是sink节点申请了超大的内存资源，你可以确认一下是否有问题，或者是否有配置项可以配置
Best,
Shammon FY
On Mon, Jun 19, 2023 at 4:19 PM 郭欣瑞 wrote:
> 我在ide里测试一个任务的时候，任务一直处于created状态，过了很久之后报了以下的错
>
> DeclarativeSlotPoolBridge.java:351 - Could not acquire the minimum
> requir
Hi,
你是怎么运行的？是不是中文的文件编码格式不对？
Best,
Shammon FY
On Thu, Jun 8, 2023 at 10:07 AM yidan zhao wrote:
> 可以描述再详细点
>
> 1 于2023年6月7日周三 19:55写道：
> >
> > 老师们好，pyflink运行官网例子 wordcount 。把单词改成中文 乱码
> >
> >
> >
> >
> >
>
退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org，可以参考
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list
On Sun, Jun 4, 2023 at 11:13 PM 张保淇 wrote:
> 退订
>
>
> 麻烦尽快帮忙处理
>
>
> Best wishes
> 张保淇
> 电话：+8618878478770
> 邮件：hzuzhangba...@163.com
Hi
可以看一下报空指针的具体异常栈，如果是你的业务代码，可以在你的处理逻辑里加上一些判断信息并打印到日志文件；如果不是你的业务代码，可以贴一下具体的异常栈信息。
On Wed, May 31, 2023 at 12:31 PM yidan zhao wrote:
> 这个得靠你自己打日志吧，在可能出NPE的地方 try catch 到，然后打印原始记录。
>
> 小昌同学 于2023年5月29日周一 18:30写道：
> >
> > 你好，数据源是kafka，使用的是stream api
> >
> >
> > | |
> > 小昌同学
> > |
> > |
> >
Hi,
好像没有收到附件或者文档，你可以检查确认一下
Best,
Shammon FY
On Wed, May 31, 2023 at 9:52 AM 小昌同学 wrote:
> 各位老师好，请教一个关于flink web ui的显示问题；
> 具体的显示异常截图的我以附件的形式放在文档中，我的疑惑是web
> ui上面已经显示watermark，但是看detail的时候显示不是watermark；
> 感谢各位老师指导
>
> 小昌同学
> ccc0606fight...@163.com
>
> <https://da
Hi,
这是窗口触发后发送的数据量过大吗？调大资源，加大窗口计算的并发度是否可以缓解这个问题？
Best,
Shammon FY
On Fri, May 26, 2023 at 2:03 PM tanjialiang wrote:
> Hi, all.
> 我在使用FlinkSQL的window tvf滑动窗口时遇到一些问题。
> 滑动步长为5分钟，窗口为24小时，group by
> user_id的滑动窗口，当任务挂掉了或者从kafka的earliest-offset消费，checkpoint很难成功。
> 因为从earliest开始消费，数据很
Hi
可以将天级时间和其他需要聚合的字段组成key，使用聚合算子，默认会每条数据完成计算后实时输出结果
Best,
Shammon FY
On Fri, May 26, 2023 at 3:44 PM casel.chen wrote:
> 用flink sql如何实现累计当天交易数量每来一笔交易都实时更新状态并输出到下游?
Hi,
你邮件里的图片无法显示，也没办法看到具体的错误信息
Best,
Shammon FY
On Thu, May 18, 2023 at 10:15 AM arkey w wrote:
> flink版本：1.14.5
> 在项目使用版本表时，准备使用版本视图，但创建后无法正常使用。后根据官网提供的示例（ Versioned Tables | Apache Flink
> <https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/concepts/vers
Hi,
从错误上看应该是你作业里某个字符串字段被作为时间戳处理，导致作业codegen失败了。你的作业逻辑比较复杂，你可以排查一下跟时间相关的字段，检查一下字段类型处理是否正确，比如eventTime字段
Best,
Shammon FY
On Mon, May 15, 2023 at 7:29 PM lxk wrote:
> 你好，从报错来看是类型不兼容导致的。
> Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column
> 103: Ca
Hi,
"如果不对于状态进行管理，后续程序会出现问题"是指状态会变得太大？如果是这样，可以在group
by的字段里增加一个天级的时间戳，这样就不会由于key被更新导致的状态过期失效问题
Best,
Shammon FY
On Fri, May 12, 2023 at 1:59 PM 小昌同学 wrote:
> 各位老师好，我这边使用的flink sql是"
> select funcId,funcIdDesc,serverIp,cast(min(maxTime-minTime) as
> varchar(
,
Shammon FY
On Wed, May 10, 2023 at 5:42 PM 莫失莫忘 wrote:
>
> 我hive的分区格式是 dt='20200520',格式是 flinkSQL 实时任务写hive 只支持 '-mm-dd
> hh:mm:ss' 格式，请问怎么指定 partition.time-extractor.timestamp-pattern 的格式为 'mmdd
> hh:mm:ss' 。flink版本是1.13
>
> https://nightlies.apache.org/flink/flink
.)
如果使用Flink SQL，可以直接使用双流Join+窗口实现
Best,
Shammon FY
On Wed, May 10, 2023 at 2:24 AM casel.chen wrote:
> 需求：业务端实现支付功能，需要通过第三方支付平台的交易数据采用Flink
> SQL来做一个实时对账，对于超过30分钟内未到达的第三方支付平台交易数据进行告警。
> 请问这个双流实时对帐场景使用Flink CEP SQL要如何实现？
>
> 网上找的例子都是基于单条流实现的，而上述场景会用到两条流，一个是PlatformPaymentStream，另一个是ThirdPartyPaymentStream。
Hi
看起来像是网络问题导致flink作业source节点连接kafka失败，可以检查一下kafka集群的网络或者flink作业source节点的网络是否有问题
Best,
Shammon FY
On Fri, May 5, 2023 at 9:41 AM Leonard Xu wrote:
> 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自
> user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1]
>
> 祝好，
&g
Hi
你使用的是flink-connector-jdbc
3.0.0-1.16版本吧？需要使用3.0.0-1.17，不过目前应该还没有release，你可以关注下
On Wednesday, April 26, 2023, 杨扬 wrote:
> 各位大佬好！
> 目前升级到了flink1.17+jdbc-3.0，经过测试依然没有实现谓词下推，想请教下这是为什么？
>
>
>
>
> > 在 2022年12月5日，下午3:05，rovo98 写道：
> >
> > 你好，请留意您使用的 flink 版本。在 flink 1.17, jdbc-3.0.0
Hi tanjialiang
`EncodingFormat`和`DecodingFormat`是PublicEvolving接口，你可以在
https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals
创建一个FLIP，然后在dev邮件组发起FLIP讨论；完成讨论后发起FLIP投票，投票通过后可以在对应的issue上提交PR
Best,
Shammon FY
On Mon, Apr 24, 2023 at 5:10 PM tanjialiang wrote:
> Hi, Jing
Hi
这是TM向JM发送消息超时了，可以了看下JM是否有错误日志，或者对应的TM和JM是否有资源打满等情况，导致akka消息超时
Best,
Shammon FY
On Sun, Apr 23, 2023 at 2:28 PM crazy <2463829...@qq.com.invalid> wrote:
> Hi, 大佬好,
>有个Flink on
> Yarn程序，Flink版本使用的是flink-1.13.5，statebackend使用的是rocksdb，任务跑一段时间，就会出现如下堆栈异常：
>
>
>
Hi
DataStream作业设置并发度有两种方式
1. 在ExecutionEnvironment通过setParallelism设置全局并发
2. 在DataStream中通过setParallelism为指定的datastream计算设置并发度
Best,
Shammon FY
On Fri, Apr 21, 2023 at 8:58 AM 小昌同学 wrote:
>
>
> 各位老师好，请教一下关于flink的并行度的问题；
> 我现在数据上游是kafka(四个分区)，经过Flink
> ETL处理后，实时落地到Kafka以及MYSQL，那我
退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org
，可以参考
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list
On Wed, Apr 19, 2023 at 9:31 AM 王国成 wrote:
> 退订
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-04-19 09:15:09，"Shammon FY" 写道：
>
如果想让mysql生成自增主键，可以在flink ddl的table里不增加主键字段，然后flink作业直接写入数据到table就可以了
On Tue, Apr 18, 2023 at 5:38 PM Jeff wrote:
> 在sink时指定字段不可以不包括自增主键的列。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-04-17 07:29:16，"Shammon FY" 写道：
> &
Hi
看着是解析数据错误，可以检查一下是不是source的schema和数据不匹配
On Tue, Apr 18, 2023 at 2:46 PM kcz <573693...@qq.com.invalid> wrote:
> 版本：1.15.2
>1.首先是采用SQL方式，将json数据输入到kafka里面（avro格式）
>2.然后采用DS api方式去接收解析kafka里面的avro数据
> --报错如下--
>
退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org
，可以参考
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list
On Fri, Apr 14, 2023 at 7:32 PM daniel sun wrote:
> 退订
> zjw 于2023年4月14日 周五下午7:17写道：
>
> >
>
Hi
目前增减列数据会导致状态无法兼容
Best,
Shammon FY
On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen
wrote:
> 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
>
> queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
Hi
对于kafka的问题，使用print或者其他方式有数据输出吗？可以通过这种方式确认一下是作业本身的数据问题还是kafka的问题
Best,
Shammon FY
On Fri, Apr 14, 2023 at 7:17 PM 小昌同学 wrote:
> 你好，请问一下上游的数据是
> SingleOutputStreamOperator outPutInfoStream =
> keyedStream.process(new KeyStreamFunc());
> 数据样式为：InPutInfo[phone='123456',workId='001
Hi
如果想使用mysql的自增主键，应该是在插入的时候不要写自增主键的列吧，可以在insert的时候直接指定需要插入的列试试？
On Sun, Apr 16, 2023 at 7:58 PM Jeff wrote:
> sink数据到mysql catalog内的表时，当表只一个自增主键id无其唯一索引时，同一批写入的数据只会保存一条，其它数据会丢失。
>
>
> mysql内表ddl:
>
> create table test (id bigint primary key auto_increment , passport
> varchar);
>
>
> flink
退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org
，可以参考[1]
[1]
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list
On Thu, Apr 13, 2023 at 9:53 PM lei-tian wrote:
> 退订
>
>
>
> | |
> totorobabyf...@163.com
> |
> |
> 邮箱：totorobabyf...@163.com
> |
像上面提到的，流式作业可以设置taskmanager.network.tcp-connection.enable-reuse-across-jobs:
false，一般作业影响不会有影响
Best,
Shammon FY
On Mon, Apr 10, 2023 at 9:27 AM zhan...@eastcom-sw.com <
zhan...@eastcom-sw.com> wrote:
> hi, 上周调整这两参数后，正常运行了近一个星期后 又重现了[PartitionNotFoundException]...
>
> taskmanager.
Hi
退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org
[1] https://flink.apache.org/community/#mailing-lists
On Thu, Apr 6, 2023 at 2:00 PM Tony wrote:
> 退订
Hi
发送任意邮件到 user-zh-unsubscr...@flink.apache.org
退订
[1]
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list
On Tue, Apr 4, 2023 at 1:20 PM 柳懿珊 wrote:
> 退订
Hi
出现PartitionNotFoundException通常是指定task的上游有subtask失败了，你可以查看一下上游subtask有没有错误日志，根据错误日志查看具体原因
Best,
Shammon FY
On Mon, Apr 3, 2023 at 10:08 AM zhan...@eastcom-sw.com <
zhan...@eastcom-sw.com> wrote:
>
> hi, 最近从1.14升级到1.16后，k
Hi
自增id可以为同一个作业的多个codegen类生成唯一类名
一般metaspace可以通过fullgc释放，你可以查看你的集群metaspace大小，是否触发了了fullgc
Best,
Shammon FY
On Wednesday, March 29, 2023, tanjialiang wrote:
> Hi all,
>我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink
> sql转JobGraph的逻辑下推到了JobManager执行），当他跑了一段时间后，Job
Hi
如果要启动hiveserver2协议的gateway，需要将jar包flink-connector-hive_${scala.binary.version}放入到gateway的lib目录
Best,
Shammon FY
On Sun, Mar 26, 2023 at 12:07 PM guanyq wrote:
> 本地启动了flink及hive在启动sql gateway时有以下异常，请问还需要其他什么操作么
> ./bin/sql-gateway.sh start-foreground
> -Dsql-gateway.endp
Hi
使用withTimestampAssigner只是定义了生成watermark消息的策略，不会影响数据流。超出指定时间的数据是否处理，可以在定义window的时候使用allowedLateness定义最晚的late
event，超出这个时间的窗口数据会直接丢弃
Best,
Shammon FY
On Sat, Mar 25, 2023 at 12:28 AM crazy <2463829...@qq.com.invalid> wrote:
> 大佬好，如下程序，flink在生成watermark策略中，forBoundedOutOfOrderness
>
了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀
> | |
> 小昌同学
> |
> |
> ccc0606fight...@163.com
> |
> 回复的原邮件
> | 发件人 | Shammon FY |
> | 发送日期 | 2023年3月24日 13:08 |
> | 收件人 | |
> | 主题 | Re: flink写入mysql数据异常 |
> Hi
> 你可以将问题描述和sql放在一个外部文档，例如google文档，
Hi
你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
Best,
Shammon FY
On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕
wrote:
> 退订
> --
> 发件人：小昌同学
> 发送时间：2023年3月24日(星期五) 10:57
> 收件人：user-zh
> 抄 送：user-zh
> 主 题：回复： flink写入m
退订请发送邮件到 user-zh-unsubscr...@flink.apache.org
On Wed, Mar 22, 2023 at 8:13 PM jianbo zhang wrote:
> 退订
>
那可能需要确认一下这些状态
1. 是否确实属于这个作业的状态
2. 这些状态是成功的checkpoint还是失败的checkpoint
3. 是否清理checkpoint出现了问题，排查下有没有相关错误日志
Best,
Shammon FY
On Wed, Mar 22, 2023 at 8:51 AM casel.chen wrote:
> 检查过了，当前`state.checkpoints.num-retained`参数值是3
>
>
> 在 2023-03-21 20:05:35，"Shammon FY" 写道：
> >
Hi
你可以在你的提交平台启动后台任务定去向k8s查询作业状态，Flink也在设计支持作业状态汇报[1]，目前正在讨论中
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-294%3A+Support+Customized+Job+Status+Listener
Best,
Shammon FY
On Wed, Mar 22, 2023 at 8:54 AM casel.chen wrote:
> Flink实时计算平台在k8s上以Application模式启动作业如何实时同步作业状态到平台？作
Hi
可以找一些go相关的内存分析工具，看下prometheus进程主要内存使用情况
Best,
Shammon FY
On Tue, Mar 21, 2023 at 10:16 AM casel.chen wrote:
>
> 线上用prometheus监控几百个flink作业，使用的是pushgateway方式，设置采样作业metrics周期是30秒，prometheus服务本身给了将近50GB内存，还是会经常发生OOM，请问有什么调优办法吗？
Hi
你可以检查一下checkpoint配置`state.checkpoints.num-retained`，是否保存的checkpoint数量太多了？
Best,
Shammon FY
On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
> 有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是aliyun
> oss。今天作业运行失败打算手动从checkpoint恢复时发现保存作业状态的checkpoint目录(share目录)无法通过浏览器打开，后来使用命令行li
Hi
具体是要监控哪些信息？不同的信息会有不同的工具和方案，比如资源使用率、failover情况、同步数据延时等
Best,
Shammon FY
On Fri, Mar 17, 2023 at 10:52 AM casel.chen wrote:
> 业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
> 实时同步链路：mysql -> kafka canal -> flink -> doris
>
>
> 欢迎大家提供思路
Hi
控制台具体是指哪块？你可以检查下其他日志是否显示正常
Best,
Shammon FY
On Wed, Mar 15, 2023 at 11:29 PM wei_yuze wrote:
> 我又试了一次，web UI有了，可能是我看漏了。我设置的任务名是XXX_Statistics。
>
>
> 但是控制台里的输出没有任务名。是log4j2级别不对吗？我在log4j2.properties里设置的输出等级为INFO
>
>
> rootLogger.level = INFO
>
>
>
>
&g
Hi
如果自定义的connector是和作业打包在一起提交的，那可以可以只重启指定作业就可以了；如果这些connector是在flink
session集群启动时加载的，一般最好重启集群，避免不同版本connector冲突
Best,
Shammon FY
On Tue, Mar 14, 2023 at 5:59 PM wdmcode wrote:
>
> hi all
> 我在yarn集群使用yarn session方式启动了一个flink集群。集群中有一些自定义的Connector。自定义的Connector
> Jar包放在本地的lib目录。
&
ache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:153)
> at
>
> org.apache.flink.formats.avro.AvroDeserializationSchema.deserialize(AvroDeserializationSchema.java:142)
> at
>
> org.apache.flink.formats.avro.AvroRowDataDeserializationSchema.deserialize(AvroRowDataDeserializationS
Hi
你可以考虑将field数据从BinaryRowData中读取出来再转换成string试试
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 4:21 PM zilong xiao wrote:
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData
> toString，BinaryRowData没有实现该方法QQAQ
>
> Benchao Li 于2021年4月9日周五 10:42写道：
>
> >
Hi
目前sql只能在create table时指定，不过有新的扩展功能，相关FLIP正在讨论中，你可以关注一下
https://cwiki.apache.org/confluence/display/FLINK/FLIP-296%3A+Extend+watermark-related+features+for+SQL
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 6:29 PM 吴先生 <15951914...@163.com> wrote:
> hi，
> 我在使用Flink-Sql 1.14版本时能否不在create
Hi
我觉得Flink
作业恢复失败时，作业本身很难确定失败是checkpoint的文件块损坏之类的原因。如果你的作业做过savepoint，可以尝试从指定的savepoint恢复作业
Best,
Shammon
On Thu, Mar 9, 2023 at 10:06 PM guanyq wrote:
> 前提
> 1.flink配置了高可用
> 2.flink配置checkpoint数为10
> 3.yarn集群配置了任务恢复
> 疑问
> yarn集群停电重启后，恢复flink任务时，如果最近的checkpoint由于停电导致块损坏，是否会尝试从其他checkpoint启动
Hi
我个人觉得可以将你现在的process计算分为两部分，你提到每隔20s触发的delta计算部分放到stream2部分，类似于这种形式
stream1.keyBy().connect(stream2.keyBy().process(处理增量，每20秒触发输出)).process(根据增量更新ListState)
这样不需要从ListState中去查找哪些数据被更新了
Best,
Shammon
On Thu, Mar 9, 2023 at 10:48 AM 陈隽尧 wrote:
> 您好，
>
>
>
Hi
像上面提到的，jobClient.get().getAccumulators()会从flink集群获取作业相关信息，如果是application模式，作业结束后flink集群也会退出。你可以通过其他方式，包括session集群运行或者启动history
server等方式，也可以通过自定义metrics等输出到其他系统
Best,
Shammon
On Tue, Mar 7, 2023 at 11:27 PM 李银苗 wrote:
> 退订
Hi
很多原因都可能会导致连接失败问题，包括机器故障、系统问题或者服务器负载，如果是怀疑负载问题你可以找几台服务器和这台有疑问的服务器组成个小集群，提交一些作业，让这台服务器负载不要太高，观察一下作业运行情况
Best,
Shammon
On Mon, Mar 6, 2023 at 8:49 PM crazy <2463829...@qq.com.invalid> wrote:
> 报错日志下面这个一样，是同一个问题么
> https://issues.apache.org/jira/browse/FLINK-19925
>
>
> 其中描述到服务器 "high cpu usage
Hi
如果没有现成的系统函数，你可以写个自定义udf来实现
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/functions/udfs/
Best,
Shammon
On Mon, Mar 6, 2023 at 7:46 PM 唐世伟 wrote:
>
> 我们需要对两个时间相减，精度为毫秒。但是无论是TIMESTAMPDIFF函数，还是先转成UNIX_TIMESTAMP，都只支持秒的精度。请问还有其他方法吗？
Hi
如果有搜集metrics，可以根据metrics查看一下是哪部分内存上涨导致container被kill掉；然后将上涨比较快的container内存dump一下，查看具体是哪些对象占用内存比较多
Best,
Shammon
On Thu, Mar 2, 2023 at 7:14 PM 吴先生 <15951914...@163.com> wrote:
> Hi，
> Flink版本：1.12
> 部署模式：on yarn per-job
> 开发方式：DataStream Api
> 状态后端：RocksDB
>
Hi
根据邮件里的异常信息看了下代码，这里的RecordArea会从managed memory申请内存分片 你可以根据作业流量尝试调整下窗口大小或者内存分配
Best,
Shammon
On Tue, Feb 28, 2023 at 6:47 PM Junrui Lee wrote:
> Hi,
>
> 图片挂掉了，能不能直接用文字描述配置文件？
>
> Best,
> Junrui
>
> 生于八十年代 <623730...@qq.com.invalid> 于2023年2月28日周二 18:31写道：
>
> > 社区的各位大佬们有个问题咨询一下大家：
> > 1.
> >
Hi
你可以贴一下错误看下具体原因
Best,
Shammon
On Fri, Feb 24, 2023 at 6:10 PM Peihui He wrote:
> Hi, all
>
> 请教大家有没有遇到这样的情况，flink 使用avro
> 消费kafka中数据，后来在schema结构中加入新的字段。在灰度过程中会混杂着新老数据，这样的flink 消费程序就会挂掉。
>
> 大家一般是怎么处理的呢
>
> Best Wishes.
>
退订请发送邮件到 user-zh-unsubscr...@flink.apache.org
Best,
Shammon
On Thu, Feb 23, 2023 at 11:03 AM 宋品如 wrote:
> 退订
Hi
目前SQL还不支持watermark对齐，目前有FLIP正在讨论中
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=240884405
Best,
Shammon
On Wed, Feb 22, 2023 at 3:15 PM haishui wrote:
> Hi, all
> 以并行度4读取kafka的topic1和topic2形成两个流，然后IntervalJoin。在kafka堆积大量数据的情况下，我分别用SQL和DataStream
> API实现了上述功能。
>
>
>
Hi
从`Caused by: org.apache.kafka.common.errors.ClusterAuthorizationException:
Cluster authorization failed.`这个错误看起来像是权限错误，可以你检查下是否有权限问题
Best,
Shammon
On Fri, Feb 17, 2023 at 6:29 PM lxk wrote:
> Flink版本：1.16
> 目前公司针对Flink版本进行升级，从Flink1.14升级到Flink1.16,代码没做任何调整，但是在写入kafka的时候报错：
> 2023-02-17
Hi
如果join计算的关联字段里没有主键，在将join结果直接写入sink表时，像上面RS提到的，需要自己再增加一次shuffle操作
Best,
Shammon
On Sun, Feb 19, 2023 at 1:43 PM RS wrote:
> Hi，
> connector里面配置的主键控制是写入存储的，有些存储在写入数据的时候，能根据主键自动更新去重
> 所以我感觉，你这里的应该是想在计算的时候shuffle（写入之前），你应该需要先执行一个 group by 主键，然后再执行insert into
>
>
> Thanks
>
>
>
> 在 2023-02-17
;>*[Sink: Committer (1/1)#0]*. This Committer. The commit method
> >>will not block the SinkWriter.write method.
> >>
> >>If the chain policy can be disabled in the custom Sink Connector,
> >>the client can be prevented from setting and disabling the chain
Hi
Do you mean how to disable `chain` in your custom sink connector? Can you
give an example of what you want?
On Wed, Feb 15, 2023 at 10:42 PM di wu <676366...@qq.com> wrote:
> Hello
>
> The current Sink operator will be split into two operations, Writer and
> Commiter. By default, they will
Hi
可以考虑将这个function打入到udf包里，在自定义的udf里直接调用？
On Wed, Feb 15, 2023 at 4:29 PM 723849736 <723849...@qq.com.invalid> wrote:
> 大家好，
>
> 我在用flink sql的时候有一个场景，就是需要对数组中的某一列做变换，类似于spark sql中的tranform函数
>
>
> https://spark.apache.org/docs/latest/api/sql/index.html#transform
>
>
> 目前flink
Hi
上面TM心跳出现unreachable，一般是TM退出了，可以看下退出原因
下面Checkpoint超时，可以看下是否出现反压等问题，也可以看checkpoint执行时间，考虑增加checkpoint超时时间
Best,
Shammon
On Thu, Feb 16, 2023 at 10:34 AM lxk wrote:
> 你好，可以dump下内存分析
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-02-16 10:05:19，"Fei Han" 写道：
> >@all
> >大家好！我的Flink
Hi
这个是无法办到的，建议还是重启
On Mon, Feb 13, 2023 at 4:33 PM Jason_H wrote:
> 遇到的问题：在flink中，使用状态的地方已经设置了ttl， 但是上下游把数据清空了，然后想重新测试发现，
> flink计算的结果不是从0开始累计的，是基于之前的结果继续累计的，这种情况在不重启作业的情况下 有什么办法处理吗？
>
>
> 具体来说就是，在不停止flink作业的情况下，怎么清楚运行中的flink作业的状态数据，以达到计算结果归0开始累计。
>
>
>
Hi
如果本地能运行，你可以检查下这个类在哪个包里，确认下k8s集群是不是有相关的包和类，是不是有其他包没有打进去
Best,
Shammon
On Thu, Jan 12, 2023 at 5:09 PM highfei2011 wrote:
> 本地测试正常。 On k8s 运行时，发生了异常。
>
>
> 在 2023年1月12日 15:39，highfei2011 写道：
>
>
> Hi, 大家好！我在使用 apache flink 的 table api 写阿里云 hologres
> 时，抛出了如下异常，与各位一起讨论下，谢谢！ Apache Flink 版本：
Hi
退订邮件组需要发送邮件到user-zh-unsubscr...@flink.apache.org 可以参考
https://flink.apache.org/community.html 这里的不同地址
On Mon, Jan 9, 2023 at 10:37 AM 中微子 wrote:
> 退订
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-01-09 10:29:18，"Yuxin Tan" 写道：
> >Hi，退订请发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org
> >
>
如果必须要10分钟，但是key比较分散，感觉这种情况可以增加资源加大一下并发试试，减少每个task发出的数据量
On Thu, Oct 20, 2022 at 9:49 AM yidan zhao wrote:
> 这个描述前后矛盾，写出速度跟不上导致反压，那控制写出速度不是问题更大。不过你不需要考虑这些，因为你控制不了写出速度，只能控制写出时机。
>
> 写出时机是由window的结束时间和watermark决定的，所以如果真要解决，需要控制分窗不要固定整点10分钟。
>
> macia kk 于2022年10月20日周四 00:57写道：
> >
> >
Hi RS
你这边能提供一下具体的冲突错误栈吗？
On Sat, Oct 8, 2022 at 8:54 AM RS wrote:
> Hi，
>
>
> 版本：flink-1.15.1
> 使用table
> store，需要在lib下放置flink-table-store-dist-0.2.0.jar，之前集群的lib下有一个flink-connector-kafka-1.15.1.jar，使用sql-client，定义kafka源表的时候，发现connector冲突了
>
>
8日周三 17:35写道：
> >>
> >> 按照flink的设计，存在上游还没部署成功，下游就开始请求 partition 的情况吗？ 此外，上游没有部署成功一般会有相关日志不？
> >>
> >> 我目前重启了集群后OK了，在等段时间，看看还会不会出现。
> >>
> >> Shammon FY 于2022年9月28日周三 15:45写道：
> >> >
> >> > Hi
> >> >
> >&
Hi
计算任务输出PartitionNotFoundException，原因是它向上游TaskManager发送partition
request请求，上游TaskManager的netty server接收到partition request后发现它请求的上游计算任务没有部署成功。
所以从这个异常错误来看netty连接是通的，你可能需要根据输出PartitionNotFoundException信息的计算任务，查一下它的上游计算任务为什么没有部署成功
On Tue, Sep 27, 2022 at 10:20 PM yidan zhao wrote:
>
>
> }
>
>
> 你可以看到，字段都是public。
>
>
> 我刚试著改成private然后添加getter, setter，但结果一样。
>
>
>
>
>
> -- 原始邮件 --
> 发件人:
> "Shammon FY"
>
Hi @frank
你没有贴你定义的Event类代码，我觉得你的Event类定义有点问题
如果需要flink识别Event的内部字段，需要将Event定义成pojo类，例如将字段都定义成public，或者可以是private，但是需要增加setXXX和getXXX函数
On Thu, Sep 22, 2022 at 5:45 PM Frank wrote:
> DataStreamSource new Event(0, "张三", 1L), new Event(0, "孙小美", 1L));
> StreamTableEnvironment
Hi @haishui
这里提到的Managed Memory用于排序、哈希表等，一般是在flink批式作业里用到，例如HashJoin。
流式计算的join算子，使用statebackend存储状态，例如rocksdb。批式计算的join算子跟流式的join算子处理不同，例如批式的HashJoinOperator算子，会创建BinaryHashTable进行分桶并建立hash表，BinaryHashTable会从Managed
Memory申请和释放内存
On Thu, Sep 22, 2022 at 2:42 PM haishui wrote:
>
>
Hi
我个人觉得简单的说flink数据传输是pull模型可能会有歧义，一般来讲大家理解的两个模型的执行流程如下
1. push模型
上下游计算任务将初始化网络连接后，上游计算任务直接通过连接不断向下游"push"数据
2. pull模型
上下游计算任务初始化网络连接后，下游计算任务根据自己的计算进度，轮询向上游发送请求“pull”数据，执行下一轮计算
在flink里，上下游交互流程主要分为几个步骤
1. 上游计算任务所在的TM创建一个Netty Server
2. 下游计算任务启动时通过Netty Client跟上游创建连接
3. 下游计算任务向上游发送一个partition
您好，我也遇到了同样的问题。
MountVolume.SetUp failed for volume "flink-config-volume" : configmap
"flink-config-flink-mm" not found
Back-off restarting failed container
查看对应namespace 下的configmap，flink-config-flink-mm已经存在。但是JobManager pod
还是一直在重试，不能提供服务。
--
Sent from:
91 matches
Mail list logo
