你好，Congxian
因为这个是在公司内网，所以没办法把日志拿出来，这个邮件好像收不了图片。我就简单描述下。
我又重新测试这个，第一种方式是setTolerableCheckpointFaliureNumber (0),
没有设置重启策略，结果是checkpoint失败多次，程序还正常运行，查看日志，后边只有触发checkpoint和checkpoint过时未完成的日志，没有报错或异常。
第二种方式是setFailOnCheckpointingErrors(true),结果和第一种方式一样。
不知道这个设置生效是有什么前提吗,还是有什么bug
Hi all：
flink standalone模式， 3节点，1master，3slave， 创建了1个job运行到一定时间，有将近5天，就会报错 Heartbeat of
TaskManager with id a2d4661d77371163f4c2bad51024df9e timed
out，然后有1个节点的taskmanager就用不了了。请问这个是什么原因？如何排查？
异常信息如下：
java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id
将来这个方法会删除，但社区目前还没有计划在哪个版本删除。在1.13 版本中，社区会引入新的 table api （FLIP-129 [1]）来替代
tEnv.connect() 方法，届时不会调用 registerTableSink.
Best,
Jark
[1]:
https://cwiki.apache.org/confluence/display/FLINK/FLIP-129%3A+Refactor+Descriptor+API+to+register+connectors+in+Table+API
On Sat, 17 Oct 2020 at 19:59, hua mulan
目前确实不支持。将来可以结合 FLIP-145 window TVF 语法来支持 [1]。
[1]:
https://cwiki.apache.org/confluence/display/FLINK/FLIP-145%3A+Support+SQL+windowing+table-valued+function
Best,
Jark
On Fri, 23 Oct 2020 at 00:35, hailongwang <18868816...@163.com> wrote:
> Hi Roc,
> 这边涉及到 order by 和 limit 一起使用时如何执行的问题。
> 1.
Hi smq
这两个东西不相互影响，理论上 checkpoint 允许失败次数这个只会导致 job fail，而重启策略则是在 job fail
的时候判断怎么继续，如果不符合预期，可以看一下 jm 的 log 或者分享一下 jm log 让大家帮忙看看
Best,
Congxian
smq <374060...@qq.com> 于2020年10月27日周二 上午11:25写道：
> 各位大佬好：
> 我现在设置容忍checkpoint失败次数是0,重启策略为固定延时重启，重启100次。
>
各位大佬好：
我现在设置容忍checkpoint失败次数是0,重启策略为固定延时重启，重启100次。
经过测试发现，checkpoint连续失败多次，程序还在运行，不知道是什么原因导致容忍checkpoint失败次数这个设置没有生效。
这个问题已经解决了，在1.11.1版本应该就已经修复了。
可以贴下具体的代码和异常栈，看下是不是还有其他问题，还是使用方式的问题。
tonychen 于2020年10月26日周一 下午6:49写道：
> 这个问题解决了吗？现在1.11.2仍然有这个问题，或者有什么临时解决方案，
> registerFunction已经不好使了，createTemporarySystemFunction 报错 No match found for
> function signature
>
>
>
> --
> Sent from:
Hi,
>>>
1.但是结果是在output的文件夹内生成8个文件，但是只有文件1有数据，这样是正常的吗？检查了一下，好像顺序没有改变，与原顺序一致，怎样设置可以将其按照原顺序保存为1个文件呢？
flink的table作业目前没法单独为每一个算子设置并发度，所以你设置并发度为8，就会输出8个文件。我觉得你这数据量不大，本质还是from_pandas的问题，你先把它换了，先用一个并发度玩就行。
>>> 2.arrow.batch.size的意思经过您的细心解答我理解了，那么增大arrow.batch.size也是可以加快处理速度吗？
其实跑pandas
Hi, 请教下
我尝试使用sql-client连接hive, hive正常, 使用beeline -u jdbc:hive2://x.x.x.x:1 可以正常连接
sql-client-defaults.yaml配置内容:
tables: []
functions: []
catalogs:
- name: myhive
type: hive
hive-conf-dir: /home/hive/flink-1.11.1/conf
default-database: default
execution:
planner: blink
type:
??from_pandas
8??400??env.set_parallelism(8)??40012
1.11的话通过配置是无法实现的。可以把这个pr[1] cherry-pick到1.11的分支上编译一下来实现1.11上使用%
[1] https://github.com/apache/flink/pull/12818
夜思流年梦 于2020年10月26日周一 下午4:16写道：
> flink 版本1.11
> 目前flink-sql 好像不支持取余运算，会报错：
> 比如：SELECT * FROM Orders WHERE a % 2 = 0
> Percent remainder '%' is not allowed under the current SQL
Hi，
1. from_pandas性能不太好的，不是用在生产上的。你可以直接用flink的csv的connector来读取你的数据呀。
2. arrow.batch.size，表示的是会把多少条数据变成一个pandas.series，然后作为你的udf的一个列传给你
Best,
Xingbo
洗你的头 <1264386...@qq.com> 于2020年10月26日周一 下午4:32写道：
> 尊敬的开发者您好，
> 我的需求是这样的，
> 拥有数据：
>
Hi s_hongliang,
目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
相关issue见：https://issues.apache.org/jira/browse/FLINK-18449
目前你可以拆成多个 Source 消费。
Best,
Hailong Wang
在 2020-10-26 13:54:40，"奔跑的小飞袁" 写道：
>with (
>'connector'='kafka',
>
Hi liaobiao,
可以使用 MOD 函数[1].
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/functions/systemFunctions.html#arithmetic-functions
Best,
HailongWang.
在 2020-10-26 15:16:16，"夜思流年梦" 写道：
>flink 版本1.11
>目前flink-sql 好像不支持取余运算，会报错：
>比如：SELECT * FROM Orders WHERE a % 2 = 0
Hi,
相同记录的不同操作 的 gwo.order_code 会相同吗。默认 group by 的并行度是最大的并行度，如果不同的话，那么会被 hash 到
不同的并发，就有可能出现你说的那个情况。
在 2020-10-26 10:34:30，"air23" 写道：
>这边源数据 就是用cdc读取mysql。cdc不会保证有序吗 ？ Forword 这个是通过什么方式保证的？ 谢谢你的回复
>在 2020-10-26 05:37:45，"hailongwang" <18868816...@163.com> 写道：
>>Hi air，
>>保证内部是 Forword
这个问题解决了吗？现在1.11.2仍然有这个问题，或者有什么临时解决方案，
registerFunction已经不好使了，createTemporarySystemFunction 报错 No match found for
function signature
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你好 主要流程 见附件
流程就是使用cdc 读取mysql。然后left join 维度表 ，最后写入到mysql
问题是测试的时候。update cdc的源表一条数据。发现结果的数据 有时候有 有时候没有，
使用connect=print 发现两条数据流。一个是delete 一个是insert，这边怀疑是乱序 导致先insert 在delete掉了，
把并行度设置为1的时候。就是正常的。如果沟通不方便 欢迎加钉钉13269166963。
在 2020-10-26 12:11:59，"史 正超" 写道：
>Hi, @air23,
看一下目录site-packages/pyflink/opt，里面是否有名为flink-python的jar
> 在 2020年10月26日，下午4:38，whh_960101 写道：
>
> Hi，各位大佬， 想请教一下，我使用flink run -m yarn-cluster -p 4 -py
> myjob.py,报错java.lang.RuntimeException: Found 0 flink-python jar.
> at
>
Hi，各位大佬， 想请教一下，我使用flink run -m yarn-cluster -p 4 -py
myjob.py,报错java.lang.RuntimeException: Found 0 flink-python jar.
at
org.apache.flink.client.program.PackagedProgram.getJobJarAndDependencies(PackagedProgram.java:263)
at
??
??
??
??137824924000??id0??id??
1.11之前TableEnvironmentImpl与StreamExecutionEnvironment的execute方法实现一致
无论用哪一个都可以
1.11修改了TableEnvironmentImpl中execute的实现逻辑
如果代码中涉及了DataStream的操作,则需要使用StreamExecutionEnvironment的execute方法
简单概述为:
StreamTableEnvironment.execute() 只能执行 sqlUpdate 和 insertInto 方法执行作业
Table 转化为 DataStream 后只能通过
flink 版本1.11
目前flink-sql 好像不支持取余运算，会报错：
比如：SELECT * FROM Orders WHERE a % 2 = 0
Percent remainder '%' is not allowed under the current SQL conformance level
看了下flink 的issue ，已经有人碰到过了，说是要1.12版本修复
想问下：如果再1.11版本，flink-sql 要怎么操作才能支持 % 运算呢？ 可以通过修改配置文件来实现么？比如flink-conf.yaml
Hi
从报错来看是无法在 "/opt/flink/savepoints" 这个路径下创建目录，这个错误下面应该应该一些异常信息，可以看下具体是啥原因。
另外，使用本地路径存储 checkpoint/savepoint 的话，那么恢复的时候，需要确保该文件能被新的 JM/TM 所访问到
Best,
Congxian
marble.zh...@coinflex.com.INVALID
于2020年10月26日周一 下午3:32写道：
> 你好，
> 我在flink jobmanager里的flink-conf.yaml添加了以加三个个关的state配置参数，
>
你好，
我在flink jobmanager里的flink-conf.yaml添加了以加三个个关的state配置参数，
state.backend: filesystem
state.checkpoints.dir: file:///opt/flink/savepoints
state.savepoints.dir: file:///opt/flink/savepoints
但在做./flink savepoint 时还是报以下的错，
Caused by: java.io.IOException: Failed to create savepoint directory at
kafka0.10.1.1??flink1.10.1
??
是的。不过不是bug。flink将webui显示多少history ckpt以及实际保留多少ckpt当作2个配置。
并且，这2配置的大小无关系。
如果webui（20），retain（10）。那么实际webui的后10个ckpt路径是不存在的，不会保留。
反之，webui（10），retain（20）。虽然部分ckpt在ui上不显示，但实际会保留。
2个参数去flink文档都能找到的哈。
cxydeve...@163.com 于2020年10月26日周一 上午11:34写道：
>
with (
'connector'='kafka',
'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
'properties.bootstrap.servers'='',
'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
'format'='avro',
现在就可以使用，刚查了一下，你可以参考下ShengKai的
The config option `topic` and `topic-pattern` specifies the topics or topic
pattern to consume for source. The config option `topic` can accept topic list
using semicolon separator like 'topic-1;topic-2'.
好的 那我尝试下通过KafkaDynamicTableFactory来实现
--
Sent from: http://apache-flink.147419.n8.nabble.com/
目前应该没有直接可以使用的方式，但是可以通过重写KafkaDynamicTableFactory来实现你要的结果，不知道社区在之后有没有考虑加上topic-separator
--
发件人：奔跑的小飞袁
发送时间：2020年10月26日(星期一) 14:23
收件人：user-zh
主 题：Re: 回复：flinksql指定kafka多topic
有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高
--
有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi，可以试试用topic-pattern
--
发件人：奔跑的小飞袁
发送时间：2020年10月26日(星期一) 14:08
收件人：user-zh
主 题：flinksql指定kafka多topic
hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs'
--
Sent from: http://apache-flink.147419.n8.nabble.com/
33 matches
Mail list logo
