Hi
index 相关的，或许可以看下这个文档[1]
[1]
https://github.com/facebook/rocksdb/wiki/Block-Cache#caching-index-filter-and-compression-dictionary-blocks
Best,
Congxian
范瑞 <836961...@qq.com> 于2020年9月2日周三 下午2:05写道：
> 再补充一下正常 subtask 火焰图：
>
Hi
1 你的作业运行的是哪个版本
2 你作业挂掉应该是 tolerable failure threshold 超了导致的，这个可以在 checkpoint config
中进行配置，这样 checkpoint 失败后不会导致作业失败
3 如果可以的话，你可以上传一下 jm 和 tm log
Best,
Congxian
jordan95225 于2020年9月7日周一 上午11:05写道：
> Hi，
> 我现在有一个flink任务，运行一段时间后checkpoint会超时，INFO信息如下：
> checkpoint xxx of job xxx
Hi
对于 checkpoint size 持续变大的情况，可以考虑下：
1）你使用啥 backend，是否使用 incremental 模式；checkpoint interval 是多少，tps
大概多少。这些数据用于评估 rocksdb incremental 下 checkpoint size 的大小
2）看一下 hdfs 上的 checkpoint 路径占用大小是否有变化
3）像 hk__lrzy 说的那样，state 是否没有清理（这里还需要看下 window 相关的）
Best,
Congxian
hk__lrzy 于2020年9月11日周五
Hi
从错误栈看是 Wrong FS:
file:///data/emr_flink_savepoint_share/savepoint-0705a3-09a2f171a080/e2f63448-eed9-4038-a64a-e874a1a99ba1,
expected: hdfs://flink-hdfs 这个导致的，你能把 savepoint 写到 hdfs://flink-hdfs 这个集群吗？
Best,
Congxian
hk__lrzy 于2020年9月11日周五 下午2:46写道：
> 代码是不是主动设置过stagebackend的地址呢
>
>
>
> --
你好，你的图片挂了，可以把图片放到第三方图床工具然后把链接发出来。或者直接用文本描述的问题。
李杨烨 <438106...@qq.com> 于2020年9月14日周一 上午11:25写道：
>
> 根据rowTime做的滑动
--
Best,
Benchao Li
Hi，
看起来你并没有实现`retract` 方法，正常来讲，over window在处理过期数据的时候，会将过期的数据进行一次retract计算。
所以你需要正确的实现一下retract方法。
chen310 <1...@163.com> 于2020年9月14日周一 上午10:01写道：
> flink版本 1.11.1
>
> 实现了一个UDAF聚集函数，将窗口内某些字段合并成一个字符串。代码如下：
>
> public class AggDistinctDetail extends AggregateFunction AggDistinctDetail.Details>
参考zeppelin的做法，每个线程里都调用这个
https://github.com/apache/zeppelin/blob/master/flink/interpreter/src/main/java/org/apache/zeppelin/flink/FlinkSqlInterrpeter.java#L111
jun su 于2020年9月14日周一 上午11:54写道：
> hi all,
>
> 多线程模式下执行sql ， 在非聚合sql时报了如下错误：
>
> Caused by: java.lang.NullPointerException
> at
hi all,
多线程模式下执行sql ， 在非聚合sql时报了如下错误：
Caused by: java.lang.NullPointerException
at java.util.Objects.requireNonNull(Objects.java:203)
at
org.apache.calcite.rel.metadata.RelMetadataQuery.(RelMetadataQuery.java:141)
at
zeppelin 提交sql 也很方便，可以通过UI，也可以通过zeppelin sdk，
https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh
钉钉群号：32803524
二维码：
[image: flink_on_zeppelin_2.png]
xuzh 于2020年9月14日周一 上午10:01写道：
> Dear all:
> 目前有找到两个sql任务提交插件：
> https://github.com/wuchong/flink-sql-submit
>
Flink 版本：
flink:1.11.1-scala_2.12
连接器
mysql-connector-java-8.0.21
flink-sql-connector-kafka_2.12-1.11.1
flink-connector-jdbc_2.12-1.11.1
Flink SQL：
CREATE TABLE source_user_name (
loan_no int,
name varchar,
PRIMARY KEY (loan_no) NOT ENFORCED
) WITH (
'connector' = 'kafka',
rowTime
flink版本 1.11.1
实现了一个UDAF聚集函数，将窗口内某些字段合并成一个字符串。代码如下：
public class AggDistinctDetail extends AggregateFunction {
private static final Logger logger =
LoggerFactory.getLogger(AggDistinctDetail.class);
public static class Details {
public Set set;
}
@Override
public
Dear all:
??sql??
https://github.com/wuchong/flink-sql-submit
https://github.com/springMoon/sqlSubmit
从checkpoint恢复 官方还不支持 我司是修改了sql-client来支持这个需求的
引领 于2020年9月4日周五 下午6:13写道：
>
>
> 想尝试采用flink-cdc 来清洗数据，但是尝试下来，困于几点：
> ① 使用sql-client 开启checkpoint ，如果程序挂掉，该如何接着checkpoint，继续执行相应程序。尤其是在执行group
> by或者是count等操作时该如何办？
> ② 如果以上方式不行，是否可以采用写代码的形式，重启时指定checkpoint，但还是采用flink-cdc的方式去消费
> | |
> 引领
> |
> |
>
14 matches
Mail list logo
