hi!
flink??truncate table??flink
hivetruncate table??
hi??
??sqlselect0??hive
INSERT OVERWRITE target_table SELECT * from source_table where id > 10;
1. metric指标每次都会清0的2. 数据对账的话, 可以将每次的统计数据按时间点保存起来, 然后查询时间范围的时候, 做sum求和来对账
在 2021-08-09 09:51:43，"Jimmy Zhang" 写道：
>您好，看到你们在用kafka相关metrics，我想咨询一个问题。你们是否遇见过在重启一个kafka sink
>job后，相关指标清零的情况？这样是不是就无法持续的进行数据想加？我们想做一个数据对账，查询不同时间段的输出量统计，这样可能中间归零就有问题，所以想咨询下，任何的回复都非常感谢！
>
>
>
>
>|
>Best,
>Jimmy
>|
>
>Signat
T只是时间格式显示问题, 数据格式都是timestamp(3), 这个和T应该无关的
在 2021-08-16 13:45:12，"Geoff nie" 写道：
>谢谢你！第二个问题确实是我版本太低问题，我flink版本是1.12.1。
>第一个问题，是因为我通过flink写入iceberg
>表中，然后通过presto查询iceberg表，其他字段的表都可以查询，但是当写入的是含有TIMESTAMP 类型的表时，presto查询如下报错：
>
>Query failed (#20210816_020321_00011_wa8bs) in your-presto: Cannot conv
退订
您好：Flink程序部署在Yran上以Appliation Mode 模式启动的，在没有采用HA
模式的时候可以正常启动，配置了HA之后，启动异常，麻烦帮忙看下是什么原因导致的.
HA 配置如下：
high-availability: zookeeper high-availability.storageDir:
hdfs://mycluster/flink/ha high-availability.zookeeper.quorum:
zk-1:2181,zk-2:2181,zk-3:2181 high-availability.zookeeper.path.root: /flin
你是指这个吗？
CREATE [TEMPORARY|TEMPORARY SYSTEM] FUNCTION
[IF NOT EXISTS] [catalog_name.][db_name.]function_name
AS identifier [LANGUAGE JAVA|SCALA|PYTHON]
使用SQL注册UDF
详情见：
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/create/#create-function
Ada Luna 于2021年8月16日
taskmanager.network.memory.buffers-per-channel
把这个参数从默认的2调整成5，反压的PoolUsage就和网上的文章一致了，这是为什么？
Ada Luna 于2021年8月16日周一 下午4:17写道：
>
> 在网上看文章一般反压源头的inputPoolUsage应该是高的，其他被反压算子的inputPoolUsage也应该是高的。但是我最近发现的反压inputPoolUsage全是空，是Flink的反压机制就是这样，还是说这个版本的Metrics有问题。
>
> Ada Luna 于2021年8月16日周一 下午4:16写道：
> >
在网上看文章一般反压源头的inputPoolUsage应该是高的，其他被反压算子的inputPoolUsage也应该是高的。但是我最近发现的反压inputPoolUsage全是空，是Flink的反压机制就是这样，还是说这个版本的Metrics有问题。
Ada Luna 于2021年8月16日周一 下午4:16写道：
>
> 版本1.10.1
> 最近我观察很多FlinkSQL 任务的反压指标发现，反压为High算子的outputPoolUsage是满的
> inputPoolUsage是空，反压源头inputPoolUsage和outputPoolUsage都是空的，这是正常的嘛。
版本1.10.1
最近我观察很多FlinkSQL 任务的反压指标发现，反压为High算子的outputPoolUsage是满的
inputPoolUsage是空，反压源头inputPoolUsage和outputPoolUsage都是空的，这是正常的嘛。
10 matches
Mail list logo
