hi
我们使用 flink.1.12 读取 ACID hive table 时报错（Reading or writing ACID table %s is
not supported），我们尝试修改源码放开这个限制也会出现后续的一些错误如（cast转换 BytesColumnVector 为
LongColumnVector 出错）。
背景：目前我们生产想采用 flink 做 ETL 等数据迁移工作，对应的hive都是hive 3.0左右的版本或者hive
json格式改debezium-json试试
--
Sent from: http://apache-flink.147419.n8.nabble.com/
可以在metrics 上报时或落地前对source两次上报间隔的numRecordsOut值进行相减，最后呈现的时候按时间段累计就可以了
--
Sent from: http://apache-flink.147419.n8.nabble.com/
是的，我们把这个信息集成到监控系统里面，其中有一项是统计随机时间的（例如最近1天，最近1周），kafka成功消费的数据量。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
步长多少？随时随刻的最近24小时？
zzzyw 于2021年5月18日周二 下午9:33写道：
> Hi 各位,
> 我需要统计出flink最近 n小时(例如24小时？) 成功从kafka中消费的数据量，有什么比较好的方案吗？
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
背景：我想试用 flink sql 的 deduplicate 处理一个带*主键*的流，我发现
1. 如果我使用 mysql-cdc 获得一个流，它会报错 Deduplicate doesn't support consuming update
and delete changes
2. 如果我使用 kafka json 获得一个流，虽然 deduplicate 不报错，但是不能设置主键，报错 The Kafka table
'...' with 'json' format doesn't support defining PRIMARY KEY constraint on
the
Hi 各位,
我需要统计出flink最近 n小时(例如24小时？) 成功从kafka中消费的数据量，有什么比较好的方案吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
那你就要看一下你数据库表的每个字段的编码格式是什么？有没有调整编码格式？我这边是可以的
在 2021-05-18 18:19:31，"casel.chen" 写道：
>我的URL连接串已经使用了 useUnicode=truecharacterEncoding=UTF-8 结果还是会有乱码
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2021-05-18 17:21:12，"王炳焱" <15307491...@163.com> 写道：
我从flink1.10升级到flink1.12时，flink1.10的SQLapi的任务无法从savePoint中进行恢复，报错如下：
2021-05-14 22:02:44,716 WARN org.apache.flink.metrics.MetricGroup
[] - The operator name Calc(select=[((CAST((log_info
get_json_object2 _UTF-16LE'eventTime')) / 1000) FROM_UNIXTIME
我的URL连接串已经使用了 useUnicode=truecharacterEncoding=UTF-8 结果还是会有乱码
在 2021-05-18 17:21:12，"王炳焱" <15307491...@163.com> 写道：
>你在flinkSQL连接mysql表的时候配置url=jdbc:mysql://127.0.0.1:3306/database?useUnicode=truecharacterEncoding=UTF-8，像这样CREATE
> TABLE jdbc_sink(id INT COMMENT '订单id',
在yarn模式下提交flink任务总是报没有这个东西是为啥啊
org.apache.flink.metrics.MetricGroup.addGroup(Ljava/lang/String;Ljava/lang/String;)Lorg/apache/flink/metrics/MetricGroup;
| |
mao18698726900
|
|
邮箱：mao18698726...@163.com
|
签名由 网易邮箱大师 定制
没什么传不传的。processWatermark中应该就会直接将2窗口都处理掉了。
曲洋 于2021年5月10日周一 上午10:31写道：
>
>
>
> 对的，就是两个窗口同时存在，（3，1，2）(6，5，4)这就是两个窗口，然后watermark（7）来了，但是我不知道这个watermark是同时触发
>
> 两个窗口都计算，还是触发第一个，因为watermark也是一种特殊的数据，我看源码也没有找到当一个operater进行processWatermark之后
> 会不会把这个watermark进一步传递给并行的同时存在的窗口，也来触发它。
>
>
>
>
>
>
>
>
>
flink mysql cdc支持mysql的json格式吗？
你在flinkSQL连接mysql表的时候配置url=jdbc:mysql://127.0.0.1:3306/database?useUnicode=truecharacterEncoding=UTF-8，像这样CREATE
TABLE jdbc_sink(id INT COMMENT '订单id',goods_name
VARCHAR(128) COMMENT '商品名称',price DECIMAL(32,2) COMMENT '商品价格',
user_name VARCHAR(64) COMMENT '用户名称') WITH (
14 matches
Mail list logo
