Dear 开发者:
目前发现从kafka sink到 hbase 会丢数据,相同的sql ,如果用jdbc方式 来sink 则不会丢失数据,具体建表sql 和任务sql 如下
flink 版本 1.12
源表: 使用canal-json 接入
create table rt_ods.ods_za_log_member_base_info(
MemberId bigint COMMENT '用户ID',
NickName string COMMENT '用户昵称',
proctime as PROCTIME()
) WITH (
Dear developer:
想问下flink-sql client 啥时候支持GateWay Mode呢?
就好像Spark 有spark thrift server ,我们可以通过jdbc方式调用
我在 Apache Flink Home / Flink Improvement Proposals 这个里面看到是有 GateWay Mode
的计划的,19年7月提的,
想问下这个的具体进度,最近几个版本会有规划吗?
GateWay Mode这个模式很符合业务实际场景, 这样我们可以通过JDBC/Rest API的方式调用,提交SQL;
Hi ,
的确tableEnv.execute 和tableEnv.executeSql 这两个方法不该一起用
现在会报另一个错,去掉tableEnv.execute 方法,
代码如下:
final StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
EnvironmentSettings bsSettings =
开发者好:
目前想把flink-sql 建表的操作集成到我们自己的平台中,但是发现一个比较尴尬的现象,如果使用Table api
,应用中只有create 语句的话,那么应用执行会报错,报没有定义算子:The main method caused an error: No
operators defined in streaming topology. Cannot generate StreamGraph.
但是,这个表却创建成功了,代码如下:
final StreamExecutionEnvironment env =
Hi 开发者好:
目前有此场景:
业务已经有埋点上报的数据在kafka ,现在想使用对应的kafka数据 转换成 table, 由于这个 kafka的数据格式不是json格式,所以没法直接使用
flink-sql 的kafka-connector 用sql DDL的方式建kafka 表;
现在在尝试对kafka的数据做一次 map转换,返回 json格式,然后再基于此json格式 创建 kafka 流表
但是这种做法好像无法把表的元数据持久化,即在其他session无法读取到建的这个表;
是否有对应的方法,通过对kafka流做一定转换 ,然后再转换成 可以持久化到对应
>Best,
>Hailong Wang
>
>
>
>
>在 2020-11-04 17:20:23,"夜思流年梦" 写道:
>>开发者好:
>> 目前有此场景:算不同部门的总收入和所有部门的总收入,打算把两部分SQL union all ,但是实际情况发现 union
>> all的时候会丢一部分数据,要么是各个部门的数据少了,要么是所有部门的总收入少了
>> 如果把union all 的两段SQL 分别独立出
的场景。
>我觉得你应该这样组装 你的sql :
>```sql
>
>Insert into xxx
>Select
> d1,
> d2,
> count(1)
>From (
> Select * from a
> Union all
> Select * from b,
>)
>Group by d1, d2
>
>```
>
>发送自 Windows 10 版邮件<https://go.microso
'DWD_XXX',
'scan.startup.mode' = 'group-offsets',
'format' = 'changelog-json');
在 2020-10-30 14:53:09,"admin" <17626017...@163.com> 写道:
>Hi,
>能贴一下完整的sql吗,数据源是CDC的数据吗?
>
>> 2020年10月30日 下午2:48,夜思流年梦 写道:
>>
>> 开发者你好:
>> 现有此场景:
&
p.servers' = 'XXX',
'topic' = 'DWD_XXX',
'scan.startup.mode' = 'group-offsets',
'format' = 'changelog-json');
在 2020-10-30 14:53:09,"admin" <17626017...@163.com> 写道:
>Hi,
>能贴一下完整的sql吗,数据源是CDC的数据吗?
>
>> 2020年10月30日 下午2:48,夜思流年梦 写道:
>>
>>
开发者你好:
现有此场景:
求每个小时的收入,打算用TUMBLE函数,但是发现不支持 回撤流
select
> HOUR(TUMBLE_START(write_time,interval '1' HOUR)) as ftime
> ,sum(amt) as paymoney_h
> from
> group by TUMBLE(write_time,interval '1' HOUR);
报错:
org.apache.flink.table.api.TableException: GroupWindowAggregate doesn't support
batch + 调度更好一点呢?
>
>Best,
>Jark
>
>On Tue, 27 Oct 2020 at 16:08, 夜思流年梦 wrote:
>
>> 目前在准备搞实时数仓:碰到一个问题:
>> 比如统计一个所有员工所有的业绩的报表,这个报表需要关联1个员工维表,4个业绩相关流表;
>> 如果是正常SQL的话是这样join :
>>
>>
>> 维表 left join 流表 1
>> left join 流表 2
>> left join
目前在准备搞实时数仓:碰到一个问题:
比如统计一个所有员工所有的业绩的报表,这个报表需要关联1个员工维表,4个业绩相关流表;
如果是正常SQL的话是这样join :
维表 left join 流表 1
left join 流表 2
left join 流表 3
left join 流表 4
因为flink-sql 的temporal join 不支持 维表在左边 left join 流表,
故只能 流表在左,维表在右来join
即:select * from table a left join dim_XXX FOR SYSTEM_TIME AS OF
flink 版本1.11
目前flink-sql 好像不支持取余运算,会报错:
比如:SELECT * FROM Orders WHERE a % 2 = 0
Percent remainder '%' is not allowed under the current SQL conformance level
看了下flink 的issue ,已经有人碰到过了,说是要1.12版本修复
想问下:如果再1.11版本,flink-sql 要怎么操作才能支持 % 运算呢? 可以通过修改配置文件来实现么?比如flink-conf.yaml
现有此场景:
计算每天员工的业绩(只计算当天的)
现在我用flink-sql 的方式,insert into select current_date, count(1) ,worker from XX
where writeTime>=current_date group by worker;
把数据按天分区的方式先把数据sink到mysql
但是发现落地到mysql的数据把前几天的数据都给算进来了,如何只算今天的数据?
另外还有一个疑惑,如何既计算当天数据,又包含了本月的所有数据?
-cdc
> ...
>);
>
>select user_id, count(*) as order_num
>from (select * from users left join orders on users.user_id =
>orders.user_id)
>group by user_id;
>
>
>[1]: https://github.com/ververica/flink-cdc-connectors
>
>On Mon, 12 Oct 2020 at 15:17, caozhen wrote:
&g
是这样子的,比如要统计所有员工的今天的订单数量,如果是订单表left join 员工表的话,那么今天没有订单数量的就无法出现在结果表集合中;
把员工表放在左边left join 订单表的话那么就是所有员工的今天订单数量都会 出现
在 2020-10-12 15:17:07,"caozhen" 写道:
>
>我理解这个场景下 员工维表在右边没啥问题。
>
>join过程中需要去员工维表拿哪些字段?
>
>
>
>夜思流年梦 wrote
>> 现在有一个场景: 一个员工维表,一
现在有一个场景: 一个员工维表,一个订单表(监听mysql binlog的一个流表),想实时计算出所有员工的订单数;
目前flink-sql 支持Join Temporal Tables ,但是官方文档上是这么说的:仅支持带有处理时间的 temporal tables 的
inner 和 left join。
而这个场景必须是维表在左边,但实际情况是维表在左边无法进行left join :会报错:ClassCastException:
org.apache.calcite.rel.logical.LogicalProject cannot be cast to
17 matches
Mail list logo