?????? ??????flink????????????????

[1048262223]

Hi


Broadcast[1]??open??open??




[1]https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/broadcast_state.html


Best,
Yichao Yang


--  --
??: "zjfpla...@hotmail.com"

??????flink????????????????

[1048262223]

Hi


rich functionopenbroadcast??


Best,
Yichao Yang




--  --
??: "zjfpla...@hotmail.com"

??????Flink State ?????????? state ????????????

[1048262223]

Hi


[1]


[1]https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/stream/state/schema_evolution.html#pojo-%E7%B1%BB%E5%9E%8B


Best,
Yichao Yang




--  --
??: "wangl...@geekplus.com.cn"

?????? ??????Flink State ?????????? state ????????????

[1048262223]

Hi


TypeInformation a = 
TypeInformation.of(OrderState.class);??pojopojo??


Best,
Yichao Yang





--  --
??: "wangl...@geekplus.com.cn"

??????????????????

[1048262223]

Hi


??jobmysql??

??jobmysql??job





Best,
Yichao Yang




--  --
??: "wangxiangyan"

??????Flink State ?????????? state ????????????

[1048262223]

Hi


flink??OrderStatepojo??savepoint??

Best,
Yichao Yang




--  --
??: "wangl...@geekplus.com.cn"

??????????????????

[1048262223]

Hi


??
1.olap??olap
2. t - 1 
??


Best,
Yichao Yang




--  --
??: "wangxiangyan"

??????????????????

[1048262223]

Hi



??flink


Best,
Yichao Yang




--  --
??: "wangxiangyan"

??????????????????????????????????

[1048262223]

Hi


??


Best
Yichao Yang




--  --
??: "kcz"<573693...@qq.com>;
: 2020??6??9??(??) 5:06
??: "user-zh"

?????? Flink SQL UDF ????????

[1048262223]

Hi


Map


Best,
Yichao Yang




--  --
??: "kcz"<573693...@qq.com>;
: 2020??6??9??(??) 4:49
??: "user-zh"

?????? Flink SQL UDF ????????

[1048262223]

Hi


+1??avro??json??formatpb??flink-protobuf??formats??git
https://github.com/yangyichao-mango/flink-protobuf
pb format


Best,
Yichao Yang




--  --
??: "Jark Wu"

??????Flink SQL UDF ????????

[1048262223]

Hi


pbpb??schema(descriptor)??TypeInformationenv.addSource().returns()??TypeInformation??TypeInformation??


??udfudfudf??udfudf


??


Best,
Yichao Yang




--  --
??: "forideal"

??????Flink??????????????????

[1048262223]

Hi


1.try catch??
2.??
3.??try catch + ??perf log + 


Best,
Yichao Yang




--  --
??: "Z-Z"

回复：流groupby

[1048262223]

Hi


可以不开窗口只不过结果是retract流而不是append流


Best,
Yichao Yang





发自我的iPhone


-- 原始邮件 --
发件人: allanqinjy 

?????? flink ????????????

[1048262223]

Hi


Flink 
source??sink


source(source1) -> transform -> sink(sink1)


source(sink1) -> transform -> sink(sink2)





Best,
Yichao Yang




--  --
??: "??"<201782...@qq.com>;
: 2020??6??8??(??) 5:52
??: "user-zh"

回复：关于flinksql 与维表mysql的关联问题

[1048262223]

Hi


是的。


Best,
Yichao Yang



发自我的iPhone


-- 原始邮件 --
发件人: Px New <15701181132mr@gmail.com>
发送时间: 2020年6月7日 19:03
收件人: user-zh 

?????? ????flinksql ??????mysql??????????

[1048262223]

Hi


open + broadcast??~


Best,
Yichao Yang





--  --
??: "Px New"<15701181132mr@gmail.com>;
: 2020??6??6??(??) 9:50
??: "user-zh"

回复：Flink SQL create table 关键字 table 加反引号 解析失败

[1048262223]

Hi


这个好像有同学在群里提到过，也会出现ddl关键字冲突问题，他是通过将版本升到了1.10解决的，能提供下你是用的版本吗？


Best，
Yichao Yang



发自我的iPhone


-- 原始邮件 --
发件人: macia kk 

回复： flink sql upsert模式写入mysql，es等key一定是groupby之后所有字段吗

[1048262223]

Hi


这里存在一个问题是，使用了last_value或者first_value这样的udaf，但是如果多条数据来到经过udaf处理后结果还是和之前一样的情况下，是不会产出回撤流数据的，可以观察下你是否需要考虑这种情况。


Best,
Yichao Yang




-- 原始邮件 --
发件人: "x2009438"https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/streaming/query_configuration.html#idle-state-retention-time
 
 [2] https://issues.apache.org/jira/browse/FLINK-17829 

回复：Flink SQL 子查询优化问题

[1048262223]

Hi


感谢答复，我明天使用下这种方式
社区也有同学提供了udf使用udtf代替的方法
我会尝试使用上述两种方式实现下


还有想问下之后有对这部分做优化的计划吗？


Best,
Yichao Yang





-- 原始邮件 --
发件人: godfrey he 

??????flink sql upsert????????mysql??es??key??????groupby??????????????

[1048262223]

Hi


??key
https://blog.csdn.net/lp284558195/article/details/104609739
https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/streaming/query_configuration.html#:~:text=The%20minimum%20idle%20state%20retention,kept%20before%20it%20is%20removed.


Best,
Yichao Yang




--  --
??: "xu yihan"

Flink SQL ??????????????

[1048262223]

Hi all


??
Flink ??1.10
Planner??old planner / blink planner



??Flink SQL

source??Tuple2.of(1, "{\"name\": \"a\"}");




query??select a.id, a.name, a.name from (select id, body_json_to_map(name) as 
name from data) a




sink??print




udf??body_json_to_map



public Map

??????????flinksql ??????mysql??????????

[1048262223]

Hi


jobjobsavepoint??


Best,
Yichao Yang




--  --
??: "??"<932460...@qq.com>;
: 2020??6??4??(??) 2:15
??: "user-zh"

回复：转发：flink1.10整合hbase测试遇到的问题

[1048262223]

Hi


java.lang.Thread.run(Thread.java:748) Caused by: 
java.lang.ClassNotFoundException: 
org.apache.hbase.thirdparty.com.google.common.cache.CacheLoader
根据报错看，这个guava的cacheloader应该是被shade到hbase的jar包中的，你可以查看下hbase相关的jar包有没有shade进去guava的这些类。
Best,Yichao Yang



发自我的iPhone


-- 原始邮件 --
发件人: liunaihua521 

回复： flink数据sink到mysql 是事务处理

[1048262223]

Hi
      
可以辛苦贴一下上下文吗，什么场景，mysql的sql是什么。可以先判断是什么导致了MySQL死锁，我理解如果可以对上游做主键keyby，那么下游同时只有一个算子在处理同一个主键。


Best,
Yichao Yang




-- 原始邮件 --
发件人: "Px New"<15701181132mr@gmail.com>;
发送时间: 2020年6月3日(星期三) 中午11:35
收件人: "user-zh"

??????flink 1.9 ????????????????

[1048262223]

Hi
Flink ??RetractStream 
sinkupdatekafkaupdatesink??kafka??RetractStream


Best,
Yichao Yang


--  --
??: "star"<3149768...@qq.com>;
: 2020??6??3??(??) 2:47
??: "user-zh@flink.apache.org"

??????flink sql ??????????????

[1048262223]

Hi
    group by


select floor_day_hour_5minutes(timestamp), count(1)
from source table
group by floor_day_hour_5minutes(timestamp)


sqlretract


https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/streaming/query_configuration.html


Best,
Yichao Yang


--  --
??: "steven chen"

回复： 关于使用IngressTime，window过小的问题

[1048262223]

Hi
sum的实现是aggregatefunction，每次输出只会输出当前窗口的聚合结果，结果不同可能是因为上游时间戳提取是按照ingestion提取的把1 10 
11分配到了两个窗口中1一个窗口，10和11一个窗口


Best
Yichao Yang



发自我的iPhone


-- 原始邮件 --
发件人: xue...@outlook.com https://go.microsoft.com/fwlink/?LinkId=550986>应用

发件人: xue...@outlook.com;
发送时间: 2020年6月1日 22:27
收件人: user-zh@flink.apache.org;
主题: 回复: 关于使用IngressTime，window过小的问题

如果不使用window，那么输出会按照ValueState的存量的key的ValueState聚合
输出
```
+++:2> (k1,1)
+++:1> (k3,10)
+++:2> (k1,11)
+++:8> (k2,2)
+++:2> (k1,22)
+++:8> (k2,22)
```

发送自 Windows 10 版邮件应用

发件人: xue...@outlook.com;
发送时间: 2020年6月1日 22:22
收件人: user-zh;
主题: 关于使用IngressTime，window过小的问题

Flink 1.10，windows 10 flink api验证

代码如下
```

import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.IngestionTimeExtractor;
import 
org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import 
org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;

import java.util.ArrayList;
import java.util.List;

public class KeyedStreamJob {
    public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = 
StreamExecutionEnvironment.getExecutionEnvironment();
    
env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);
//    env.setParallelism(3);

    Tuple2https://go.microsoft.com/fwlink/?LinkId=550986>应用

?????? Session Window????event time??????????

[1048262223]

Hi



1.??30s??1s
2.Congxian??
3.MaxOutOfOrderness = 
100ms??Flink




--  --
??: "Congxian Qiu"

回复：全局state

[1048262223]

hi
你的意思是说两条数据
第一条的id等于第二条的id
或者
第一条的name等于第二条的name
则映射成同一个
keyby的方式我不知道能不能满足你的需求


但我理解如果id和name不是随机的话，有映射关系的话可以尝试了解广播




-- 原始邮件 --
发件人: tison https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#define-keys-using-key-selector-functions

Best,
tison.


star <3149768...@qq.com> 于2020年5月26日周二 下午6:42写道：

> 
请问，有全局状态组件吗？我有一个需求需要对数据里的id和name做映射，也就是如果两条数据的id或者name相同则映射成一个值；现在只能使用operator
> state，并且并行度设置为1，来实现全局state
>
>
> 谢谢
>
> 发自我的iPhone

回复：flink 1.10webui不显示print内容

[1048262223]

hi
systemout是会打到标准输出的，也就对应webui里面的taskmanager的stdout输出的


如果是slog4j之类的日志工具，是在webui里面的taskmanager的log中输出的


还需要注意日志是在代码哪个地方写的
这样可以判断是在jobmanager打的还是taskmanager打的




-- 原始邮件 --
发件人: Benchao Li 

回复：flink 1.10webui不显示print内容

[1048262223]

hisystemout是会打到标准输出的，也就对应webui里面的taskmanager的stdout输出的


如果是slog4j之类的日志工具，是在webui里面的taskmanager的log中输出的


还需要注意日志是在代码哪个地方写的
这样可以判断是在jobmanager打的还是taskmanager打的

回复：Flink SQL 新手问题，RowTime field should not be null, please convert it to a non-null long value

[1048262223]

hi
根据报错，你的json中ts是个string类型，时间戳ddl是timestamp，可能是因为这个导致的？

回复：使用广播流要怎么保证广播流比数据流先到？

[1048262223]

Hello，我的理解是这样的
广播流一般都是为了减少访问外部配置数据，提高性能来使用的，因此如果你是在这种场景下使用播流，我有一个在生产实践过的方法可供参考。
可以先在正常数据处理流的open方法中初始化访问一次配置，后续配置变更时再去使用广播中的数据对配置进行更新。如果硬要求某些数据必须在某个广播流配置数据更新后才能进行处理，则可以使用大佬们在上面提供的用state存储的方式进行解决。


-- 原始邮件 --
发件人: Yun Gao 

??????????????

[1048262223]

flinkudf??hive udf??udf1??









    
 flink1.10,flinksqlhiveflink
 
     




 

回复：save point容灾方案咨询

[1048262223]

+1，如果主备都在flink内的话，可能会加倍做checkpoint的负载，个人理解直接在状态后端内部做主备集群同步效率会更高




-- 原始邮件 --
发件人: tison 

??????flink ????????join

[1048262223]

??dataset api??



--  --
??: "jimandlice"