Re: flink pb转json性能问题

2020-09-23 文章 Benchao Li
Hi kandy,

关于第1个问题,目前社区有计划做一个内置的pb format[1],可能大概率赶不上1.12了,不过应该1.13差不多。

[1] https://issues.apache.org/jira/browse/FLINK-18202

kandy.wang  于2020年9月23日周三 下午4:55写道:

> 因flink目前不支持pb format,调用了,protobuf-java-util
> com.google.protobuf.utilJsonFormat.printer().preservingProtoFieldNames().print(message)
> 先再pb 转成json 再套用 JsonRowDataDeserializationSchema处理json,
> 发现处理的性能就只能达到20w左右的tps,而如果是处理json格式的数据,tps是可以达到50-60w的tps.
> 想问一下,1、flink要是处理pb格式的数据,有什么好的办法? 2
> 、社区对pb format 会支持么?
> 3、pb转json 有什么性能比较好的工具包



-- 

Best,
Benchao Li


flink pb转json性能问题

2020-09-23 文章 kandy.wang
因flink目前不支持pb format,调用了,protobuf-java-util 
com.google.protobuf.utilJsonFormat.printer().preservingProtoFieldNames().print(message)
 先再pb 转成json 再套用 JsonRowDataDeserializationSchema处理json, 
发现处理的性能就只能达到20w左右的tps,而如果是处理json格式的数据,tps是可以达到50-60w的tps.
想问一下,1、flink要是处理pb格式的数据,有什么好的办法? 2
、社区对pb format 会支持么?
3、pb转json 有什么性能比较好的工具包