本来想从DeserializationFormat 拿到的,如果不能。后续SQL 能拿到也行
在 2021-06-17 14:41:55,"Jingsong Li" <jingsongl...@gmail.com> 写道:
>不能,除非你自己创建一个新的kafka connector。
>
>不过,
>kafka的offset、partition等信息是可以通过metadata的方式拿到的。
>
>你是需要在DeserializationFormat里面拿到offset、partition?还是说后续的SQL拿到就行了?
>
>Best,
>Jingsong
>
>On Thu, Jun 17, 2021 at 2:35 PM Michael Ran <greemqq...@163.com> wrote:
>
>> dear all :
>>         目前有个小需求,由于binlog数据不同,不方便直接使用 format="json",想自定义format进行处理。
>>         但是根据 “implements DeserializationFormatFactory,
>> SerializationFormatFactory”
>> 这样自定义format之后,只能处理binlog的原始数据,我还想拿kafka的offset、partition等信息。我看kafka原生的DynamicKafkaDeserializationSchema
>>   有方法
>>         deserialize(ConsumerRecord<byte[], byte[]> record,
>> Collector<RowData> collector) 。
>>         包装了offset 的对象:ConsumerRecord
>>  ,我也想使用这个东西,或者用自定义的format替换他这部分,能做到吗?还是要connector 进行从定义?
>>
>
>
>
>-- 
>Best, Jingsong Lee

回复