此外,写ORC格式文件,对于Map格式的有人知道怎么写的话给个示例吧。
如下,拿到MapColumnVector之后怎么写呢,目前非Map的简单字段都比较清晰,直接设置xxxColumnVector.vector[rowId]的值即可。但是MapColumnVector的API比较乱,没看懂怎么用。
MapColumnVector dColumnVector = (MapColumnVector) batch.cols[2];
赵一旦 于2021年1月23日周六 下午1:42写道:
> 已解决。覆盖了flink这部分源码去除了对非hdfs的schema限制。
>
> 张锴
已解决。覆盖了flink这部分源码去除了对非hdfs的schema限制。
张锴 于2021年1月21日周四 下午7:35写道:
> @赵一旦
> 另外,上次我还提了一个问题请教你,我试了你说的那个想法,但是好像有点问题,你可以看一下
>
> 张锴 于2021年1月21日周四 下午7:13写道:
>
> > 我用的flink 1.10版,FlieSink就是BucketingSink,我是用这个写hdfs的
> >
> > 赵一旦 于2021年1月21日周四 下午7:05写道:
> >
> >> @Michael Ran; 嗯嗯,没关系。
> >>
> >> @张锴
@赵一旦
另外,上次我还提了一个问题请教你,我试了你说的那个想法,但是好像有点问题,你可以看一下
张锴 于2021年1月21日周四 下午7:13写道:
> 我用的flink 1.10版,FlieSink就是BucketingSink,我是用这个写hdfs的
>
> 赵一旦 于2021年1月21日周四 下午7:05写道:
>
>> @Michael Ran; 嗯嗯,没关系。
>>
>> @张锴 你说的是flink哪个版本的connector,stream or sql。我搜了下我的没有。我是1.12,stream。
>>
>>
我用的flink 1.10版,FlieSink就是BucketingSink,我是用这个写hdfs的
赵一旦 于2021年1月21日周四 下午7:05写道:
> @Michael Ran; 嗯嗯,没关系。
>
> @张锴 你说的是flink哪个版本的connector,stream or sql。我搜了下我的没有。我是1.12,stream。
>
>
@Michael Ran; 嗯嗯,没关系。
@张锴 你说的是flink哪个版本的connector,stream or sql。我搜了下我的没有。我是1.12,stream。
目前看文档有streamFileSink,还有FileSink,从文档内容来看使用方式差不多。我计划试一下FileSink,但不清楚FileSink和StreamFileSink啥区别,是否都能写hadoop类文件系统,因为涉及是否原子写,比较分布式文件系统不支持追加和编辑等。
Michael Ran 于2021年1月21日周四 下午7:01写道:
>
>
import org.apache.flink.streaming.connectors.fs.bucketing.{BucketingSink,
DateTimeBucketer}
sink.setBucketer sink.setWriter用这种方式试试
赵一旦 于2021年1月21日周四 下午6:37写道:
> @Michael Ran
> 然后有什么解决方案吗,我这个是使用flink的streamFileSink方式写hdfs的时候出现的异常。
>
> Michael Ran 于2021年1月21日周四 下午5:23写道:
>
> > 这里应该是用了hdfs
@Michael Ran
然后有什么解决方案吗,我这个是使用flink的streamFileSink方式写hdfs的时候出现的异常。
Michael Ran 于2021年1月21日周四 下午5:23写道:
> 这里应该是用了hdfs 的特定API吧,文件系统没兼容public
> HadoopRecoverableWriter(org.apache.hadoop.fs.FileSystem fs) {...}
> 在 2021-01-21 17:18:23,"赵一旦" 写道:
> >具体报错信息如下:
> >
>