感谢 博闻的回复,由于邮件中不能添加图片。这个钉钉图片显示出来是broken的。我将钉钉二维码图片转换成百度图库的链接地址了,链接如下:
https://graph.baidu.com/resource/1021841c75097798b444301553925752.jpg
欢迎各位加入 Flink-Hive 官方用户钉钉群讨论和反馈问题
前进
Bowen Li 于2019年3月30日周六 下午1:14写道:
> 感谢大家的回复!下一步我会整理好各位的反馈并转达给我们的团队。
>
> 同时欢迎加入 Flink-Hive 官方用户钉钉群讨论和反馈问题
> [image: image.p
感谢大家的回复!下一步我会整理好各位的反馈并转达给我们的团队。
同时欢迎加入 Flink-Hive 官方用户钉钉群讨论和反馈问题
[image: image.png]
On Wed, Mar 20, 2019 at 8:39 AM ChangTong He wrote:
> >- *各位在使用哪个版本的Hive?有计划升级Hive吗?*
>
> 目前我维护的两套批处理系统分别是CDH5.10.0
>
> 和CDH5.13.1,均是hive-1.1.0;去年底搭了一套CDH6给开发做测试,但是目前我们调度大概有5000多个,有可能今年我们做IDC迁移的时候,顺便把集群都升到6的
>- *各位在使用哪个版本的Hive?有计划升级Hive吗?*
目前我维护的两套批处理系统分别是CDH5.10.0
和CDH5.13.1,均是hive-1.1.0;去年底搭了一套CDH6给开发做测试,但是目前我们调度大概有5000多个,有可能今年我们做IDC迁移的时候,顺便把集群都升到6的话,应该会升到对应的hive-2.1.1;
>- *各位计划切换Hive引擎吗?有时间点吗?当Flink具备什么功能以后你才会考虑使用Flink读写Hive?*
没有计划,由于我们平台是启用了sentry,所以不知道Flink和sentry的契合度怎么样,批处理的话大部分任务都集中在夜
非常感谢博闻发起的关于hive的讨论,hive在离线数据仓库处理这块占了我们80%的离线处理使用。
*各位在使用哪个版本的Hive?有计划升级Hive吗?我们目前生产使用的是cdh5.12.1集成的hive1.1.0的版本。
*各位计划切换Hive引擎吗?有时间点吗?主要是追求稳定输出,版本升级需要对应一系列测试,我们暂时还不打算升级。
*各位使用Flink-Hive的动机是什么?想只是用一套Flink技术栈,批流合一,方便维护和学习。
*各位如何使用Hive?数据量有多大?读写都有,一天2T左右。
*有多少Hive UDF?都是什么类型? 主要GPS行程数据相关的与geo相关的比较多。
非常感谢博闻发起的关于hive的讨论,hive在离线数据仓库处理这块占了我们80%的离线处理使用。
*各位在使用哪个版本的Hive?有计划升级Hive吗?我们目前生产使用的是cdh5.12.1集成的hive1.1.0的版本。
*各位计划切换Hive引擎吗?有时间点吗?主要是追求稳定输出,版本升级需要对应一系列测试,我们暂时还不打算升级。
*各位使用Flink-Hive的动机是什么?想只是用一套Flink技术栈,批流合一,方便维护和学习。
*各位如何使用Hive?数据量有多大?读写都有,一天2T左右。
*有多少Hive UDF?都是什么类型? 主要GPS行程数据相关的与geo相关的比较多。
1、首先对flink纳入阿里麾下表示很兴奋,针对以下问题,根据我的一些经验,抛砖引玉:
hive太重要了,稳定,夜间跑任务,可以满足。
- *各位在使用哪个版本的Hive?有计划升级Hive吗?*// cdh5版本 无计划升级
-
*各位计划切换Hive引擎吗?有时间点吗?当Flink具备什么功能以后你才会考虑使用Flink读写Hive?*//尝试spark引擎跑夜间任务,不稳定。对于性能,不是特别追求,稳定了,就会尝试flink
on hive
-
*各位使用Flink-Hive的动机是什么?只维护一套数据处理系统?使用Flink获取更好的性能?*//技术迭代,当然