Re: Re:[进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

2019-03-29 文章 qianjin Xu
感谢 博闻的回复,由于邮件中不能添加图片。这个钉钉图片显示出来是broken的。我将钉钉二维码图片转换成百度图库的链接地址了,链接如下: https://graph.baidu.com/resource/1021841c75097798b444301553925752.jpg 欢迎各位加入 Flink-Hive 官方用户钉钉群讨论和反馈问题 前进 Bowen Li 于2019年3月30日周六 下午1:14写道: > 感谢大家的回复!下一步我会整理好各位的反馈并转达给我们的团队。 > > 同时欢迎加入 Flink-Hive 官方用户钉钉群讨论和反馈问题 > [image: image.p

Re: Re:[进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

2019-03-29 文章 Bowen Li
感谢大家的回复!下一步我会整理好各位的反馈并转达给我们的团队。 同时欢迎加入 Flink-Hive 官方用户钉钉群讨论和反馈问题 [image: image.png] On Wed, Mar 20, 2019 at 8:39 AM ChangTong He wrote: > >- *各位在使用哪个版本的Hive?有计划升级Hive吗?* > > 目前我维护的两套批处理系统分别是CDH5.10.0 > > 和CDH5.13.1,均是hive-1.1.0;去年底搭了一套CDH6给开发做测试,但是目前我们调度大概有5000多个,有可能今年我们做IDC迁移的时候,顺便把集群都升到6的

Re: Re:[进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

2019-03-20 文章 ChangTong He
>- *各位在使用哪个版本的Hive?有计划升级Hive吗?* 目前我维护的两套批处理系统分别是CDH5.10.0 和CDH5.13.1,均是hive-1.1.0;去年底搭了一套CDH6给开发做测试,但是目前我们调度大概有5000多个,有可能今年我们做IDC迁移的时候,顺便把集群都升到6的话,应该会升到对应的hive-2.1.1; >- *各位计划切换Hive引擎吗?有时间点吗?当Flink具备什么功能以后你才会考虑使用Flink读写Hive?* 没有计划,由于我们平台是启用了sentry,所以不知道Flink和sentry的契合度怎么样,批处理的话大部分任务都集中在夜

Re: [进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

2019-03-20 文章 qianjin Xu
非常感谢博闻发起的关于hive的讨论,hive在离线数据仓库处理这块占了我们80%的离线处理使用。 *各位在使用哪个版本的Hive?有计划升级Hive吗?我们目前生产使用的是cdh5.12.1集成的hive1.1.0的版本。 *各位计划切换Hive引擎吗?有时间点吗?主要是追求稳定输出,版本升级需要对应一系列测试,我们暂时还不打算升级。 *各位使用Flink-Hive的动机是什么?想只是用一套Flink技术栈,批流合一,方便维护和学习。 *各位如何使用Hive?数据量有多大?读写都有,一天2T左右。 *有多少Hive UDF?都是什么类型? 主要GPS行程数据相关的与geo相关的比较多。

Re: [进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

2019-03-20 文章 qianjin Xu
非常感谢博闻发起的关于hive的讨论,hive在离线数据仓库处理这块占了我们80%的离线处理使用。 *各位在使用哪个版本的Hive?有计划升级Hive吗?我们目前生产使用的是cdh5.12.1集成的hive1.1.0的版本。 *各位计划切换Hive引擎吗?有时间点吗?主要是追求稳定输出,版本升级需要对应一系列测试,我们暂时还不打算升级。 *各位使用Flink-Hive的动机是什么?想只是用一套Flink技术栈,批流合一,方便维护和学习。 *各位如何使用Hive?数据量有多大?读写都有,一天2T左右。 *有多少Hive UDF?都是什么类型? 主要GPS行程数据相关的与geo相关的比较多。

Re:[进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

2019-03-19 文章 董鹏
1、首先对flink纳入阿里麾下表示很兴奋,针对以下问题,根据我的一些经验,抛砖引玉: hive太重要了,稳定,夜间跑任务,可以满足。 - *各位在使用哪个版本的Hive?有计划升级Hive吗?*// cdh5版本 无计划升级 - *各位计划切换Hive引擎吗?有时间点吗?当Flink具备什么功能以后你才会考虑使用Flink读写Hive?*//尝试spark引擎跑夜间任务,不稳定。对于性能,不是特别追求,稳定了,就会尝试flink on hive - *各位使用Flink-Hive的动机是什么?只维护一套数据处理系统?使用Flink获取更好的性能?*//技术迭代,当然