退订
jimandlice
jimandl...@163.com
退订
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
退订
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
退订
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
退订
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
好的 谢谢
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月21日 19:42，Jingsong Li 写道：
1.11还没发布，文档还在编写中
Best,
Jingsong Lee
On Thu, May 21, 2020 at 7:33 PM jimandlice wrote:
> 1.11的话 能提供一个demo么
>
>
>
>
> | |
> jimandlice
1.11的话 能提供一个demo么
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月21日 19:31，Jingsong Li 写道：
> 写入之后 还需要用脚本倒数据入hive么
- 用Datastream来写，需要
- 1.11的Table层来写，配置下就自动add partition到hive metastore了
Best,
Jingsong Lee
On Thu, May 21, 2020 at 7:11
写入之后 还需要用脚本倒数据入hive么
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月21日 15:02，Jingsong Li 写道：
看起来是因为你客户端和Server端的依赖不一致导致的问题，你检查下客户端的jars？
Best,
Jingsong Lee
On Thu, May 21, 2020 at 2:57 PM 阿华田 wrote:
> public static void main(Str
flink 写入hive 使用api 思路是怎么的呢
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月21日 10:57，阿华田 写道：
flink如何支持正则读取一个目录下的文件，比如读取文件名（时间格式命名）满足一定时间范围的文件
| |
王志华
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
??datastream
| |
jimandlice
|
|
??jimandl...@163.com
|
Signature is customized by Netease Mail Master
??2020??05??16?? 23:00??1048262223 ??
??dataset api??
----
??: "jimandlice"
使用sql api的方式
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月16日 22:51，jimandlice 写道：
大佬 你好 ！ kafka 写入hive 您这边demo么 我这边 只完成了hdfs 应该可以写到hive上去 能提供一个demo么
在 2020-05-15 19:41:59，"zhisheng" 写道：
>看看 Flink UI 上 作业 task 的 sent 和 recei
大佬 你好 ！ kafka 写入hive 您这边demo么 我这边 只完成了hdfs 应该可以写到hive上去 能提供一个demo么
在 2020-05-15 19:41:59，"zhisheng" 写道：
>看看 Flink UI 上 作业 task 的 sent 和 receive
>的数据是否还在变更一般可以知道作业是否还在进行，等不动了，则意味着你这两个表固定的数据都已经 join 完了，等 checkpoint 也
>complete 完成了即可以停掉作业。
>
>实在不放心，不知道啥时候跑完，可以晚上开始跑，第二天白天再去看看
好的 谢谢哈 我先试一试 有问题在和你说哈
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 19:41，zhisheng 写道：
看看 Flink UI 上 作业 task 的 sent 和 receive
的数据是否还在变更一般可以知道作业是否还在进行，等不动了，则意味着你这两个表固定的数据都已经 join 完了，等 checkpoint 也
complete 完成了即可以停掉作业。
实在不放心，不知道啥时候跑完，可以
是的 我想用datastrem 来做 join停的话 需要注意什么
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 19:36，zhisheng 写道：
所以现在纠结的是使用 DataStream 还是 DataSet ？
可以使用 DataStream，作业 join 完了停掉作业就行了。
小黑 于2020年5月15日周五 下午3:28写道：
>
> 先工作上有一个需求 2个数据源 一个是mys
2个不同源的历史数据同步 需要join 这个不是给开发者用的 是客户用的 客户只要选择2个数据源的2个表 join 结果保存 难道还要用sql来做么
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 15:39，shao.hongxiao 写道：
1. 搞hive映射表，直接使用spark或者hive sql
| |
邵红晓
|
|
邮箱：17611022...@163.com
|
签名由网易邮箱大师定制
在
如果要集成公司产品呢
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 15:30，shao.hongxiao 写道：
可以直接注册表，然后写sql来弄
| |
邵红晓
|
|
邮箱：17611022...@163.com
|
签名由 网易邮箱大师 定制
在2020年05月15日 13:17，jimandlice 写道：
就是要用api的方式来继承 不是直接操作sql那样来出来
大佬 也看看我的问题呀
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 15:14，shao.hongxiao 写道：
你的是batch 模式吗
| |
邵红晓
|
|
邮箱：17611022...@163.com
|
签名由 网易邮箱大师 定制
在2020年05月15日 15:05，Jeff 写道：
hi all,
最近上线一批新任务后taskmanager频繁挂掉,很可能是OOM问题，操作系统日志里没找到相
就是要用api的方式来继承 不是直接操作sql那样来出来
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 11:38，jimandlice 写道：
api 做 还是用table sql 来做 谁做比较好集成 因为都要用来join 之后数据写入 hdfs 当中 因为刚刚接手 有很多不太明白 望给予帮助 谢谢
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature
api 做 还是用table sql 来做 谁做比较好集成 因为都要用来join 之后数据写入 hdfs 当中 因为刚刚接手 有很多不太明白 望给予帮助 谢谢
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
在2020年05月15日 11:34，Benchao Li 写道：
看起来就是一个异构数据源join的需求吧。
可以直接用Flink SQL尝试一下。Flink SQL现在有batch读取Hbase、Mysql的能力，也有写入Hive的能力
先工作上有一个需求 2个数据源 一个是mysql 一个是Hbase 2者上 有很多历史数据 这2个数据源上 已经没有数据写入了 都是历史数据
现在要把这2个数据源的某两张张表 进行join 生成之后的数据 存在放在hdfs上 导入到hive上去现在就是不知道 是用datatream还是dataset
没有一个很好的 解决方案 望给与回复
| |
jimandlice
|
|
邮箱：jimandl...@163.com
|
Signature is customized by Netease Mail Master
20 matches
Mail list logo
