退订

2022-03-29 Thread 董剑辉
退订

Re: RocksDB 读 cpu 100% 如何调优

2022-03-29 Thread Guo Thompson
如果rocksDB的状态很大呢?例如:200G,这种开了火焰图经常发现瓶颈也是在rocksDB的get(),这种有优化思路么? Yun Tang 于2022年3月21日周一 14:42写道: > Hi, > > RocksDB 的CPU栈能卡在100%,很有可能是大量解压缩 index/filter block导致的,可以enable partition > index/filter [1] 看看问题是否解决。 > 相关内容也可以参考我之前线下做过的分享 [2] > > > [1] > https://nightlies.apache.org/flink/flink-docs-mast

Re: elasticsearch+hbase

2022-03-29 Thread Guo Thompson
hbase和es的数据是怎么实时同步的? 潘明文 于2022年3月1日周二 19:07写道: > HI, >现在环境是CDH > 集群6台下,elasticsearch作为hbase二级索引,如何优化代码使得通过elasticsearch二级索引再查询hbase数据速度优化到0.1秒一下。谢谢。 > > > > >

Re: flink on k8s是否有替代yarn.ship-files的参数

2022-03-29 Thread shimin huang
好的 我了解下 感谢! yu'an huang 于2022年3月28日周一 22:12写道: > 你好, > > > 可以看看这个链接中关于usrlib的介绍(Application mode部分)。 > > https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-providers/standalone/docker/#docker-hub-flink-images > > Kubernetes不像yarn一样提供了ship文件的功能。对于Kubernetes applic

退订

2022-03-29 Thread 袁超
退订

Re: 实时数据入库怎样过滤中间状态,保证最终一致

2022-03-29 Thread Guo Thompson
可以参考jdbc-connector写mysql的思路,在java里面用hashMap来存,key为 order_id ,然后定时把map的数据刷mysql 18703416...@163.com <18703416...@163.com> 于2022年3月1日周二 14:40写道: > 首先确定 source 事件有 eventTime ,比如 source 的返回类型为 MySource > 示例代码如下: > static class MySource { > Long ts; > String key; > Object object; > } > en

flink on k8s场景,大家一般如何解决访问hdfs的问题呢。

2022-03-29 Thread yidan zhao
如题,是需要打包hadoop client到镜像中吗。

Re:flink on k8s场景,大家一般如何解决访问hdfs的问题呢。

2022-03-29 Thread casel.chen
我们是直接使用云存储,像阿里云的oss,没有再搭建hadoop集群。如果flink on k8s的确需要访问hadoop的话,是需要打包hadoop发行包在镜像里面的,配置好core-site.xml, hdfs-site.xml等 在 2022-03-30 12:01:54,"yidan zhao" 写道: >如题,是需要打包hadoop client到镜像中吗。