Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

2020-04-23 文章 zhisheng
👍👍👍 oliver yunchang 于2020年4月23日周四 上午12:32写道: > 非常感谢Leonard Xu和zhisheng的回复 > > > es index 的 mapping 是否提前设置好了? > 提前设置好了,提前创建索引的mapping如下: > { > "xxx-2020.04.23": { > "mappings": { > "doc": { > "dynamic_templates": [ > { > "string_fields": { >

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

2020-04-22 文章 oliver yunchang
非常感谢Leonard Xu和zhisheng的回复 > es index 的 mapping 是否提前设置好了? 提前设置好了,提前创建索引的mapping如下: { "xxx-2020.04.23": { "mappings": { "doc": { "dynamic_templates": [ { "string_fields": { "match": "*", "match_mapping_type": "string",

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

2020-04-22 文章 zhisheng
hi, es index 的 mapping 是否提前设置好了? 我看到异常 : > failed to process cluster event (put-mapping) within 30s 像是自动建 mapping 超时了 Leonard Xu 于2020年4月22日周三 下午4:41写道: > Hi, > > 提前创建的索引的shard配置是怎么样的?集群的reallocation、relocation配置怎样的? > 可以从这方面找思路排查下看看 > > 祝好, > Leonard Xu > > > > > 在 2020年4月22日,16:10,Oliver

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

2020-04-22 文章 Leonard Xu
Hi, 提前创建的索引的shard配置是怎么样的?集群的reallocation、relocation配置怎样的? 可以从这方面找思路排查下看看 祝好, Leonard Xu > 在 2020年4月22日,16:10,Oliver 写道: > > hi, > > > 我有一个任务是使用flink将kafka数据写入ES,纯ETL过程, > 现在遇到的问题是:每天0点之后数据写入ES异常,同时监控发现kafka消息开始堆积,重启任务后,kafka消息堆积现象逐渐恢复,如果不重启则堆积问题一直存在。 > > > 想咨询下这种问题应该怎么样排查和处理? > > > f