?????? Flink Source??????????????????????????????????????

2019-10-22 文章 Ever 
flink??watermark??



------
??: "DD"

?????? Flink Source??????????????????????????????????????

2019-10-22 文章 Ever 
source??idle



------
??: "DD"

Flink Source间歇性无数据如何处理（问题描述见详情）

2019-10-22 文章 DD司机 

請教一個Flink的難題。

需要統計每分鐘的事件條數，
Ex:
第1分钟，产生了10个事件输出10;
第2分钟，没产生事件;
第3分钟，产近生了8个事件输出8;
第4至30分钟没产生事件;
第31分钟，产近生了11个事件输出11;

也有连续好几个小时没有事件产生的情况;

雖然有些分鐘內沒有事件產生，但期也望輸出0，這種問題怎麼處理？

望回复，多謝，敬禮!



来自钉钉专属商务邮箱

Flink DataStream ElasticsearchSink Checkpoint Error

2019-10-22 文章 王佩 
Flink 写入 Elasticsearch，Checkpoint 一直处于IN_PROGRESS 状态，从而导致数据不能写入ES。

如图:

[image: image.png]

帮忙看下！
感谢！

Re: Flink DataStream Broadcast variable

2019-10-22 文章 18612537914 
你好，

https://www.jianshu.com/p/c8c99f613f10?from=singlemessage=0
希望可以帮助你

> 在 2019年10月22日，下午2:04，王佩  写道：
> 
> 请教一下, Flink DataStream中有广播变量的概念吗。
> 
> 比方说，我有一个全局变量ArrayList，在JobManager端更新，然后在TaskManager中共享。可以做到吗
> 
> 感谢！

[metrics] metrics ?? Availability ?? Checkpointing ??????????????

2019-10-22 文章 Blake 
 PrometheusReporter  ?? report metric 
??9250   Availability ?? Checkpointing ??
??
?? scope  Job ??only available on JobManager??





??
flink-conf.yml
metrics.reporters: prom

metrics.reporter.prom.class: 
org.apache.flink.metrics.prometheus.PrometheusReporter
metrics.reporter.prom.port: 9250

metrics.system-resource: true







docker-compose.yml ??
services:
  jobmanager:
# image: flink:1.9.0
build: ./job_manager
container_name: jobmanager_1.9.0
volumes:
  - ./prometheus/:/etc/prometheus/
  - prometheus_data:/prometheus
ports:
  - "8081:8081"
  - "9250:9250"
expose:
  - "6123"
networks:
  - back-tier
  # - host-tier
command: jobmanager
environment:
  - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
# image: flink:1.9.0
build: ./task_manager
container_name: taskmanager_1.9.0
ports:
  # - "9001:9001"
  - "9251:9251"
expose:
  - "6121"
  - "6122"
networks:
  - back-tier
  # - host-tier
command: taskmanager
depends_on: 
  - jobmanager
environment: 
  - JOB_MANAGER_RPC_ADDRESS=jobmanager




Docker
FROM flink:1.9.0

COPY flink-conf.yaml ./conf/

RUN cp ./opt/flink-metrics-prometheus-1.9.0.jar ./lib/