Re: flink，50000条数据写入mysql太慢怎么办啊，除了多线程还有其他方法吗，已经是批量写入了
可以写到hive 直接sqoop导入mysql。 发自我的iPhone > 在 2019年12月7日，下午12:20，sun <1392427...@qq.com> 写道： > > hi请问： > flink5条数据写入mysql太慢怎么办啊，除了多线程还有其他方法吗，已经是批量写入了， > 每次写5条的
Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
我还是没有搞明白你的意思，你job里面已经是两个了。打开每一个都是对应的信息。因为你启动的是同一个class所以相当于是同一个任务只是消费数据不用。你可以换一个class ，不知道是不是我说的这个意思。 发自我的iPhone > 在 2019年11月18日，上午10:06，"lh...@126.com" 写道： > > 提交了两个job，分别在两个不同的application上，注意切换一下flink web dashboard的地址。 > > > > > lh...@126.com > > 发件人： Henry > 发送时间： 2019-11-18 08:59 > 收件人： user-zh > 主题： Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务 > > 谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢 > 截图： > https://img-blog.csdnimg.cn/20191118085832554.png > > > > > 在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道： > > 你的job running > 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 -ynm > YourJobName,你再观察一下。 > > > > > >> 在 2019-11-17 16:14:32，"Henry" 写道： >> >> >> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job >> 中只有最后提交的那个 >> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 >> >> >> >> >> >>> 在 2019-11-17 16:05:29，18612537...@163.com 写道： >>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >>> >>> 发自我的iPhone >>> 在 2019年11月17日，下午2:51，Henry 写道： 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 详情图片如下： https://img-blog.csdnimg.cn/20191115175027258.png > > > > > > > >
Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 发自我的iPhone > 在 2019年11月17日，下午2:51，Henry 写道： > > > 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 > xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater > 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 > 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running > 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 > 详情图片如下： > https://img-blog.csdnimg.cn/20191115175027258.png > > > > > > > > >
Re: Flink DataStream Broadcast variable
你好， https://www.jianshu.com/p/c8c99f613f10?from=singlemessage=0 希望可以帮助你 > 在 2019年10月22日，下午2:04，王佩 写道： > > 请教一下, Flink DataStream中有广播变量的概念吗。 > > 比方说，我有一个全局变量ArrayList，在JobManager端更新，然后在TaskManager中共享。可以做到吗 > > 感谢！
Re: Could not forward element to next operator
我看过这个我不是这个问题，作业没有设置水印，作业可以正常运行，最近可能是运行一天多会报这个异常
发自我的 iPhone
> 在 2019年9月29日，上午11:49，Wesley Peng 写道：
>
> Hello,
>
> May this article match your issue?
> https://blog.csdn.net/qq_41910230/article/details/90411237
>
> regards.
>
>> On Sun, Sep 29, 2019 at 10:33 AM allan <18612537...@163.com> wrote:
>>
>> Hi，
>>
>> 最近发现作业一直在报错，我的窗口是一分钟的窗口。这是什么原因，谁能帮助一下？flink版本1.6 ,错误如下：
>>
>>
>>
>> TimerException{org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException:
>> Could not forward element to next operator}
>>
>> at
>> org.apache.flink.streaming.runtime.tasks.SystemProcessingTimeService$TriggerTask.run(SystemProcessingTimeService.java:288)
>>
>> at
>> java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
>>
>> at java.util.concurrent.FutureTask.run(FutureTask.java:266)
>>
>> at
>> java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
>>
>> at
>> java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
>>
>> at
>> java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
>>
>> at
>> java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
>>
>> at java.lang.Thread.run(Thread.java:748)
>>
>> Caused by:
>> org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException:
>> Could not forward element to next operator
>>
>> at org.apache.flink.streaming.
>>
>>
>> runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:596)
>>
>> at
>> org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:554)
>>
>> at
>> org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:534)
>>
>> at
>> org.apache.flink.streaming.api.operators.AbstractStreamOperator$CountingOutput.collect(AbstractStreamOperator.java:689)
