退订

2022-06-12 Thread Kaiqiang 


发自我的iPhone

Re:Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2022-03-26 Thread Kaiqiang XIE谢开强 
同样的jar包 在webui 提交可以运行成功
但是用命令行就还是不行？
















在 2022-03-26 17:01:36，"Kaiqiang XIE谢开强"  写道：

不好意思，yarn的问题搞定了。
还想再请教一下：我用scala写的程序，在idea中正常运行，打jar包后用flink run 运行。
为什么会报找不到主类入口呢？报错截图
附件是我的pom文件

















在 2022-03-26 10:37:37，"Geng Biao"  写道：
>放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。
>
>Best,
>Biao
>
>获取 Outlook for iOS<https://aka.ms/o0ukef>
>
>发件人: Kaiqiang XIE谢开强 
>发送时间: Saturday, March 26, 2022 10:33:40 AM
>收件人: user-zh@flink.apache.org 
>主题: Re:Re: The number of requested virtual cores for application master 1 
>exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
>
>
>
>
>
>yarn这是正常的吧？
>
>[cid:44f01b9d$1$17fc4121e18$Coremail$kqx0731$163.com]
>
>
>在 2022-03-26 09:22:11，"胡伟华"  写道：
>>报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常
>>
>>> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强  写道：
>>>
>>> 各位好，再请教一个问题哈
>>> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster 
>>> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The 
>>> number of requested virtual cores for application master 1 exceeds the 
>>> maximum number of virtual cores 0 available in the Yarn Cluster.
>>>
>>>
>>>
>>>
>>> 这是什么问题呢？
>
>
>
>
>

Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2022-03-26 Thread Kaiqiang XIE谢开强 
不好意思，yarn的问题搞定了。
还想再请教一下：我用scala写的程序，在idea中正常运行，打jar包后用flink run 运行。
为什么会报找不到主类入口呢？报错截图
附件是我的pom文件

















在 2022-03-26 10:37:37，"Geng Biao"  写道：
>放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。
>
>Best,
>Biao
>
>获取 Outlook for iOS<https://aka.ms/o0ukef>
>____
>发件人: Kaiqiang XIE谢开强 
>发送时间: Saturday, March 26, 2022 10:33:40 AM
>收件人: user-zh@flink.apache.org 
>主题: Re:Re: The number of requested virtual cores for application master 1 
>exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
>
>
>
>
>
>yarn这是正常的吧？
>
>[cid:44f01b9d$1$17fc4121e18$Coremail$kqx0731$163.com]
>
>
>在 2022-03-26 09:22:11，"胡伟华"  写道：
>>报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常
>>
>>> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强  写道：
>>>
>>> 各位好，再请教一个问题哈
>>> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster 
>>> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The 
>>> number of requested virtual cores for application master 1 exceeds the 
>>> maximum number of virtual cores 0 available in the Yarn Cluster.
>>>
>>>
>>>
>>>
>>> 这是什么问题呢？
>
>
>
>
>

http://maven.apache.org/POM/4.0.0;
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance;
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd;>
4.0.0

com.shopee
EntryTask
1.0-SNAPSHOT



8
8
1.13.6
2.12
3.1.0




org.apache.flink
flink-scala_${scala.binary.version}
${flink.version}
provided


org.apache.flink
flink-streaming-scala_${scala.binary.version}
${flink.version}
provided


org.apache.kafka
kafka_${scala.binary.version}
${kafka.version}
provided


org.apache.flink
flink-connector-kafka_${scala.binary.version}
${flink.version}
provided


org.apache.flink
flink-clients_${scala.binary.version}
${flink.version}
provided








net.alchim31.maven
scala-maven-plugin
4.4.0


compile-scala
compile

add-source
compile



test-compile-scala
test-compile

add-source
testCompile






org.apache.maven.plugins
maven-assembly-plugin
3.3.0



com.shopp.KafkaProducer



jar-with-dependencies




make-assembly
package

single

Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2022-03-25 Thread Kaiqiang XIE谢开强 









yarn这是正常的吧？





在 2022-03-26 09:22:11，"胡伟华"  写道：
>报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常
>
>> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强  写道：
>> 
>> 各位好，再请教一个问题哈
>> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster 
>> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The 
>> number of requested virtual cores for application master 1 exceeds the 
>> maximum number of virtual cores 0 available in the Yarn Cluster.
>> 
>> 
>> 
>> 
>> 这是什么问题呢？

The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2022-03-25 Thread Kaiqiang XIE谢开强 
各位好，再请教一个问题哈
mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster 
$FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The 
number of requested virtual cores for application master 1 exceeds the maximum 
number of virtual cores 0 available in the Yarn Cluster.




这是什么问题呢？

Re:Re: Flink本地集群监控问题

2022-03-25 Thread Kaiqiang XIE谢开强 
 @charley.xu2...@gmail.com 


发现日志中报错org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter [] - 
Failed to push metrics to PushGateway with jobName 
f0181efe9a70542d02dd5848b4f260c5, groupingKey {k1=v1, 
k2=v2}.java.net.ConnectException: unknown host但是其实我在hosts文件里已经配了的。


把conf文件改为如下 就可以了。


多谢各位大佬指导！！


在 2022-03-26 01:20:59，"Ning Xu"  写道：
>可以在 job manager log 那里先定位下 prometheus reporter configuration
>在提交任务初始化的时候是否正确注册
>
>On Fri, Mar 25, 2022 at 23:42 Kaiqiang  wrote:
>
>>
>> https://stackoverflow.com/questions/71617626/flink-standalone-get-no-metrics-to-pushgateway-for-grafana
>>
>>
>> 哪位大佬知道这是咋回事么？万分感谢
>>
>> 发自我的iPhone

Flink本地集群监控问题

2022-03-25 Thread Kaiqiang 
https://stackoverflow.com/questions/71617626/flink-standalone-get-no-metrics-to-pushgateway-for-grafana


哪位大佬知道这是咋回事么？万分感谢

发自我的iPhone