Hi,
能检查下作业jar里 kafka client的版本和平台上的是否一致吗？
casel.chen 于2021年11月5日周五 下午11:25写道：
> 我在公司实时计算平台上提交了一个streaming api写的作业，结果抛如下异常。因为我们的实时计算平台是以flink
> sql为主的，上面已经集成了flink-kafka-connector。而我提交的作业也是需要从kafka消费，所以将相同版本的flink kafka
> connector也打进了作业jar包内。请问是什么原因造成的，需要如何修复？谢谢！
>
>
> 2021-11-05 16:38:58 -
你好，
上传的图片无法加载。 这种情况是 yarn 无法提供拉起taskmanager，检查下yarn资源是否充足？
王健 <13166339...@163.com> 于2021年10月26日周二 下午7:50写道：
> 您好：
> 我部署flink yarn的pre-job模式运行报错，麻烦看看是啥原因，非常感谢。
>
> 1.运行命令：/usr/local/flink-1.13.2/bin/flink run -t yarn-per-job -c
> com.worktrans.flink.wj.ods.FlinkCDC01
Huilin 你好，
你用的是哪个版本的Flink呢？
Huilin_WU <592900...@qq.com> 于2021年3月10日周三 上午9:39写道：
> 我在terminal中用python xx.py文件就可以执行，然而用flink run -m localhost:8081 -py
> xx.py就会报上面的错误说没有pyflink的组件。
> (base) huilin@huilin-Lenovo:~/Documents/Learning/experiment$ flink run -m
> localhost:8081 -py demo_predict.py
>
抱歉，漏了文档链接
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/kafka.html#enabling-kerberos-authentication
Shuiqiang Chen 于2021年1月30日周六 下午4:32写道：
> Hi,
> 按照这个文档， 在flink-conf.yaml里配置了security.kerberos.login.keytab 和
> security.kerberos.login.principal这两个属性了
Hi,
按照这个文档， 在flink-conf.yaml里配置了security.kerberos.login.keytab 和
security.kerberos.login.principal这两个属性了吗？
还有就是jaas.conf文件在各个task manager所在的机器都能访问到吗？
瞿叶奇 <389243...@qq.com> 于2021年1月30日周六 下午4:15写道：
> 老师，您好，
> 1）报错信息在附件内，flink-root-python-node-master1aSdM.log文件。报错信息如下：
> Caused by:
你好，
可以看下source task所在task manager 的日志里看看 consumer 有没有成功获取到kafka
partition相关meta信息和认证相关是否成功的信息。
瞿叶奇 <389243...@qq.com> 于2021年1月30日周六 下午3:14写道：
> 老师，你好，消费是没有任何问题，可以正常消费。
>
>
>
>
> -- 原始邮件 --
> *发件人:* "user-zh" ;
> *发送时间:* 2021年1月30日(星期六) 下午3:08
> *收件人:* "user-zh";
>
Hi，
为了保证 Flink 程序的 exactly-once，必须由各个 Kafka source 算子维护当前算子所消费的 partition 消费
offset 信息，并在每次checkpoint 时将这些信息写入到 state 中， 在从 checkpoint 恢复中从上次 commit
的位点开始消费，保证 exactly-once. 如果用 Kafka 消费组管理，那么 FlinkKafkaConsumer 内各个并发实例所分配的
partition 将由 Kafka 的消费组管理，且 offset 也由 Kafka 消费组管理者记录，Flink 无法维护这些信息。
Hi op,
在 Flink 消费 Kafka 的过程中， 由 FlinkKafkaConsumer 会从 Kafka 中拿到当前 topic 的所有 partition
信息并分配给个并发消费，这里的 group id 只是用于将当前 partition 的消费 offset commit 到
Kafka，并用这个消费组标识。而使用 KafkaConsumer 消费数据则应用到了 Kafka 的消费组管理, 这是 Kafka 服务端的一个角色。
另外，当启动两个作业用同一个 topic 和 group id 消费 kafka， 如果两个作业会分别以同一个 group id
Hi jincheng,
Thanks for the discussion. +1 for the FLIP.
A well-organized documentation will greatly improve the efficiency and
experience for developers.
Best,
Shuiqiang
Hequn Cheng 于2020年8月1日周六 上午8:42写道：
> Hi Jincheng,
>
> Thanks a lot for raising the discussion. +1 for the FLIP.
>
> I
Hi，
可以尝试在jm的log里看看是在申请哪个资源的时候超时了, 对比下所申请的资源规格和集群可用资源
Best，
Shuiqiang
酷酷的浑蛋 于2020年7月21日周二 下午4:37写道：
>
>
> 服了啊，这个flink1.11启动怎么净是问题啊
>
>
> 我1.7，1.8，1.9 都没有问题，到11就不行
> ./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm 1024 -yjm
> 1024 -ynm sql_test ./examples/batch/WordCount.jar
看看异常信息， 是不是你的insert mode没配置对。
BTW, 你粘贴的文本带有很多""， 有点影响可读性。
Best，
Shuiqiang
奇怪的不朽琴师 <1129656...@qq.com> 于2020年7月20日周一 下午4:23写道：
> HI ：
> 我现在有一个新的问题，我在此基础上加了一个关联，再写入kafka时报错，如下
> Traceback (most recent call last):
> File
> "/usr/local/lib/python3.7/site-packages/pyflink/util/exceptions.py",
下面这个例子从kafka读取json格式的数据， 然后做窗口聚合后写入es， 可以参考下代码结构， 修改相应数据字段。 这份代码你本地应该是不能运行的
from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic
from pyflink.table import StreamTableEnvironment, DataTypes, EnvironmentSettings
from pyflink.table.udf import udf
举个sql例子
select platformcodetoname(payPlatform) as platform, sum(payAmount) as
pay_amount, cast(tumble_start(rt, interval '5' seconds) as BIGINT) as
rowtime
from payment_msg group by tumble(rt, interval '5' seconds), payPlatform
这个query 对每5s的tumble窗口做统计。
奇怪的不朽琴师 <1129656...@qq.com> 于2020年7月15日周三
琴师你好，
异常栈信息org.apache.flink.table.api.ValidationException: A tumble window
expects a size value literal.
看起来是接下tumble window定义的代码不太正确吧
Best,
Shuiqiang
奇怪的不朽琴师 <1129656...@qq.com> 于2020年7月15日周三 上午10:27写道：
> 你好：
>
> 我按着你回复的建议改了source但是会报新的错误，请问这个是因为什么？我想调试一个window一直没有成功，请帮帮我，谢谢。
> Traceback
Hi，
看样子是kafka table source没有成功创建，也许你需要将
org.apache.flink
flink-sql-connector-kafka_2.11
${flink.version}
这个jar 放到 FLINK_HOME/lib 目录下
Congxian Qiu 于2020年7月10日周五 上午10:57写道：
> Hi
>
> 从异常看，可能是某个包没有引入导致的，和这个[1]比较像，可能你需要对比一下需要的是哪个包没有引入。
>
> PS 从栈那里看到是 csv
琴师你好，
你的source ddl里有指定time1为 time attribute吗？
create table source1(
id int,
time1 timestamp,
type string,
WATERMARK FOR time1 as time1 - INTERVAL '2' SECOND
) with (...)
奇怪的不朽琴师 <1129656...@qq.com> 于2020年7月10日周五 上午8:43写道：
>
16 matches
Mail list logo
