一点小小的建议哈,
目前flink社区讨论主要还是java/scala为主,
如果执意使用pyflink的话,后续极有可能会遇到较大的阻力.
在 2021-01-31 14:26:55,"瞿叶奇" <389243...@qq.com> 写道:
>您好,我是国网陕西采集系统开发人员,我们在架构改造中,准备使用pyflink
>解决实时Kafka数据写HDFS的问题,我的Kafka集群存在kerberos安全认证,导致我现在还没连接上,能不能给一个样例呢?
你加下我微信appleyuchi吧
我帮你整理下这个问题
在 2021-01-30 17:53:00,"瞿叶奇" <389243...@qq.com> 写道:
老师,
您好!我在使用pyflink对接kafka时收到的错误信息如下:
我的flink-conf.yaml已经配置了应有的信息,且我的kerberos 账户是有效的
我的jaas.conf文件如下:
请问我该如何解决呢?目前卡在这里没有任何进展。
那是因为不存在这个jar
查看下这些jar的版本
在 2021-01-30 16:38:54,"徐州州" <25977...@qq.com> 写道:
>最近一直在编译最新版的flink总是遇到几个jar通过maven下载不到,求一份setting.xml文件。
先看下kafka能否通过命令行消费数据.
命令行检查确保能消费,再使用Flink.
在 2021-01-30 14:25:57,"瞿叶奇" <389243...@qq.com> 写道:
老师,您好,我想通过Flink消费kafka写本地csv文件,目前遇到的问题是Flink、Kafka都是kerberos认证的集群,而且我是用的是pyflink,现在程序能执行,不报错,但是不消费数据,csv文件没有结果,但是文件日期修改日期一直在更新。怀疑对接kafka
存在问题,希望老师能够给解决疑惑。
1)Kafka生产数据:
2)pyflink 程序
该问题已经解决,请忽略,谢谢
在 2021-01-28 11:42:08,"Appleyuchi" 写道:
>大佬们好!
>
>
>我在学习以下over window案例
>https://help.aliyun.com/document_detail/62514.html
>
>
>我的flink sql client完整操作如下
>https://yuchi.blog.csdn.net/article/details/113128072
>
>
>问题:
>输入8条数据,
>返回7条数据,
>请问为何丢数据?
>
>
>求助,谢谢!
大佬们好!
我在学习以下over window案例
https://help.aliyun.com/document_detail/62514.html
我的flink sql client完整操作如下
https://yuchi.blog.csdn.net/article/details/113128072
问题:
输入8条数据,
返回7条数据,
请问为何丢数据?
求助,谢谢!
https://blog.csdn.net/appleyuchi/article/details/112837327
在 2021-01-27 15:25:41,"阿华田" 写道:
>各位大佬,Flink-sql-gateway 提交flink sql任务 ,如何使用flink自定义的udf
>
>
>| |
>阿华田
>|
>|
>a15733178...@163.com
>|
>签名由网易邮箱大师定制
>
我进行了如下操作:
https://yuchi.blog.csdn.net/article/details/112837327
然后报错:
java.lang.IllegalStateException: Process died with exit code 0
请问应该如何解决?
谢谢您~!
我在驗證
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/tableApi.html
中的
"Distinct aggregation on over window"(請在上述鏈接內,Ctrl+f搜索該雙引號內的整個字符串)
測試代碼:
distinctaggregation3.java
https://paste.ubuntu.com/p/7HJ9W3hVVN/
測試用的POJO:
OrderStream.java
大佬们好
我的环境是:
| 组件 | 版本 |
|
Flink
|
1.12
|
|
Kafka
|
2.5.0
|
|
Zookeeper
|
3.6.0
|
完整代码是
https://paste.ubuntu.com/p/pRWpvJw4b8/
kafka消费端(使用命令行消费)确认有数据输出。
但是上述代码没有输出,DDL检查过确认无误。
因为听说executeSql会提交任务,所以把最后一句execute给注销了。
求问应该如何修改代码才能让代码有输出?
谢谢
代码是:
https://paste.ubuntu.com/p/GTgGhhcjyZ/
文档是:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html#group-windows
中的
Over Window Aggregation
代码bug free
但是无法输出,求助,谢谢
From Document:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html
的Distinct aggregation on over window
Code:
https://paste.ubuntu.com/p/q97Rg4zDHS/
Error:
Exception in thread "main" java.lang.RuntimeException: Unknown call expression:
avg(amount)
at
705471-09-26T16:54:59.999,6)
谢谢您~
在 2020-12-10 17:56:42,"Appleyuchi" 写道:
>好的,我再检查下
>
>在 2020-12-10 17:44:38,"Appleyuchi" 写道:
>>您好!
>>
>>
>>问题①
>>
>>请问这个输出结果前面的"+"是什么意思?
>>
>>8>
>>(true,1,+170547
好的,我再检查下
在 2020-12-10 17:44:38,"Appleyuchi" 写道:
>您好!
>
>
>问题①
>
>请问这个输出结果前面的"+"是什么意思?
>
>8>
>(true,1,+1705471-09-26T16:50,+1705471-09-26T16:55,+1705471-09-26T16:54:59.999,6)
>
>1>
>(true,3,+1705471-09-26T
-docs-release-1.12/zh/dev/table/streaming/time_attributes.html#%E5%9C%A8-datastream-%E5%88%B0-table-%E8%BD%AC%E6%8D%A2%E6%97%B6%E5%AE%9A%E4%B9%89-1
>>>
>>>> 在 2020年12月10日,11:10,Jark Wu 写道:
>>>>
>>>> 链接错了。重发下。
>>>>
>>>> 1) 所
来自文档:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html
的Distinct aggregation on over window
代码:
https://paste.ubuntu.com/p/q97Rg4zDHS/
异常栈:
Exception in thread "main" java.lang.RuntimeException: Unknown call expression:
avg(amount)
at
ojects/flink/flink-docs-release-1).12/dev/table/streaming/time_attributes.html>
>> 2) 你的代码好像也不对。 L45: Table orders = tEnv.from("Orders"); 没看到你有注册过 "Orders"
>> 表。这一行应该执行不成功把。
>>
>> Best,
>> Jark
>>
>> On Thu, 10 Dec 2020 at 11:09, Jar
代码是:
https://paste.ubuntu.com/p/gVGrj2V7ZF/
报错:
A group window expects a time attribute for grouping in a stream environment.
但是代码的数据源中已经有时间属性了.
请问应该怎么修改代码?
谢谢
怎么个动态法?
在 2020-12-09 13:18:56,"破极" 写道:
>Hello,各位大佬:
>请教下大佬们,在Flink
>SQL中读取Kafka中的数据,但Kafka中的数据比较复杂,其中json的data属性中的值是数组,但数组的内容是动态的,没有统一,如果定义create
>table时候schema呢?我定义了array,想自己定义UDF来处理的,在JsonNode中的asText无法取到数据。
>请问各位大佬有啥高招呢?谢谢。
>
>
>kafka消息样例(data的value是动态的):
19 matches
Mail list logo