一点小小的建议哈，
目前flink社区讨论主要还是java/scala为主，
如果执意使用pyflink的话，后续极有可能会遇到较大的阻力．
在 2021-01-31 14:26:55，"瞿叶奇" <389243...@qq.com> 写道：
>您好，我是国网陕西采集系统开发人员，我们在架构改造中，准备使用pyflink
>解决实时Kafka数据写HDFS的问题，我的Kafka集群存在kerberos安全认证，导致我现在还没连接上，能不能给一个样例呢？
你加下我微信appleyuchi吧
我帮你整理下这个问题
在 2021-01-30 17:53:00，"瞿叶奇" <389243...@qq.com> 写道：
老师，
您好！我在使用pyflink对接kafka时收到的错误信息如下：
我的flink-conf.yaml已经配置了应有的信息，且我的kerberos 账户是有效的
我的jaas.conf文件如下：
请问我该如何解决呢？目前卡在这里没有任何进展。
那是因为不存在这个jar
查看下这些jar的版本
在 2021-01-30 16:38:54，"徐州州" <25977...@qq.com> 写道：
>最近一直在编译最新版的flink总是遇到几个jar通过maven下载不到，求一份setting.xml文件。
Hi All,
I posted a question here:
https://stackoverflow.com/questions/65965893/scala-udf-complainsjava-lang-classnotfoundexceptionin-flink-sql-client
It's about scala udf to be registered into flink sql client.
Could you help me?
Thanks~!
先看下kafka能否通过命令行消费数据.
命令行检查确保能消费,再使用Flink.
在 2021-01-30 14:25:57，"瞿叶奇" <389243...@qq.com> 写道：
老师，您好，我想通过Flink消费kafka写本地csv文件，目前遇到的问题是Flink、Kafka都是kerberos认证的集群，而且我是用的是pyflink，现在程序能执行，不报错，但是不消费数据，csv文件没有结果，但是文件日期修改日期一直在更新。怀疑对接kafka
存在问题，希望老师能够给解决疑惑。
1）Kafka生产数据：
2）pyflink 程序
I posted this question here.
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Unknown-call-expression-avg-amount-when-use-distinct-in-Flink-Thanks-td40905.html
but my later replies to it is NOT delivered,it's strange.
Flink1.12
scala2.12
Could anyone help me?
Thanks~!
I posted this question here.
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Unknown-call-expression-avg-amount-when-use-distinct-in-Flink-Thanks-td40905.html
but my replies to it is now delivered,it's strange.
Flink1.12
scala2.12
Could anyone help me?
Thanks~!
该问题已经解决，请忽略，谢谢
在 2021-01-28 11:42:08，"Appleyuchi" 写道：
>大佬们好！
>
>
>我在学习以下over window案例
>https://help.aliyun.com/document_detail/62514.html
>
>
>我的flink sql client完整操作如下
>https://yuchi.blog.csdn.net/article/details/113128072
>
>
>问题：
>输入8条数据，
>返回7条数据，
>请问为何丢数据？
>
>
>求助，谢谢！
大佬们好！
我在学习以下over window案例
https://help.aliyun.com/document_detail/62514.html
我的flink sql client完整操作如下
https://yuchi.blog.csdn.net/article/details/113128072
问题：
输入8条数据，
返回7条数据，
请问为何丢数据？
求助，谢谢！
https://blog.csdn.net/appleyuchi/article/details/112837327
在 2021-01-27 15:25:41，"阿华田" 写道：
>各位大佬，Flink-sql-gateway 提交flink sql任务 ，如何使用flink自定义的udf
>
>
>| |
>阿华田
>|
>|
>a15733178...@163.com
>|
>签名由网易邮箱大师定制
>
我进行了如下操作：
https://yuchi.blog.csdn.net/article/details/112837327
然后报错:
java.lang.IllegalStateException: Process died with exit code 0
请问应该如何解决？
谢谢您～！
I'm testing
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/tableApi.html
the part
"Distinct aggregation on over window"(Ctrl+f and search the whole above string
in above link please)
test code
distinctaggregation3.java
https://paste.ubuntu.com/p/7HJ9W3hVVN/
POJO needed
我在驗證
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/tableApi.html
中的
"Distinct aggregation on over window"(請在上述鏈接內，Ctrl+f搜索該雙引號內的整個字符串)
測試代碼:
distinctaggregation3.java
https://paste.ubuntu.com/p/7HJ9W3hVVN/
測試用的POJO:
OrderStream.java
大佬们好
我的环境是:
| 组件 | 版本 |
|
Flink
|
1.12
|
|
Kafka
|
2.5.0
|
|
Zookeeper
|
3.6.0
|
完整代码是
https://paste.ubuntu.com/p/pRWpvJw4b8/
kafka消费端(使用命令行消费)确认有数据输出。
但是上述代码没有输出，DDL检查过确认无误。
因为听说executeSql会提交任务，所以把最后一句execute给注销了。
求问应该如何修改代码才能让代码有输出？
谢谢
是Flink1.12的，kafka消费端能读取到数据，但是下面的代码无法读取到数据，运行后没有报错也没有输出，求助，谢谢
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.{EnvironmentSettings, Table}
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment
import org.apache.flink.types.Row
import
I'm trying flatAggregate, the whole code is bug free and as follows:
https://paste.ubuntu.com/p/TM6n2jdZfr/
the result I get is:
8>
(true,1,+1705471-09-26T16:50,+1705471-09-26T16:55,+1705471-09-26T16:54:59.999,4,1)
4>
代码是:
https://paste.ubuntu.com/p/GTgGhhcjyZ/
文档是:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html#group-windows
中的
Over Window Aggregation
代码bug free
但是无法输出，求助，谢谢
Example from Document:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html
part:
Join with Temporal Table
Current Whole Code:
https://paste.ubuntu.com/p/Jn3ChkNSpp/
Exception:
Exception in thread "main" org.apache.flink.table.api.ValidationException: The
From Document:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html
的Distinct aggregation on over window
Code:
https://paste.ubuntu.com/p/q97Rg4zDHS/
Error:
Exception in thread "main" java.lang.RuntimeException: Unknown call expression:
avg(amount)
at
705471-09-26T16:54:59.999,6)
谢谢您～
在 2020-12-10 17:56:42，"Appleyuchi" 写道：
>好的，我再检查下
>
>在 2020-12-10 17:44:38，"Appleyuchi" 写道：
>>您好！
>>
>>
>>问题①
>>
>>请问这个输出结果前面的"+"是什么意思？
>>
>>8>
>>(true,1,+170547
好的，我再检查下
在 2020-12-10 17:44:38，"Appleyuchi" 写道：
>您好！
>
>
>问题①
>
>请问这个输出结果前面的"+"是什么意思？
>
>8>
>(true,1,+1705471-09-26T16:50,+1705471-09-26T16:55,+1705471-09-26T16:54:59.999,6)
>
>1>
>(true,3,+1705471-09-26T
-docs-release-1.12/zh/dev/table/streaming/time_attributes.html#%E5%9C%A8-datastream-%E5%88%B0-table-%E8%BD%AC%E6%8D%A2%E6%97%B6%E5%AE%9A%E4%B9%89-1
>>>
>>>> 在 2020年12月10日，11:10，Jark Wu 写道：
>>>>
>>>> 链接错了。重发下。
>>>>
>>>> 1) 所
来自文档:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html
的Distinct aggregation on over window
代码:
https://paste.ubuntu.com/p/q97Rg4zDHS/
异常栈:
Exception in thread "main" java.lang.RuntimeException: Unknown call expression:
avg(amount)
at
ojects/flink/flink-docs-release-1).12/dev/table/streaming/time_attributes.html>
>> 2) 你的代码好像也不对。 L45: Table orders = tEnv.from("Orders"); 没看到你有注册过 "Orders"
>> 表。这一行应该执行不成功把。
>>
>> Best,
>> Jark
>>
>> On Thu, 10 Dec 2020 at 11:09, Jar
代码是:
https://paste.ubuntu.com/p/gVGrj2V7ZF/
报错:
A group window expects a time attribute for grouping in a stream environment.
但是代码的数据源中已经有时间属性了.
请问应该怎么修改代码?
谢谢
怎么个动态法?
在 2020-12-09 13:18:56，"破极" 写道：
>Hello，各位大佬：
>请教下大佬们，在Flink
>SQL中读取Kafka中的数据，但Kafka中的数据比较复杂，其中json的data属性中的值是数组，但数组的内容是动态的，没有统一，如果定义create
>table时候schema呢？我定义了array，想自己定义UDF来处理的，在JsonNode中的asText无法取到数据。
>请问各位大佬有啥高招呢？谢谢。
>
>
>kafka消息样例(data的value是动态的)：
my code is:
https://paste.ubuntu.com/p/gVGrj2V7ZF/
it complains
A group window expects a time attribute for grouping in a stream environment.
but the data already as time attribute,
How to fix it?
Thanks for your help.
The complete code is:
https://paste.ubuntu.com/p/hpWB87kT6P/
The result is:
2> (true,1,diaper,4)
7> (true,3,rubber,2)
4> (true,1,beer,3)
7> (false,3,rubber,2)
7> (true,3,rubber,8)
That's the meaning of true/false in the result
after running the above code?
Thanks for your help~!
28 matches
Mail list logo
