Hi, bulterman
你的分析是对的，group by pk的query是可以优化到筛选全部列的，这可以是个优化点，只是flink 现在还没有做， 和 Flink pk的 NOT
ENFORCED 并没有关系，NOT NEOFRCED是说Flink不持有数据，不像数据库持有数据可以在读取时做校验。
个人感觉这是个小的优化点，如果很急需可以考虑在社区开个issue.
祝好，
Leonard Xu
> 在 2020年12月1日，13:40，bulterman <15618338...@163.com> 写道：
>
> Hi ALL,
>我用Flink SQL
@Jianzhi Zhang
嗯，是这个原因，感谢 回复。 就是decimal的精度问题
在 2020-12-01 13:24:23，"Jianzhi Zhang" 写道：
>是不是你的decimal字段长度太短了，计算结果超出了精度范围导致null的出现
>
>> 2020年11月19日 下午10:41，kandy.wang 写道：
>>
>> --mysql表
>> CREATE TABLE IF NOT EXISTS `mysql_realtime_leaving_price_spu_index_agg`(
>> `id` INT
可以使用这种方式:
DataStream dstream = tableEnv.toAppendStream(sourceTable,
RowData.class);
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi ALL,
我用Flink SQL 建了一张表，主键也设置了，执行形如"select * from test_table group by 主键 "
会报Expression 'XXX' is not being group的错误，通常来说按主键group by的话不是可以确定唯一性的吗？
难道是因为建表语句中flink的主键约束模式只支持 NOT ENFROCED吗？ 这里有点不太明白
是不是你的decimal字段长度太短了，计算结果超出了精度范围导致null的出现
> 2020年11月19日 下午10:41，kandy.wang 写道：
>
> --mysql表
> CREATE TABLE IF NOT EXISTS `mysql_realtime_leaving_price_spu_index_agg`(
> `id` INT UNSIGNED AUTO_INCREMENT,
> `spu_id` BIGINT NOT NULL,
> `leaving_price` DECIMAL(10, 5)
> PRIMARY KEY ( `id` ),
flink-sql-client执行建表：
CREATE TABLE source_xxx (
id INT,
ctime TIMESTAMP
) WITH (
'connector' = 'kafka',
'topic' = 'xxx',
'properties.bootstrap.servers' = 'localhost:9092',
'format' = 'debezium-json',
'scan.startup.mode' = 'earliest-offset',
'debezium-json.schema-include' = 'false',
hi，
你需要使用oncheckpoint的policy，这样在每次Checkpoint时会滚动文件
> 2020年11月30日 下午4:57，liliang <904716...@qq.com> 写道：
>
> 本人使用的StreamingFileSink将数据按照行保存到hdfs中
> StreamingFileSink streamingFileSink = StreamingFileSink.
>forRowFormat(new Path(path), new
> SimpleStringEncoder("UTF-8"))
>
Hi,
退订请发邮件到 user-zh-unsubscr...@flink.apache.org
详细的可以参考 [1]
[1] https://flink.apache.org/zh/community.html#section-1
Best,
Xingb
elvis 于2020年12月1日周二 上午9:42写道：
> 退订
并没有，restored为0。
熊云昆 于2020年12月1日周二 上午8:44写道：
> job没有失败重启过吗？感觉是重启过吧
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-11-30 22:23:54，"赵一旦" 写道：
> >如题。
> >
> >Checkpoint Detail:
> >Path: - Discarded: - Failure Message: The job has failed.
> >
> >
> >如上，请问一般啥情况呢这是。
>
不需要，设置用户名和密码就行
Best
zhisheng
HunterXHunter <1356469...@qq.com> 于2020年12月1日周二 上午9:46写道：
> 你说的是es的 xpack 认证吗，需要你载入certificate文件是吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
hi，正超
建议把作业的日志发一下？
Best
zhisheng
神奇哥哥 <759341...@qq.com> 于2020年12月1日周二 上午9:38写道：
> 你好，此问题我也遇到。目前已解决。
> 解决办法:
> 查看你pom文件中是否引入了hadoop相关依赖，Flink 1.11需要把hadoop相关依赖注释掉。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
你说的是es的 xpack 认证吗，需要你载入certificate文件是吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
1.12 支持了，参考
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/elasticsearch.html#username
Kyle Zhang 于2020年12月1日周二 上午9:35写道：
> Hi,你说的是这个问题么
>
> https://issues.apache.org/jira/browse/FLINK-16788
>
> On Mon, Nov 30, 2020 at 7:23 PM cljb...@163.com wrote:
>
> >
注意是不是hadoop-client包冲突，hbase-server中也依赖了此包，需要排除。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
注意是不是hadoop-client包冲突，hbase-server中也依赖了此包，需要排除。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你好，此问题我也遇到。目前已解决。
解决办法:
查看你pom文件中是否引入了hadoop相关依赖，Flink 1.11需要把hadoop相关依赖注释掉。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你好，此问题我也遇到。目前已解决。
解决办法:
查看你pom文件中是否引入了hadoop相关依赖，Flink 1.11需要把hadoop相关依赖注释掉。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
本人刚学习flink ，下载解压了flink，启动./sql-client.sh embedded ，输入SELECT 'Hello World';报错
Flink SQL> SELECT 'Hello World';
[ERROR] Could not execute SQL statement. Reason:
java.net.NoRouteToHostException: 没有到主机的路由
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请教各位：
我们想做多个监控摄像头的视频流采集平台，摄像头的数量大概有1000-5000个，摄像头的流数据直接发到采集平台，之后平台可以将数据写到Hadoop或者用于机器学习消费，不知道flink是不是适合这样的场景呢？谢谢
屈夏
Hi,你说的是这个问题么
https://issues.apache.org/jira/browse/FLINK-16788
On Mon, Nov 30, 2020 at 7:23 PM cljb...@163.com wrote:
> 看了一下官网文档，目前还不支持sql 写入es时进行用户名密码认证，有什么比较简单的解决方法吗？
> 除了用api之外。
>
> 感谢！
>
>
>
> cljb...@163.com
>
job没有失败重启过吗？感觉是重启过吧
在 2020-11-30 22:23:54，"赵一旦" 写道：
>如题。
>
>Checkpoint Detail:
>Path: - Discarded: - Failure Message: The job has failed.
>
>
>如上，请问一般啥情况呢这是。
insert into kudu.default_database.index_agg
SELECT v_spu_id as spu_id,sum(leaving_num*vipshop_price) as
leaving_price,DATE_FORMAT(LOCALTIMESTAMP,'-MM-dd HH:mm:ss')
FROM XX.XX.XX
group by v_spu_id;
XX.XX.XX 是通过自定义cdc format消费公司的cdc数据源，cdc数据源在kafka，数据只保留7天数据，都是增量消费，如何保证结果准确。
insert into kudu.default_database.index_agg
SELECT v_spu_id as spu_id,sum(leaving_num*vipshop_price) as
leaving_price,DATE_FORMAT(LOCALTIMESTAMP,'-MM-dd HH:mm:ss')
FROM XX.XX.XX
group by v_spu_id;
XX.XX.XX 是通过自定义cdc format消费公司的cdc数据源，cdc数据源在kafka，数据只保留7天数据，都是增量消费，如何保证结果准确。
希望有人回答下这个问题，比较奇怪，也不是很好排查原因。
赵一旦 于2020年11月27日周五 下午9:25写道：
> 如下报错：
> 19:59:56.128 [Flink Netty Client (8009) Thread 6] WARN
> org.apache.flink.shaded.netty4.io.netty.channel.epoll.EpollEventLoop -
> Unexpected exce
> ption in the selector loop.
>
如下图，报错报的是关于selector loop中错误。希望有大神帮忙分析下可能原因。
22:23:17.045 [Flink Netty Client (2007) Thread 28] WARN
org.apache.flink.shaded.netty4.io.netty.channel.epoll.EpollEventLoop -
Unexpected exception in the selector loop.
org.apache.flink.shaded.netty4.io.netty.channel.unix.Errors$NativeIoException:
如题。
Checkpoint Detail:
Path: - Discarded: - Failure Message: The job has failed.
如上，请问一般啥情况呢这是。
看了一下官网文档，目前还不支持sql 写入es时进行用户名密码认证，有什么比较简单的解决方法吗？
除了用api之外。
感谢！
cljb...@163.com
checkpoint 失败了可以看看 是超时了，还是有 task snapshot 失败了，可以从 JM log
中来发现。超时的话，可以看下是数据量大需要时间久，还是 timeout 啥的设置太短；异常的话可以从对应的 tm log 看下为啥 snapshot
失败了
Best,
Congxian
王默 于2020年11月27日周五 下午11:43写道：
> checkpoint失败是在web页面上发现的，您看下截图https://imgchr.com/i/Dr3PNn
> 看taskmanager日志确实没有超时，也没有其他异常
>
>
>
>
>
>
>
>
>
>
>
>
flink 版本： 1.11.2
*
Caused by: [rt_caliber_1000/Rn_SXw45Qk2FY8ujAMpmmQ][[rt_caliber_1000][1]]
ElasticsearchException[Elasticsearch exception
[type=version_conflict_engine_exception, reason=[64_40108_0_1]: version
conflict, required seqNo [95958], primary term [1]. current document has
seqNo
原来如此，我觉得是一个不错的想法，但是其实对用户来说，最好除了写SQL之外，其他事情都不要做是最好
你好：
这个原因最开始已经说明了，main jar就是将传入的sql参数进行解析封装，而sql里用到的udf、connector之类的类型希望可以做到动态指定
一方面可以做到灵活的依赖控制，减少main jar的大小
另一方吧可以减少不同connector和udf，或不同版本connector和udf的依赖冲突的可能性
ps：假如平台有数十种connector和数百个udf都打到一个fast jar里想想都觉得不太优雅吧
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi silence,
想问下为什么一定要submit参数呢？我理解如果是做平台的话，用户如果有多个jar依赖，为什么不把这些jar统一打包到任务主jar里呢？，平台可以提供一些公共依赖，比如flink，hadoop等
silence 于2020年11月30日周一 下午5:20写道：
> 看了很多同学回复yarn的解决方案
>
> 我这再补充一下：
> 还是希望可以提供更通用的submit参数来解决此问题，
> 包括提交到standalone集群时可以额外指定本地依赖jar
>
> 有没有cli相关的同学可以跟进下建议
> 谢谢
>
>
>
> --
> Sent from:
看了很多同学回复yarn的解决方案
我这再补充一下：
还是希望可以提供更通用的submit参数来解决此问题，
包括提交到standalone集群时可以额外指定本地依赖jar
有没有cli相关的同学可以跟进下建议
谢谢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我看了源码了。operator name截断了。但是task name没截断。task name是那些operator name拼起来的
所以特别长。现在我只是魔改源码临时截断了一下，咱还是在issue里讨论吧
Jark Wu 于2020年11月26日周四 下午8:53写道：
>
> IIRC, runtime will truncate the operator name to max 80 characters, see
> `TaskMetricGroup#METRICS_OPERATOR_NAME_MAX_LENGTH`.
> You can search the log if
本人使用的StreamingFileSink将数据按照行保存到hdfs中
StreamingFileSink streamingFileSink = StreamingFileSink.
forRowFormat(new Path(path), new
SimpleStringEncoder("UTF-8"))
.withBucketAssigner(bucketAssigner)
.withRollingPolicy(
代码采用sql方式接入mysql cdc数据然后转出Stream流， 写入kudu，但是不知道怎么去获取
row里面的主键字段是哪一个和字段名称和类型等？
或者toRetractStream可以指定其他的class？？？
下面是代码
==
tableEnv.executeSql(createTableSql);
Table table = tableEnv.sqlQuery(querySql);
DataStream> dataStream =
如果你是用的ClusterIP的暴露方式，那任务提交只能在K8s内进行的
因为外部环境无法解析到K8s内部的service(也就是tuiwen-flink-rest.flink)
你可以在K8s集群内起一个Pod来充当Flink client，然后在Pod内进行任务提交
Best,
Yang
吴松 于2020年11月24日周二 下午4:23写道：
> 不好意思，这个报错应该是内存的问题。 我想说的是一下的报错。
>
>
>
>
>
>
> 2020-11-24 16:19:33,569 ERROR
>
Hi：
那我再看看json相关的信息，然后刚才测试的时候发现这个另一个问题
select ENCODE('ISO-8859-1', F_sp_withdraw_user_name) from t_sp_user_info
where F_sp_withdraw_user_name is not null;
Exception in thread "main"
org.apache.flink.table.client.SqlClientException: Unexpected exception. This is
a bug. Please
39 matches
Mail list logo
