date:20190926

Re: 订阅邮件

2019-09-26 文章 Dian Fu

To subscribe to the mailing list, you need send email to the following address 
dev-subscr...@flink.apache.org , 
user-subscr...@flink.apache.org  and 
user-zh-subscr...@flink.apache.org  
separately.

> 在 2019年9月26日，上午9:58，杨利君  写道：
> 
> 订阅flink社区邮件

Re: 向社区提交代码怎么自己验证

2019-09-26 文章 Dian Fu

1）build失败的话，可以看一下失败原因，如果和这个PR没有关系，可以通过“@flinkbot run travis”重新触发travis
2）本地可以通过“mvn clean verify”验证一下，详细可以看一下[1]，我看你这个改动是doc相关的，一般来说，不会导致build失败

[1] https://flink.apache.org/contributing/contribute-code.html 

> 在 2019年9月26日，下午9:56，高飞龙  写道：
> 
> hi，我在向社区提交PR时，提示build失败（https://github.com/apache/flink/pull/9749#issuecomment-534149758）
> 
> 
> 我应该怎么做？在提交PR之前我可以执行什么脚本先在本地进行build测试吗？
> 
> 
> 
> 
> 
> --
> 
> 
> 
> gaofeilong198...@163.com

Re: 向社区提交代码怎么自己验证

2019-09-26 文章 Zili Chen

看了下你的 PR，应该是因为不稳定测试导致的。文档相关的改动应该跟 CI 无关。

Best,
tison.


Zili Chen  于2019年9月26日周四 下午10:21写道：

> mvn verify 可以跑单元测试和做编译期检查（如 checkstyle）
>
> Best,
> tison.
>
>
> 高飞龙  于2019年9月26日周四 下午9:56写道：
>
>> hi，我在向社区提交PR时，提示build失败（
>> https://github.com/apache/flink/pull/9749#issuecomment-534149758）
>>
>>
>> 我应该怎么做？在提交PR之前我可以执行什么脚本先在本地进行build测试吗？
>>
>>
>>
>>
>>
>> --
>>
>>
>>
>> gaofeilong198...@163.com
>
>

Re: 向社区提交代码怎么自己验证

2019-09-26 文章 Zili Chen

mvn verify 可以跑单元测试和做编译期检查（如 checkstyle）

Best,
tison.


高飞龙  于2019年9月26日周四 下午9:56写道：

> hi，我在向社区提交PR时，提示build失败（
> https://github.com/apache/flink/pull/9749#issuecomment-534149758）
>
>
> 我应该怎么做？在提交PR之前我可以执行什么脚本先在本地进行build测试吗？
>
>
>
>
>
> --
>
>
>
> gaofeilong198...@163.com

向社区提交代码怎么自己验证

2019-09-26 文章高飞龙

hi，我在向社区提交PR时，提示build失败（https://github.com/apache/flink/pull/9749#issuecomment-534149758）


我应该怎么做？在提交PR之前我可以执行什么脚本先在本地进行build测试吗？





--



gaofeilong198...@163.com

回复：关于1.9使用hive中的udf

2019-09-26 文章 like

非常感谢，但是我试过的 hive.xx_db.xx_udf 这种方式是找不到这个udf的，必须使用 tableEnv.useCatalog("hive") 
、tableEnv.useDatabase("default") 




在2019年9月26日 16:43，Terry Wang 写道：

问题1:
default关键词报错是否试过   hive.`default`.xx_udf 方式, 这样转义应该能解决关键词报错的问题。

问题2:
flink 1.10 中会支持modular plugin的方式，使用起来会更方便


Best,
Terry Wang



在 2019年9月25日，下午7:21，like  写道：

各位大佬好：
目前我在使用1.9版本中hive的udf碰到如下问题：
1、hive的udf都是注册在default库中，sql里面带有default关键词，flink程序就会报错
我通过 tableEnv.useCatalog("hive") 
、tableEnv.useDatabase("default")这种方式解决了default关键词的问题
同时发现如果不使用tableEnv.useDatabase("xx_db"),直接使用  xx_db.fun是找不到函数的


2、使用上面的方式能使用hive中指定某个库的udf，但是需要使用flink中注册的表会很麻烦
sql里需要这么写（default_catalog.default_database.xx_table）


请问大家有没有好的使用方式和建议？感谢 ！

Re: 关于1.9使用hive中的udf

2019-09-26 文章 Terry Wang



问题1:
default关键词报错是否试过   hive.`default`.xx_udf 方式, 这样转义应该能解决关键词报错的问题。

问题2:
flink 1.10 中会支持modular plugin的方式，使用起来会更方便


Best,
Terry Wang



> 在 2019年9月25日，下午7:21，like  写道：
> 
> 各位大佬好：
>目前我在使用1.9版本中hive的udf碰到如下问题：
>1、hive的udf都是注册在default库中，sql里面带有default关键词，flink程序就会报错
>我通过 tableEnv.useCatalog("hive") 
> 、tableEnv.useDatabase("default")这种方式解决了default关键词的问题
>同时发现如果不使用tableEnv.useDatabase("xx_db"),直接使用  xx_db.fun是找不到函数的
> 
> 
>2、使用上面的方式能使用hive中指定某个库的udf，但是需要使用flink中注册的表会很麻烦
>sql里需要这么写（default_catalog.default_database.xx_table）
> 
> 
> 请问大家有没有好的使用方式和建议？感谢 ！

????????org.apache.flink.streaming.api.operators.TimerHeapInternalTimer ???????????????? ??????????????????

2019-09-26 文章 ??????

,:

 StreamQueryConfig queryConfig = tabEnv.queryConfig();
queryConfig.withIdleStateRetentionTime(Time.seconds(20), 
Time.minutes(6));


DataStream source = env.socketTextStream("localhost", 10028)
.map(new MapFunction() {
@Override
public Student map(String value) throws Exception {
String[] vals = value.split(",");
if (vals.length < 2) {
return null;
}
Student st = new Student();
st.stNo = vals[0];
st.name = vals[1];
return st;
}
}).returns(Student.class);


Table table = tabEnv.fromDataStream(source, "stNo, name");


Table distinctTab = table.groupBy("stNo, name").select("stNo, 
name");//.select("name, name.count as cnt");


DataStream> distinctStream = 
tabEnv.toRetractStream(distinctTab, Student.class);


DataStream distintOutStrem = distinctStream.map(tuple2 -> {
if (tuple2.f0) {
return tuple2.f1;
}
return null;
}).filter(Objects::nonNull);


Table after = tabEnv.fromDataStream(distintOutStrem, "stNo, name, 
proctime.proctime");


Table result = 
after.window(Tumble.over("10.seconds").on("proctime").as("w"))
.groupBy("name, w")
.select("name, name.count as cnt, w.start as wStart, w.end as 
wEnd, w.proctime as wProctime");


DataStream resultStream = tabEnv.toAppendStream(result, 
Result.class);
resultStream.print();
env.execute(TestState.class.getSimpleName());



??,jvm??,dumporg.apache.flink.streaming.api.operators.TimerHeapInternalTimer
 
,TimerHeapInternalTimer,??
 num #instances #bytes  class name
--
   1:  5937   44249552  [B
   2:214238   18291832  [C
   3:1411995647960  
org.apache.flink.runtime.state.heap.CopyOnWriteStateTable$StateTableEntry
   4:2135215124504  java.lang.String
   5:1187274397272  [Ljava.lang.Object;
   6:1081383460416  java.util.HashMap$Node
   7: 194401667688  [Ljava.util.HashMap$Node;
   8: 942531508048  org.apache.flink.types.Row
   9: 470661506112  
org.apache.flink.streaming.api.operators.TimerHeapInternalTimer
  10: 129241426104  java.lang.Class
  11:491229592  
[Lorg.apache.flink.runtime.state.heap.CopyOnWriteStateTable$StateTableEntry;
  12: 480721153728  java.lang.Long
  13: 346571109024  java.util.concurrent.ConcurrentHashMap$Node
  14:  77721078360  [I
  15: 265911063640  java.util.LinkedHashMap$Entry
  16: 15301 856856  java.util.LinkedHashMap
  17: 11771 847512  java.lang.reflect.Field
  18: 13172 843008  java.nio.DirectByteBuffer
  19:  8570 754160  java.lang.reflect.Method
  20:20 655680  [Lscala.concurrent.forkjoin.ForkJoinTask;
  21: 13402 643296  java.util.HashMap
  22: 12945 621360  
org.apache.flink.core.memory.HybridMemorySegment
  23: 13275 531000  sun.misc.Cleaner
  24: 15840 506880  com.esotericsoftware.kryo.Registration
  25:   393 450928  [Ljava.nio.ByteBuffer;
  26: 13166 421312  java.nio.DirectByteBuffer$Deallocator
  27: 25852 413632  java.lang.Object
  28: 14137 339288  java.util.ArrayList
  29:  6410 307680  
org.apache.kafka.common.metrics.stats.SampledStat$Sample
  30:  4572 292608  
com.esotericsoftware.kryo.serializers.UnsafeCacheFields$UnsafeObjectField
  31:   392 288576  
[Ljava.util.concurrent.ConcurrentHashMap$Node;
  32:  8412 269184  org.apache.kafka.common.MetricName
  33:  8412 269184  org.apache.kafka.common.metrics.KafkaMetric
  34:72 268704  
[Lorg.apache.flink.runtime.state.heap.HeapPriorityQueueElement;
  35: 10070 241680  
org.apache.kafka.common.requests.ApiVersionsResponse$ApiVersion
  36:  9828 225040  [Ljava.lang.Class;
  37:  9360 224640  
com.esotericsoftware.kryo.Kryo$DefaultSerializerEntry
  38:  7905 189720  org.apache.flink.api.java.tuple.Tuple2
  39:  2358 150912  org.apache.kafka.common.metrics.Sensor
  40:  1855 148400  java.lang.reflect.Constructor
  41:  1464 143936  [J

Re: 订阅邮件

Re: 向社区提交代码怎么自己验证

Re: 向社区提交代码怎么自己验证

Re: 向社区提交代码怎么自己验证

向社区提交代码怎么自己验证

回复：关于1.9使用hive中的udf

Re: 关于1.9使用hive中的udf

????????org.apache.flink.streaming.api.operators.TimerHeapInternalTimer ???????????????? ??????????????????

8 matches

Site Navigation

Mail list logo

Footer information