已解决
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2021年04月15日 15:38，superainbower 写道：
Hi，请教一下大家，本地环境仅部署了Flink集群，没有Hadoop环境，按照官网在plugins中新增目录添加flink-oss*.jar，在flink-conf.yml中添加fs.oss相关配置
还需要做什么才可以正常读写oss呢，目前现在在sqlclient中，会提示No FileSystem for scheme: oss
| |
superainbower
Hi，请教一下大家，本地环境仅部署了Flink集群，没有Hadoop环境，按照官网在plugins中新增目录添加flink-oss*.jar，在flink-conf.yml中添加fs.oss相关配置
还需要做什么才可以正常读写oss呢，目前现在在sqlclient中，会提示No FileSystem for scheme: oss
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
这个问题我解决了，这样定义应该是可以
On 03/16/2021 15:11, superainbower wrote:
请教下大家，官网中对于时态表的定义的案例是基于debezium的，我现在具基于canal这样定义有问题吗？定义如下
create table produce(
id string,
name string,
price decimal(10,4)
update_time timestamp(3) metadata from ‘timestamp’ virtual,
primary key(id) not enforced,
watermark
请教下大家，官网中对于时态表的定义的案例是基于debezium的，我现在具基于canal这样定义有问题吗？定义如下
create table produce(
id string,
name string,
price decimal(10,4)
update_time timestamp(3) metadata from ‘timestamp’ virtual,
primary key(id) not enforced,
watermark for update_time as update_time
)with(
‘connector’=‘Kafka’,
件时间
)WITH('connector'='kafka','topic'='products','scan.startup.mode'='earliest-offset','properties.bootstrap.servers'='localhost:9092','value.format'='canal-json');
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
大佬，可否提供一下你那边flink native 方式 k8s部署的测试文档地址
在2021年01月14日 15:12，Yang Wang 写道：
这个问题是在1.12.1中修复的，1.12.0里面还不能支持给TM设置ServiceAccount
具体可以看下这个ticket，https://issues.apache.org/jira/browse/FLINK-20664
另外，1.12.1正在投票，最近就会发布
Best,
Yang
1120344670 <1120344...@qq.com> 于2021年1月13日周三 下午5:17写道：
> *flink版本: 1.12*
or included in the client JAR because it's part of the public
API，这应该就是Flink集群里不包含这个pulbic API 导致这个报错
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年12月30日 19:16，superainbower 写道：
补充一下，在git上Cloudera/kudu 下的 org.apache.kudu.client.AsyncKuduClient这个类里面，确实看到
import
补充一下，在git上Cloudera/kudu 下的 org.apache.kudu.client.AsyncKuduClient这个类里面，确实看到
import com.stumbleupon.async.Callback
应该就是kudu需要引入的，很奇怪已经将整个client的jar 放到lib里面了，怎么还会缺少呢
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年12月30日 18:59，superainbower 写道：
hi，
1.在kudu-client.jar里，按你的方式grep不到
，可以判空下。
Best,
Hailong
在 2020-12-30 17:24:48，"superainbower" 写道：
>HI，大家好：
>我有一个应用场景，利用Flinksql读取Kafka数据写入Kudu，由于官方没有Kudu Connector，自定义了一个Kudu Sink
>Connector，在本地IDEA下测试可以 正常跑通；
>可是将代码打包，并将kudu-client.jar的依赖包放置Flink的lib目录下之后，提交任务到集群报错如下：
>
>
>java.lang.NoClassDefFo
) ~[?:1.8.0_162]
... 14 more
不是很清楚这个 com.stumbleupon.async.Callback 类的依赖来自哪里，该怎么解决？
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
charge_income":5013.8,"charge_count":432}
{"stats_key”:”456","charge_number":6E+2,"charge_duration":675,"charge_income":45,"charge_count":3}
存在了这样的科学计数法 6E+2，这个该怎么转换成具体数值呢？不然后续不好处理
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
K8SHA??HDFS
??2020??12??22?? 13:43??liujian ??
Thanks,flink-confhistory
server,??hdfs??,??web ui??,
----
??:
Best,
Yang
superainbower 于2020年12月17日周四 上午7:19写道：
> 请教下 git checkout dev-master./add-custom.sh -u
> https://apache.website-solution.net/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgz
> -n flink-1.12.0 这是一条指令吗？感觉执行不了
> 另外直接
> git clone https://github.com/apache/flink-docker.g
le
LD_PRELOAD with /usr/lib/x86_64-linux-gnu/libjemalloc.so"
export LD_PRELOAD=$LD_PRELOAD:/usr/lib/x86_64-linux-gnu/libjemalloc.so
fi
}
另外我看了1.12的文档，yaml文件和1.11应该没有区别，原先的yaml文件在1.11.1的版本是可以正常执行的
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年12月17日 14:08，Yang Wang 写道：
你直接
请教下 git checkout dev-master./add-custom.sh -u
https://apache.website-solution.net/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgz
-n flink-1.12.0 这是一条指令吗？感觉执行不了
另外直接
git clone https://github.com/apache/flink-docker.git
在里面的1.12目录中选择2.11的进去，直接dock build -t flink：1.12.0 .可以吗，我尝试直接这样构建出来的镜像好像不能跑
借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
在2020年12月16日 10:53，Yang Wang 写道：
以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
HI
链接超时的问题，你后来解决了吗？能告诉下怎么解决的吗？
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年08月31日 15:57，酷酷的浑蛋 写道：
关键是在sql中怎么设置，connector=jdbc
在2020年08月31日 15:06，13580506953<13580506...@163.com> 写道：
这个问题本质是连接活性问题,
连接数据库超时设置autoReconnect=true(mysql5以上的，设置autoReconnect=true 是无效的 只有4.x
Hi
感谢回复，我去看下
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年10月12日 17:09，Congxian Qiu 写道：
Hi
从错误日志看，应该是 filesystem 相关的配置（或者 jar 包）有问题，可以参考下这个邮件列表[1]看看能否解决你的问题
[1]
http://apache-flink.147419.n8.nabble.com/Flink-1-11-1-on-k8s-hadoop-td5779.html#a5834
Best,
Congxian
supported by Flink and no Hadoop file system to support this scheme
could be loaded. For a full list of supported file systems, please
seehttps://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/.
应该是没有Hadoop的路径，这个在K8s下面 该怎么去配置呢
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易
Hi，all
请教下，哪个朋友知道Flink on K8s上做 statebackend 配置，除了将下列配置写到flink-conf.yml里，还需要作哪些工作？
state.backend: rocksdb
state.checkpoints.dir: hdfs://master:8020/flink/checkpoints
state.savepoints.dir: hdfs://master:8020/flink/savepoints
state.backend.incremental: true
| |
superainbower
|
|
superainbo
影响到Nodemanger的JVM内存，另外任务已经停掉，JVM堆内存也下不来，这块会和rocksdb有关系吗？
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
hi
??
| |
superainbower
|
|
superainbo...@163.com
|
??
??2020??09??9?? 10:19??superainbower ??
HI
metadata
|
|
| importorg.apache.flink.runtime.checkpoint.savepoint.Savepoint
HI
metadata
|
|
| importorg.apache.flink.runtime.checkpoint.savepoint.Savepoint;
??savepoint flink1.11.1 |
| |
| |
superainbower
|
|
superainbo...@163.com
hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录
可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用
1.11的版本已经加入了 新的配置项，避免了数据倾斜导致某个分区没数据 而不触发计算的问题
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年09月4日 15:11，taochanglian 写道：
确实是这样，比如有你多个partition，但是只有1个partition里面有数据，wm就不会执行计算。需要保证多个parititon数据都有数据。
举个例子，我这里在做测试的时候，1个topic10个partition，由于测试环境，按照key
hash，数据只进入1个partition，就不会触发计算
hi，我在尝试flink on k8s部署，搭建了minikube，按照官方文档部署之后
1.在flink ui界面 看不到taskmanger的信息，任务提交的时候会提示没有slot，像是taskmanger没有注册到jobmanger
2.k8s dashboard上，taskmanger过不了一会就重启
请问下大家有遇过吗？不知道该怎么排查解决
hi，请教大家一个问题，开启了增量checkpoint，同时checkpoint的个数设置为只保留2个，那么如果当前是第三次checkpoint
仍然依赖第一次的checkpoint会出现什么情况，会把第一次的copy过来到本次中吗？如过第一次不删除，不是会不满足保留2个的限制吗
hi，大家好，我遇到个问题，执行一个sql，作了checkpoint，现在sql中加了where条件，但是insert select
的值都没变，想指定之前的checkpoint继续执行，但是会报错，cannot map checkpoint state for operator ***
to the new programe 是不是因为sql改变了，算子id就变了找不到了，这个有什么办法吗
hi，社区的小伙伴，大家好！我有一个应用场景，想请教下大家有没有遇过，有什么好的方案。
场景就是：按照user和day的维度统计订单表里的有效订单数，同时存在历史的订单状态随时可能被更新，比如可能当前把2个月前的订单状态置未true，所以没法根据历史结果预统计，翻译称sql就是select
user,day,count(*) from table where state = true group by
user,day；目前我已经用flink-sql-cdc-connector实现了，但是有一个问题就是state，因为按user day组合
29 matches
Mail list logo
