这个是是非窗口下agg的优化，目前窗口聚合agg还不支持mini batch
> -原始邮件-
> 发件人: "Tianwang Li"
> 发送时间: 2020-09-30 14:32:39 (星期三)
> 收件人: user-zh@flink.apache.org
> 抄送:
> 主题: Re: group agg 开启了mini batch之后，state ttl不生效的问题
>
> 这种有窗口统计没有影响吧？
>
>
> 刘建刚 于2020年9月30日周三 下午2:25写道：
>
> > 修复方案参考https://github.com/apache
上面最后说的splitStr = udtf(SplitStr(), DataTypes.STRING(), [DataTypes.BIGINT(),
DataTypes.BIGINT()])需要改成这个地方splitStr = udtf(SplitStr(), DataTypes.STRING(),
[DataTypes.STRING(), DataTypes.STRING()])udtf的第三个参数,
好像只要是能跟sink的字段类型对应就能运行, 但是第二个参数并不能跟source字段对应却能运行就感觉有点奇怪
在 2020-09-30 19:07:06，"chenxuying"
版本:
pyflink==1.0
apache-flink==1.11.2
代码如下:
env = StreamExecutionEnvironment.get_execution_environment()
env.set_parallelism(1)
t_env = StreamTableEnvironment.create(env)
t_env.get_config().get_configuration().set_string("python.fn-execution.memory.managed",
'true')
class SplitStr(TableFunction)
感谢回复，这个任务重启了之后看不到这个in/out指标数据， 我们能查到这个任务依赖的redis的连接查询次数也降低了，好像是任务假死一样
一直在消费数据但是就是不处理数据 没有和redis进行交互
tison 于2020年9月30日周三 下午5:34写道：
> 那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了...
>
> 照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 sink
> 有问题，比如可能依赖了外部环境或者内部积累错误等等。
>
> Best,
> tison.
>
>
> Y
感谢回复，是的 就是从输出降低的时间点开始重新消费，是输出变少了 有些没有输出 运行任务的机器的网卡流量也变小了，监控系统是没有问题
其他任务的监控都正常
tison 于2020年9月30日周三 下午5:37写道：
>
> 故障点的意思是从开始跌的地方重新消费吗？如果是这样那就是有问题，可以看看之前输出变少是正确数据输出慢了还是有些没输出了，慢了就得看看当时的环境，应该还是会有什么网络或者负载有波动的，没有可能就要怀疑监控系统有问题了；少输出了就是错了，可能是依赖的外部环境不稳定等等。
>
> Best,
> tison.
>
>
> tison 于2020年9月30日周三 下午5:
大家好， 有有docker jobmanager HA的 1.11.2 docker-entrypoint.sh脚本吗？ 在官方的github里没有看到。
另外，有没有docker-compose.yml的配HA的例子吗？ 谢谢。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
故障点的意思是从开始跌的地方重新消费吗？如果是这样那就是有问题，可以看看之前输出变少是正确数据输出慢了还是有些没输出了，慢了就得看看当时的环境，应该还是会有什么网络或者负载有波动的，没有可能就要怀疑监控系统有问题了；少输出了就是错了，可能是依赖的外部环境不稳定等等。
Best,
tison.
tison 于2020年9月30日周三 下午5:33写道：
> 那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了...
>
> 照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 sink
> 有问题，
那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了...
照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 sink
有问题，比如可能依赖了外部环境或者内部积累错误等等。
Best,
tison.
Yang Peng 于2020年9月30日周三 下午5:26写道：
> 感谢回复，是的，之前确实怀疑是业务逻辑导致的
> 但是重启任务之后数据输出恢复了，而且让任务从故障点重新消费也没发现问题，我们这个任务已经跑了几个月了第一次遇到这种问题
>
> tison 于2020年9月30日周三 下午
感谢回复，是的，之前确实怀疑是业务逻辑导致的
但是重启任务之后数据输出恢复了，而且让任务从故障点重新消费也没发现问题，我们这个任务已经跑了几个月了第一次遇到这种问题
tison 于2020年9月30日周三 下午2:33写道：
> Hi Yang,
>
> 你的意思是上游输出没变，全链路没有负载升高甚至反而降低，sink 输出变少么？
>
> 如果全链路没有异常也没有负载升高、流量阻塞，那感觉就是业务逻辑的实际结果，可以看看输入数据的内容有没有变化。
>
> Best,
> tison.
>
>
> Yang Peng 于2020年9月30日周三 上午10:29写道：
>
> > 感谢
-m yarn-cluster -ynm name
这个可以设置 yarn-application 的名字
--
发件人：丁浩浩 <18579099...@163.com>
发送时间：2020年9月30日(星期三) 15:44
收件人：user-zh@flink.apache.org
主 题：flink任务yarn perjob 提交任务如何设置job name
如题，我需要设置flink提交到yarn的job name应该怎么设置呢？
代码里 env.execute("你的作业名")
Best,
tison.
丁浩浩 <18579099...@163.com> 于2020年9月30日周三 下午3:44写道：
> 如题，我需要设置flink提交到yarn的job name应该怎么设置呢？
如题，我需要设置flink提交到yarn的job name应该怎么设置呢？
补充一下，我的错误日志
Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:
Hadoop is not in the classpath/dependencies.
Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could
not find a file system implementation for scheme 'hdfs'. The scheme is not
directly s
13 matches
Mail list logo
