？
| |
张立志
邮箱：sparrow...@163.com
|
签名由 网易邮箱大师 定制
On 10/11/2020 01:19, 任亚博 wrote:
你好，能问个问题吗
你好，能问个问题吗
谢谢，大概明白了
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月10日 16:42，Yun Tang 写道：
Hi，云昆
首先，如果Congxian回答的，sst文件是不变的，所以就有了“增量”的前提，如果多个checkpoint均包含某个sst文件，那么该文件可以在多个checkpoint间共享，这些文件表示是属于shared的文件，存储在shared目录下，可以参考文档[1]。
这并不与保留一个checkpoint不一致，增量checkpoint的含义是上传的数据是增量的，但是每一个checkpoint
麻烦问一下，您是怎么从新打镜像的，是把原来的jar解压出来，然后在打包么？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
麻烦问一下，从新打镜像，是把原来的包解压然后从新打包么
--
Sent from: http://apache-flink.147419.n8.nabble.com/
感觉还不光是phoenix反序列化的问题，我用hbase client直接获取数据，返回的数值型数据都是乱码或错误的
Get get = new Get("2900".getBytes());
Result result = table.get(get);
while (result.advance()) {
Cell currentCell = result.current();
byte[] rowKey = CellUtil.cloneRow(currentCell);
byte[] family = CellUtil.cloneFamily(current
目前自己的解决方案是像之前版本1.10类似
.
"containers": [
{
"name": "jobmanager",
"image": "flink:1.11.2-scala_2.11",
"command": [
"/bin/bash",
"-c",
"/opt/flink/bin/historyserver.sh start;/docker-entrypoint.sh
jobmanager;"
hi、phoenix文档中数据类型部分有描述兼容现有hbase类型的类型，你可以看一下，就是名字有些区别
TonyChen 于2020年10月10日周六 下午5:02写道：
> 好的，我理解您的意思是：
> 1，目前我的数据已经写到hbase中，只是phoenix在获取数据的时候反序列化存在问题。
>
> scan 'ods_iot_gasdevice'
> ROW COLUMN+CELL
> 2900 column=base_info:device_id,
>
好的，我理解您的意思是：
1，目前我的数据已经写到hbase中，只是phoenix在获取数据的时候反序列化存在问题。
scan 'ods_iot_gasdevice'
ROW COLUMN+CELL
2900 column=base_info:device_id,
timestamp=1602319974755, value=\x00\x00\x0BT
2900 column=base_info:ver
Hi，云昆
首先，如果Congxian回答的，sst文件是不变的，所以就有了“增量”的前提，如果多个checkpoint均包含某个sst文件，那么该文件可以在多个checkpoint间共享，这些文件表示是属于shared的文件，存储在shared目录下，可以参考文档[1]。
这并不与保留一个checkpoint不一致，增量checkpoint的含义是上传的数据是增量的，但是每一个checkpoint均是完整的，没有上传的重复数据依赖于之前checkpoint上传过，所以这些文件才会存储在“shared”目录下，意指可以被多个checkpoint共享。而state.checkpoints.
hi、phoenix类型和hbase类型有一部分不兼容：1、使用phoenix建表并通过phoenix jdbc插入数据；2、使用hbase
api建表并插入数据，然后phoenix映射到现有hbase表；现在是数据通过hbase
api存到hbase了，但phoenix反序列化读取时候有问题，或者你建phoenix表的时候数据类型选择兼容hbase原始类型的类型
TonyChen 于2020年10月10日周六 下午4:25写道：
> 我这个表就是用 phoenix 创建的。。
>
>
> Best,
> TonyChen
>
> > 2020年10月10日 下午4:11，Dream
Hi
可以在yaml文件中覆盖原始的 ENTRYPOINT 启动命令 [1]
或者可以参考 FLINK-17167 [2] 中的修改更改原始Dockerfile中的docker-entrypoint.sh
[1]
https://kubernetes.io/zh/docs/tasks/inject-data-application/define-command-argument-container/
[2] https://issues.apache.org/jira/browse/FLINK-17167
祝好
唐云
我这个表就是用 phoenix 创建的。。
Best,
TonyChen
> 2020年10月10日 下午4:11，Dream-底限 写道：
>
> hi、phoenix要映射现有hbase表，改一下phoenix建标语句应该可以解决
>
> TonyChen 于2020年10月10日周六 下午4:03写道：
>
>> 查了下
>>
>> hbase(main):011:0> get 'ods_iot_gasdevice', '2900'
>> COLUMN CELL
>> base_info:device_id
hi、phoenix要映射现有hbase表，改一下phoenix建标语句应该可以解决
TonyChen 于2020年10月10日周六 下午4:03写道：
> 查了下
>
> hbase(main):011:0> get 'ods_iot_gasdevice', '2900'
> COLUMN CELL
> base_info:device_idtimestamp=1602314819543,
> value=\x00\x00\x0BT
> base_info:verify_code
查了下
hbase(main):011:0> get 'ods_iot_gasdevice', '2900'
COLUMN CELL
base_info:device_idtimestamp=1602314819543, value=\x00\x00\x0BT
base_info:verify_code timestamp=1602314819543,
value=54976e8caf8f524
status_info:battery_power t
flink1.11.2 在k8s上部署,如何启动history server
之前1.10的yaml里面可以加命令,但是1.11的yaml是通过docker-entrypoint.sh
好像没发现这个入口脚本没有对应的history server参数
原来的sst文件存在原来的chk-***下面，意味着原来的chk-***不会被删除，这与stat.checkpoints.num-retained保留1个checkpoint不一致吧？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月09日 10:47，Congxian Qiu 写道：
Hi
增量 checkpoint 是指，每次只上传的 *必须的* sst 文件。因为 RocksDB 生成的 sst 文件是不可变的，所以之前上传过的
sst 文件直接引用即可，这样减少了很多 sst 文件的上传（也减少了
我看你是在 phoenix 中查询的，有试过在 hbase shell 中查询吗？
On Sat, 10 Oct 2020 at 15:36, TonyChen wrote:
> 补充下：print输出数据正常
>
> 11> +I(2910,2910,c514eecbc5c4748,9,1,2020-10-10T15:26:48.182)
> 12> +I(2911,2911,0d1508ec452d27e,68,4,2020-10-10T15:26:48.182)
> 3> +I(2902,2902,54976e60b7e8f54,83,1,2020-10-10T15:26:48.
补充下：print输出数据正常
11> +I(2910,2910,c514eecbc5c4748,9,1,2020-10-10T15:26:48.182)
12> +I(2911,2911,0d1508ec452d27e,68,4,2020-10-10T15:26:48.182)
3> +I(2902,2902,54976e60b7e8f54,83,1,2020-10-10T15:26:48.182)
5> +I(2904,2904,72806e351aa5849,75,1,2020-10-10T15:26:48.182)
8> +I(2907,2907,1f17c8000abc9e1,3
Hi, all
我在本机进行FLINK输出到HBase的测试，采用datagen生成数据，直接输出到Hbase，发现除rowkey以外全部为null。
请大家帮我分析下问题，谢谢。
Flink 版本 1.11.1；HBASE 版本: 1.4.13 ; phoenix 版本: 4.15.0-HBase-1.4
HBASE中的建表SQL：
CREATE TABLE IF NOT EXISTS "ods_iot_gasdevice"(
"rowkey" varchar not null primary key,
"base_info"."device_id" INTEGER
暂时没有听到相关的计划，如果有相关需求，欢迎在社区发起讨论
@jincheng sun 金城老师看有没有什么补充？谢谢
Best Regards,
Yu
On Fri, 2 Oct 2020 at 19:21, milan183sansiro
wrote:
> 请问社区有无对IoTDB的source或sink的支持计划
>
>
21 matches
Mail list logo
