Star

批量Ingest数据,部分partiton数据读取失败

背景:

kvstore 场景下离线生成目录对应partition 的sst文件,ingest 完成之后,部分part数据storage-client读取失败。

Nebula部署在两台机器 m1,m2 上, 10分片 2副本,storage 存放地址分两个盘 p1 , p2。

p1路径管理 1,4,6,7,10 这5个part
p2路径管理 2,3,5,8,9 这5个part

m2 机器和m1情况一样。

现在我分别把

1,4,6,7,10 part的 数据生成sst直接 ingest 到 p1目录
2,3,5,8,9 part的 ingest 到 p2目录

但是启动nebula 之后 读取不到 1,2,7,8 part 中的数据,Storage Log 也报Cannot find the part 1,2,7,8 in graph space 1。

我想问一下这是什么原因呢?需要修改元数据吗

单机分两个盘ingest导入是没有问题的。

我没有太理解你的意思,你的数据是在其他的机器生成之后然后拷贝到m1和m2上?

是的,我是想直接生成sst文件直接ingest对应目录下面

不好意思,我们暂时不支持这种倒入.

但是我看到你们 是有一个spark-sstfile-generator 工具的

那个工具目前有些问题 这部分也正在重构中

浙ICP备20010487号