手动执行SST的拷贝目录

公司内部的hdfs格式无法满足download命令的host:port/path,导致必须手动下载
请问DOWNLOAD的具体操作步骤是怎样的?
我把数据直接hadoop fs -get到$NEBULA_HOME/data/storage/nebula/{space_id} /download再执行INGEST虽然显示JOB SUCCESS,但statis是没有导入数据的
是不是需要两步

  1. hadoop fs -get到$NEBULA_HOME/data/storage/nebula/{space_id} /download
for disk in storage_list: 
    hadoop fs -get $HDFS_PATH $DISK_HOME/data/storage/nebula/{space_id} /download

还是说只执行第2步就够了?一开始安装的时候$NEBULA_HOME所在盘比较小,如果只执行2就可以还可以避免磁盘打满的问题

两步就可以的。

  1. 你的sst文件生成后,space以及space下的tag/edge 没有进行删除重建或者修改吧
  2. 你环境中有几个nebula storage实例?是否每个storage实例机器下都手动下载了sst文件了

1:没有
2:3台机器每台1个storage进程,每台10块磁盘,总共30块

请问如果要手动执行是不是得30块磁盘都hadoop fs -get下来呢,感觉手动执行的话冗余太多了,
如果是nebula的DOWNLOAD的话,是不是每个disk只下载自己的part部分,相当于全量数据只需要get下来一份?手动因为无法确定part,得get下来30份 :disappointed_relieved:

此外请问如果我需要自己改nebula源码编译重新安装的话,是不是service restart all就好了,数据不用冲导入吧

不是每个块盘执行一次,是每个storage实例执行一次下载。
如果你的space是单副本,每个storage只需要download自己的part部分,如果是3副本,每个storage需要download全部part数据。

那我应该就是3个storage分别下载自己的part了。可是怎么查询每个storage是对应那些part呢?

再一个是请问重新编译安装是直接restart all就好了吗

use space
show parts

就能知道每个storage管理哪些part了。

是的

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。

浙ICP备20010487号