使用nebula-importer导入38亿边，磁盘用尽后，导致导入中断，后又逐渐恢复

问答 问题
1
  • nebula 版本：3.1.0 importer也为对应最新版本
  • 部署方式：分布式
  • 安装方式：RPM
  • 是否为线上版本：N
  • 硬件信息
    • 磁盘SSD 400G * 3
    • 16C64G * 3
  • 问题的具体描述

如题，图中已经存在这38亿边，再次进行同步时，占用磁盘用尽，在后续又逐渐恢复！

望专家解释下原因，是否和rockbd有关

先行感谢

2

:joy: 先来纠正下，是 rocksdb，不是 bd 。

然后 importer 是不支持断点续传的，你可以再详细描述下当时的场景吗

3

有可能是触发compact了，你这么多数据不搞个几T的SSD吗 :sweat_smile:

4

就是存粹的想全量导入。csv数据量大小大概在1.8T

是不是一开始全写wal 然后就两三个小时写满，后面wal写到sst wal删除了 就又慢慢释放了？

5

哈哈哈哈
资源紧张啊，各种申请

6

wal 的默认删除时间是 4 个小时，:thinking: 你时间超过了吗？

7

目测看还真是，我十点开始操作，14点开始慢慢释放

8

:joy: 我让研发看看有啥补充没哈

9

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。