nebula使用内存异常

  • nebula 版本:3.0.1
  • 部署方式:云端
  • 安装方式:源码编译
  • 硬件信息
    • 磁盘:普通硬盘
    • CPU、内存信息: 3节点4C32G
  • 问题的具体描述
    低使用率情况下内存持续上升

    1月31号有个图空间的数据全量导入,CPU使用率有点波动。
    2月3号内存使用详细情况

前段时间一段时间多个导入任务甚至出现内存几乎耗尽,并且长时间不释放

请教下该问题可能的原因,或者定位思路

:thinking: 你们自己搭了一套云环境,没有用阿里云或者是 Azure 是么?

华为云

是storaged占用多是吗? 刚好前面有导入任务, 后面一段时间, 可能在做compact, 可以看下有没有compact相关的日志

对是storaged,第一个图是7天内存监控一直持续增长,如果是compact不会这么久无法释放吧

  1. 鉴于内存就32G,part数量, rocksdb和memtable相关参数都得调小
  2. block_cache多大
  3. 可以观察下刚启动时内存占用,如果刚启动占用就不小,需要把rocksdb的index/filter从cache踢出去
1 个赞

part数量:15
block_cache:16G(有些大了)
图空间:百万实体(一共三个图空间,一个是空的,另一个只有几万数据且不会使用)
启动时内存:2G

导入任务的时候,触发compaction会有大量的内存占用,另外平时内存下不来可能是rocksdb的block cache设置过大,还有可以看下sst是否过多,可能bloom filter 也会耗费进程内存,可以放到block cache里面

2 个赞

先把block_cache调小吧 太大了

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。