storage启动后内存一直提升无法降下来

[wzw]

提问参考模版：

• nebula 版本：3.3.0
• 部署方式：单机
• 安装方式：RPM
• 是否上生产环境：N
• 硬件信息
  • 磁盘 高速云盘
  • CPU、内存信息 4u8g
• 问题的具体描述
  已经成功导入数据到nebula,但是storage耗尽内存被杀，重启服务后内存一直缓慢增长，几次尝试都是在启动后十多个小时耗尽内存，看过站内其他帖子，已经关闭page_cache,enable_rocksdb_prefix_filtering也给的false,max_open_files调小到了20，还是一点效果都没有，nebula日志没有异常，使用jeprof查看了storage进程内存使用，没看出异常项（看的也不是很明白）。现在nebula里的数据量大概是百万级别的点和千万级别的边，共有127个图空间，每个图空间100个分片。
  内存监控：
  
  storage配置：
  
  
  
  
  
  
  
  
  
  jeprof pdf:
  104119.pdf (23.2 KB)

[MuYi-方扬]

@wzw

百万级别的点和千万级别的边，共有127个图空间，每个图空间100个分片

4C8G，百万级别的点和千万级别的边，共有127个图空间，每个图空间100个分片
够狠！

[wzw]

没办法通过调整配置存下这些东西吗？少在内存放点？因为看官方文档写的硬件要求是内存8g就可以，随便导了些数据就出了问题，不知道是什么原因，如果是硬件配置确实太低支撑不了我可以加配置，另外想问一下有数据量和内存使用的计算公式吗？也方便我估计一下

[MuYi-方扬]

计算公示文档里有的，可以收藏

准备资源 - NebulaGraph Database 手册

为啥你需要那么多图空间？因为一个图空间至少一个rocksdb，单纯的这些开销就不少了。
一般也没这么玩的。。。

[wzw]

我用这个公式算了一下，按你说的rocksdb实例数量和图空间数量一致，取127，代入算出需要的内存应该在10G左右，但是我换了32G内存的机器跑内存占用没有稳定在10G，前期缓慢增加到
20多G，然后降低到13G左右，现在又在提升，到了16G左右，不知道这个下降和再度提升是什么原因，因为目前在做数据迁移测试，数据前期导入后就没有进行任何操作，从内存数据上看并不稳定

另外回答一下前面的问题，我们之所以图空间设计的很多，主要是知识域比较杂，域和域之间比较隔离，所以设计成单个图空间了，如果性能影响很大后面我们考虑重新设计一下，之前不知道是一个图空间一个rocksdb

[wzw]

32G内存也吃不住，这个问题该怎么解决？还烦请回复一下，就是图空间不能那么多么？

[zhangshixiang]

可以设置下block cache的上限，然后使用WriteBufferMananger，所有的rocksdb的内存 用WBM管理，把WBM放到 block cache里面，但是你需要算下所有part的内存占用

Write Buffer Manager

[wzw]

block cache上限是–rocksdb_block_cache配置项吗？还是说rocksdb里面的配置项？

[wzw]

另外write buffer manager我不太清楚要怎么处理，‘把WBM放到 block cache里面’究竟是要怎么配置，还麻烦讲解一下，感谢

[bofa1ex]

同问，有解决方案吗？

[wzw]

不是很清楚是什么情况，我这边把分片数降下来之后内存就稳定了，之前的分片数比较高，磁盘又比较一般，或许是出了什么问题。但是之前我看io利用率也没有特别高，日志里也没有相关报错，还是挺疑惑的。另外就是之前回答里说到的内存估算，我这边按照一个图空间一个rocksdb实例代入去算，得到的内存估算结果是很高的，但是实际运行看storage占用和rocksdb日志，并没有用到那么多，而且差距还很大（一两个数量级），这点也很困扰我，不知道是否公式使用正确