storaged节点内存持续上涨

你好目前我们有5个storaged节点, 存量数量大概有405个图空间,其中每个图空间不会很大,现在遇到5台storaged节点内存占用持续上涨问题,而且把内存撑到90%,只到拒绝服务,请问有什么办法可以优化啊?
每台storaged节点为32G。
目前设置block_size为1/3的内存,max_open_files=200,cache_index_and_filter_blocks:true
也设置了enable_partitioned_index_filter=true,论坛其他优化文章我基本都看了,都试了还是不行
如果没有解决办法的话,那就很尴尬了,一直吃内存根本用不了。

你看下这个帖子,:thinking: 你确认下是什么原因导致的持续上涨。

你好,都试过了,还是不行啊,还是持续的上涨

405个space :innocent:
平均一个storaged上有几个partition啊?

一个space设置的分区为100,副本为3

raft log buffer那个fix可能可以等下3.7版本,但你这个实在有点多了,405 * 100 * 3 / 5 = 24300,超过1000就很多了,看下能否清理清理吧?

1 个赞

谢谢大佬,我分片的确分的有点大,我想请问下如果我副本为3,是不是表示我的某个图空间的数据分别存储在ABC单台机子上?

如果你的集群一开始就是5个storaged的节点,那么3副本的数据会平摊到5个节点上,也就是每个节点上有3/5的数据,具体点,100分片3副本一共是300个分片的数据,平均每个节点就是300/5=60个分片。

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。