Star

对于partition数量有没有什么指导性建议

是应该根据内存大小来配置吗,以后可以更改?我看手册上是10个到100个,有什么区别吗。

主要看你的节点数目吧 每个节点分配不用太多

partition数量越多,数据粒度越小,可以更有效的命中热点数据。但也会增加内存使用量,因此建议结合节点数量和内存容量来决定partition。

3台机器,10个就够用了。

有没有一般性的配置参考策略,类似XXG内存,XX量热点数据,期望热点数据hit rate,配置多少个Partition这样的?

目前还没有具体的配置标准,通常情况下我们建议 partition在10-100之间,单机部署设置10 partition足以应对大多数情况。

1赞

partition 数量不影响 cache hit的。还是要靠内存多,大力出奇迹。

(个人理解)partition大小,对于调度会有影响吧。如果是测试环境内存容量比较小,partition数量越多内存消耗成比例增加,所以,控制partition数量。生产环境,内存配置高,可以提高partition数量。只是每个partition大小,会不会有个普遍值,比如96M,64M等等,此时调度性能良好,热点命中也高。
如果数据总量1024G,replicator为1,partition设置为10个,则每个partition大小100G左右。若partition设置为100个,每个partition大小10G。如果有3个storage节点,平均每个节点就是3个和30个partition的情况。
还请指正

目前我们的文档增加了对partition的建议,详情见资源估算(3副本标准配置)
另外,我们的社区用户也给出过他在生产环境里的建议:即每盘36partition

浙ICP备20010487号