是应该根据内存大小来配置吗,以后可以更改?我看手册上是10个到100个,有什么区别吗。
主要看你的节点数目吧 每个节点分配不用太多
partition数量越多,数据粒度越小,可以更有效的命中热点数据。但也会增加内存使用量,因此建议结合节点数量和内存容量来决定partition。
3台机器,10个就够用了。
有没有一般性的配置参考策略,类似XXG内存,XX量热点数据,期望热点数据hit rate,配置多少个Partition这样的?
目前还没有具体的配置标准,通常情况下我们建议 partition在10-100之间,单机部署设置10 partition足以应对大多数情况。
1 个赞
partition 数量不影响 cache hit的。还是要靠内存多,大力出奇迹。
(个人理解)partition大小,对于调度会有影响吧。如果是测试环境内存容量比较小,partition数量越多内存消耗成比例增加,所以,控制partition数量。生产环境,内存配置高,可以提高partition数量。只是每个partition大小,会不会有个普遍值,比如96M,64M等等,此时调度性能良好,热点命中也高。
如果数据总量1024G,replicator为1,partition设置为10个,则每个partition大小100G左右。若partition设置为100个,每个partition大小10G。如果有3个storage节点,平均每个节点就是3个和30个partition的情况。
还请指正
链接失效了,麻烦更新一下,谢谢