Star

32g内存 16核 使用importer导入只有1w/s ,正常吗 应该调整什么参数呢

感觉太慢了 有人知道怎么调优吗

1赞

channelBufferSize: 128
batchSize: 100
这俩都设置成这样了 一开始有4w/s 但越来越慢 最后只有几千/s

请问有索引吗?

有两个tag 有索引的

如果是初始的数据导入,建议先删除索引,待原始数据导入完成后再通过 rebuild index 命令进行索引重建。
在数据导入时,如果索引存在,可能会导致性能衰减的问题。原因是导入数据时,如果存在索引,导入逻辑会首先判断对应此条数据的索引row是否存在,无序数据量越大,判断时间会越长。针对这个问题,有解决办法,1,数据导入完成后再 create index、rebuild index; 2,批量导入数据,每导入一个量级的数据后做一次compact。建议第一种解决方案。

但是根据你说的每秒几万甚至几千的导入速度,确实有些不正常。通常单节点的情况下,不带索引 :30-50w/s . 带索引 10w/s 左右。

1赞

还可以把block_cache放大一点,这样读索引的时候能快很多。

drop 掉索引后确实快了 但是也就4w/s ,是不是服务器配置的问题啊

调到10g了 一共是32g内存

日志级别查下
硬盘的写性能有问题,fio看下性能
各软件版本更新下
batchsize加倍
partition数量检查下
字段太多

浙ICP备20010487号