nebula写入QPS多少

  • nebula 版本:
  • 部署方式(分布式 / 单机 / Docker / DBaaS):分布式
  • 硬件信息
    • 磁盘(SSD / HDD):HDD,每台机器12个目录
    • CPU、内存信息:内存40G CPU 32核心
  • 问题的具体描述
    1.创建一个space,分区设置为多少比较合适?
    2.采用uuid写入的方式很慢,QPS 1.5k,改为hash方式后QPS 3W,然后修改insert values拼接的数据,相当于增加batch,调整到1000,QPS 3.7W,目前数据又200亿条,这个QPS还是太低,请问可以调整什么参数增加QPS?

space 的 partitition 最好结合着你的机器节点数和数据量来考虑

uuid 为了保证 uniqueness 涉及 storage 读写磁盘的操作,所以会慢。这边还是更推荐用 SSD 作为存储介质,之前 SSD 上测的速率比你现在还能提升 10 倍左右。

另外不知你的 graphd 是否部署了多个节点,如果是多节点的话,可以在导入的时候全部指定,这样不同 partition 的数据写入的时候能提高部分并发度。

metad,graphd,storaged都是三个。

引用space 的 partitition 最好结合着你的机器节点数和数据量来考虑
你这个具体是怎么考虑,我现在是三个节点,我设置了24个分区

  1. 换SSD。否则你写进去,后面也是一大堆问题,调也调不完。
  2. 你是不是开了索引?
  3. 200亿条还是用 spark-sst-ingest吧,别硬写了。太慢了
3 个赞