最短路径优化问题

问答 问题
,
1
  • nebula 版本：2.5.1
  • 部署方式：分布式
  • 安装方式： RPM
  • 是否为线上版本：Y
  • 硬件信息
    • 磁盘（ 推荐使用 SSD）ssd
    • CPU、内存信息 48C, 256G
      6台服务器，3 meta，6 graph 6 storage
  • 问题的具体描述
    数据量级：10亿 点，30亿的边关系

进行最短路径的查询

FIND SHORTEST PATH WITH PROP FROM “e45c0ed51a12622300539630299cbb4a11e9558b” TO “003fef94eebfdd3b622be7366c6a2ce66d7feaca” OVER * BIDIRECT;

该点在一跳和两跳的数据量

企业微信截图_16366998972338
企业微信截图_163669989723381154×374 13.6 KB

进行五跳的最短路径搜索会导致graph挂掉，应该事OOM
请问有什么优化方案，或者满足这个数据量级需要的服务器集群规模是怎么样？

2

上面OOM是由超级顶点所致，对于大量数据的分析建议采用 nebula-algorithm 试试，

2 个赞
3

nebula-algorithm是否也是将所有的数据加载到内存进行计算，如果资源不够是否还是会出现OOM的问题？

4

nebula-algorithm 是通过spark集群进行计算，会将数据加载到内存中，并行计算。相对于nebula-graph方式会快很多。资源占用量不好评估，需要您这边试一下。

5

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。