图计算加载点边数据

问答 问题
1

ng_ai在进行图计算时，会将点边数据加载到内存中，实现中应该是有NebulaEngine和SparkEngine两种方式加载数据：
（1）NebulaEngine：ng_nx源码应该是通过match语句去查询边，从而实现数据的读取？当图规模较大时，这种通过match查询获取全量数据的性能（耗时、内存）应该会存在问题吧？
（2）SparkEngine：spark-connector中获取数据的方式也是通过查询语句去获取的么？还是其中调用了相关接口直接对接了底层存储数据？在图规模较大的时候，通过这种方式从nebula中加载图数据应该不会存在较大的性能问题？

2
  • networkx engine, ng_nx 目前只实现了 query reader，回头我会实现 scan reader，这样就也可以不依赖 graphd query 了，但是这个 netoworkx 的运算是在单机上的。
  • spark engine，这个是在 spark 里边扫 storaged 的，所以适合处理大图，可以 scale 哈
3

好的，谢谢~

2 个赞
4

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。