nebula-spark-connector连接connect time out

  • nebula 版本:3.2.0
  • 部署方式:云端
  • 安装方式:Docker
  • 是否为线上版本:Y
  • 阿里云自己用docker搭建的测试机

使用spark-writer 连接nebula连接失败connect time out
image
image
image

报错:

spark-connector版本为3.0.0
image

可以参考一下 https://siwei.io/nebula-algo-spark-k8s/

spark connector 读取数据是从meta 里获得 storaged 的地址,然后扫 storaged,你用 docker compose 部署的 nebula,这些地址都是容器间内部的域名,spark 如果不是在同一个容器网络是无法访问 metad storaged

docker compose 里最好的方法是 spark 运行在 nebula 同一个容器网络,你可以用 nebula-up 一键准备好这个环境用来开测试

http://nebula-up.siwei.io/ 用里边的all-in-one 全家桶模式

如果你竟然是在生产中用docker-compose跑nebula,那么spark 应该是跑在外边的,可以参考我这个方法https://gist.github.com/wey-gu/950e4f4c673badae375e59007d80d372

1 个赞

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。