2.0GA版本importer导入少量数据也会报timeout

问答 问题
,
1
  • nebula 版本：2.0 GA
    图片
    图片817×51 3.97 KB
  • 部署方式（分布式 / 单机 / Docker / DBaaS）：Docker-Compose单机部署
  • 问题的具体描述
    通过Studio csv 文件工具上传仅一千多个节点信息，很快就报timeout，我登进importer容器看过，172.23.0.3就是importer的ip，也能ping通10.1.31.9，但就是会报timeout，请问会是什么原因？谢谢
2021/04/02 03:49:54 [ERROR] httpserver.go:207: error code: 200, message: Client(0) fails to execute commands (USE `anti_fraud`;), error: read tcp 172.23.0.3:42288->10.1.31.9:9669: i/o timeout
6

@jievince @jerry.liang @NicolaCage @hetao 大佬们来看看这个数据导入超时的问题呀

7

执行到最后一步导数据报的错误么？最后一步导入的日志截图贴一下？

8

是的，前面提示校验正确，最后一步报错的

图片
图片1798×941 39.4 KB

9

在nebula-web-docker目录，输入docker-compose ps，看下importer服务是否正常
cc: @yee 来看看

10

我是用portainer调用的compose文件

图片
图片1596×282 39.1 KB

importer容器也能docker exec进去

图片
图片987×119 13.5 KB

11

我把nebula和studio各自用的compose文件也贴一下吧，主要就是改了自定义的volume

  • nebula
version: '3.4'
services:
  metad0:
    image: vesoft/nebula-metad:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --local_ip=metad0
      - --ws_ip=metad0
      - --port=9559
      - --ws_http_port=19559
      - --data_path=/data/meta
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://metad0:19559/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9559
      - 19559
      - 19560
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/data/meta0:/data/meta
      - /tpdata/hofmann/docker/nebula-graph/data/logs/meta0:/logs
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  metad1:
    image: vesoft/nebula-metad:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --local_ip=metad1
      - --ws_ip=metad1
      - --port=9559
      - --ws_http_port=19559
      - --data_path=/data/meta
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://metad1:19559/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9559
      - 19559
      - 19560
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/data/meta1:/data/meta
      - /tpdata/hofmann/docker/nebula-graph/data/logs/meta1:/logs
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  metad2:
    image: vesoft/nebula-metad:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --local_ip=metad2
      - --ws_ip=metad2
      - --port=9559
      - --ws_http_port=19559
      - --data_path=/data/meta
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://metad2:19559/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9559
      - 19559
      - 19560
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/data/meta2:/data/meta
      - /tpdata/hofmann/docker/nebula-graph/data/logs/meta2:/logs
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  storaged0:
    image: vesoft/nebula-storaged:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --local_ip=storaged0
      - --ws_ip=storaged0
      - --port=9779
      - --ws_http_port=19779
      - --data_path=/data/storage
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
      - metad1
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://storaged0:19779/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9779
      - 19779
      - 19780
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/data/storage0:/data/storage
      - /tpdata/hofmann/docker/nebula-graph/data/logs/storage0:/logs
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  storaged1:
    image: vesoft/nebula-storaged:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --local_ip=storaged1
      - --ws_ip=storaged1
      - --port=9779
      - --ws_http_port=19779
      - --data_path=/data/storage
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
      - metad1
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://storaged1:19779/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9779
      - 19779
      - 19780
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/data/storage1:/data/storage
      - /tpdata/hofmann/docker/nebula-graph/data/logs/storage1:/logs
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  storaged2:
    image: vesoft/nebula-storaged:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --local_ip=storaged2
      - --ws_ip=storaged2
      - --port=9779
      - --ws_http_port=19779
      - --data_path=/data/storage
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
      - metad1
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://storaged2:19779/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9779
      - 19779
      - 19780
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/data/storage2:/data/storage
      - /tpdata/hofmann/docker/nebula-graph/data/logs/storage2:/logs
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  graphd:
    image: vesoft/nebula-graphd:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --port=9669
      - --ws_ip=graphd
      - --ws_http_port=19669
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
      - metad1
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://graphd:19669/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - "9669:9669"
      - 19669
      - 19670
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/logs/graph:/logs
      - /tpdata/hofmann/docker/nebula-graph/data/nebula-graphd.conf:/usr/local/nebula/etc/nebula-graphd.conf
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  graphd1:
    image: vesoft/nebula-graphd:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --port=9669
      - --ws_ip=graphd1
      - --ws_http_port=19669
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
      - metad1
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://graphd1:19669/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9669
      - 19669
      - 19670
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/logs/graph1:/logs
      - /tpdata/hofmann/docker/nebula-graph/data/nebula-graphd.conf:/usr/local/nebula/etc/nebula-graphd.conf
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

  graphd2:
    image: vesoft/nebula-graphd:v2.0.0
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559
      - --port=9669
      - --ws_ip=graphd2
      - --ws_http_port=19669
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
      - metad1
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://graphd2:19669/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9669
      - 19669
      - 19670
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/logs/graph2:/logs
      - /tpdata/hofmann/docker/nebula-graph/data/nebula-graphd.conf:/usr/local/nebula/etc/nebula-graphd.conf
    networks:
      - nebula-net
    restart: on-failure
    cap_add:
      - SYS_PTRACE

networks:
  nebula-net:
  • studio
version: '3.4'
services:
  client:
    image: vesoft/nebula-http-gateway:v2
    environment:
      USER: root
    ports:
      - 8080
    networks:
      - nebula-web
  web:
    image: vesoft/nebula-graph-studio:v2
    environment:
      USER: root
      UPLOAD_DIR: ${MAPPING_DOCKER_DIR}
    ports:
      - 7001
    depends_on:
      - client
    volumes:
      - ${UPLOAD_DIR}:${MAPPING_DOCKER_DIR}:rw
    networks:
      - nebula-web
  importer:
    image: vesoft/nebula-importer:v2
    networks:
      - nebula-web
    ports:
      - 5699
    volumes:
      - ${UPLOAD_DIR}:${MAPPING_DOCKER_DIR}:rw
    command:
      - "--port=5699"
      - "--callback=http://nginx:7001/api/import/finish"
  nginx:
    image: nginx:alpine
    volumes:
      - /tpdata/hofmann/docker/nebula-graph/data/nginx/nginx.conf:/etc/nginx/conf.d/nebula.conf
      - ${UPLOAD_DIR}:${MAPPING_DOCKER_DIR}:rw
    depends_on:
      - client
      - web
    networks:
      - nebula-web
    ports:
      - 7001:7001

networks:
  nebula-web:
12

nebula graph 也是用的容器化部署，直接让 studio 和 nebula graph 共用同一个 network 就好了，不必再把 port 映射到 host 然后在从 host 绕回来。

你先在 portainer 中创建一个 network，然后把上面的两份 compose 文件的 network 的名字换成你创建的网络

13

两个docker-compose 用了不同的 network，可以启动一个 docker-compose 后，docker network ls 查看network 是什么，然后在另一个 compose 里配置：

networks:
  {查到的network}:
     external: true

也可以先手动创建 network，在两个 compose 里都改一下。

14

我创建了外部network并在两个compose中共用

networks:
  nebula-net:
    external: true

Studio连接的时候地址填写的是nebulagraph_graphd_1:9669
仍然报错如下(确认过172.24.0.10是nebulagraph_graphd_1的地址)：

图片
图片1842×945 41.6 KB

15

你现在的情况是，studio 可以连接上 nebula graph 但是 导入的时候 importer 连不上？

16

是的，从importer容器能够ping通graphd容器，就最后导入那一步不行

17

稍等我们本地拿你的配置验证一下

18

我先后在本地的 Linux 系统和 macOS 系统上验证了容器化部署的 studio 和 nebula graph，均可以正常的导入，没能复现你的问题，我的操作步骤如下，你参考看看是否有什么不同：

clone studio 和 nebula-docker-compose

$ git clone --branch v2.0.0 --depth 1 https://github.com/vesoft-inc/nebula-docker-compose.git
$ git clone --branch master --depth 1 https://github.com/vesoft-inc/nebula-web-docker.git

在外部创建 docker 的 network

$ docker network create nebula-net
$ docker network ls  # 检查是否创建成功

部署 nebula graph

进入到 nebula-docker-composer 目录，修改其中的 docker-compose.yaml 文件，在其最后添加如下的内容：

 networks:
   nebula-net:
     external: true

external: true 表示使用外部的名为 nebula-net 的网络。

然后启动容器：

$ docker-compose up -d

部署 studio

进入到 nebula-web-docker/v2 目录，编辑其中的 docker-compose.yaml 文件，然后替换文件中的所有 nebula-web 为 nebula-net， 并在文件最后如上添加：external: true。然后启动容器：

$ docker-compose up -d

浏览器访问

在浏览器中输入 127.0.0.1:7001 便可以访问到 studio 的页面了。页面中输入如下的地址便可进入到 studio 的操作界面：

20210402192312
202104021923122534×1284 36.5 KB

在操作界面首先创建对应的图空间 space：

CREATE SPACE nba(vid_type=FIXED_STRING(8));

然后选择图空间 nba 之后再创建对应的 TAG/EDGE，比如

CREATE TAG player(name string, age int);

导入

在上述的 schema 创建好后就可以选择导入了，我这边导入成功的页面如下：

20210402192516
202104021925162539×1063 93.7 KB

2 个赞
21

还是不行，搜了一下，和这个帖子还有这个帖子的现象完全一致

22

在 B 站上传了一个使用 docker compose 部署的视频，你参考一下：

https://www.bilibili.com/video/BV1T54y1b7pa/

需要再次跟你确认一下的事，timeout 是刚开始导入就报错还是导入到中间报错？另外，你磁盘是 ssd 还是 hdd？什么操作系统？

能否去 graphd 对应的 logs 目录看看是否有出错信息？看看有没有对应的导入语句？

23

从web界面来看第一行就是timeout，未见到其它输出，从时间上来看是点击导入按钮后大约十秒左右

磁盘是hdd，Centos7，不过我导入的csv很小，就几百KB

整个导入过程中graphd的log文件中没有报错的信息，只有impoter有timeout信息

24

看起来是 importer 开始就没有能够连接上，你可以更新一下本地的镜像再次验证看一下：

  1. 检查 nebula graph 的 docker image 的 tag 是否是 v2.0.0
  2. 重新使用 docker-compose pull 所有的 studio 的 image

再次登陆验证

25

谢谢回复，也感谢@HarrisChu的提示

是dockerhub的阿里云镜像上http-gateway和importer镜像版本滞后的问题
将镜像切换到官方仓库并更新到最新版本后问题解决了，有问题的镜像版本主要是：

vesoft/nebula-http-gateway    v2                  78b17e0f8ddf        2 months ago        53.9 MB
vesoft/nebula-importer        v2                  449a1e9e2871        3 months ago        14.9 MB
2 个赞