使用nebula graph studio 导入OwnThink 出错

Dligence · 2020 年12 月 20 日 01:44

nebula 版本：1.0
部署方式（分布式 / 单机 / Docker / DBaaS）：Docker 单机
出问题的 Space 的创建方式：执行 describe space test;
问题的具体描述
我是参照https://nebula-graph.com.cn/posts/import-ownthink-knowledge-graph-data-to-nebula-graph/进行的，只不过导入数据是通过studio进行的。配置成功后刚开始导入后是正常的，保持在Rows AVG(18000/s)。但是运行了4000多秒后就会出现error，具体大致为

2020/12/19 17:27:23 [ERROR] handler.go:63: Client 8 fail to execute: xxxxxx   Error: read tcp 172.18.0.3:59048->172.22.205.125:3699: i/o timeout**
2020/12/19 17:29:24 [ERROR] handler.go:63: Client 4 fail to execute: xxxxxx   Error: execute failed: out of sequence response

然后chrome浏览器网页就会崩溃，studio整个崩掉，显示错误代码-6，导入终止。

Dligence · 2020 年12 月 20 日 01:47

2020/12/19 17:27:15 [INFO] statsmgr.go:61: Tick: Time(4150.00s), Finished(59002550), Failed(0), Latency AVG(4875us), Batches Req AVG(6851us), Rows AVG(14217.48/s)
2020/12/19 17:27:21 [INFO] statsmgr.go:61: Tick: Time(4156.36s), Finished(59002550), Failed(0), Latency AVG(4875us), Batches Req AVG(6851us), Rows AVG(14195.73/s)
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 8 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  365045374549288681: ("范芳"), 7683955967455557157: ("裸体入睡"), -2021556503064548983: ("《老百姓的日子》是小说阅读网连载的小说，作者是林焕军。"), -1674585304481376166: ("包兴桐"), -7706416290067471176: ("《剑魔★天穹神笛》由小说阅读网连载的传统武侠小说，作者是博遁。"), -3720308112437536916: ("埋葬青春"), 5063909697995531957: ("《五更灯》是连载于云中书城的小说，作者是王逸飞。"), 1598414875538840415: ("风希颜"), -4089108442932962838: ("依稀梦影"), -1085061444471355196: ("我也想在树上筑巢");, Error: read tcp 172.18.0.3:59048->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 2 fail to execute: INSERT EDGE `relation`(`name`) VALUES  -1410834647433401487->-1316965180729692256:("软件语言") , -7604198151627393364->2998889691179965554:("标签") , 5435119444888802290->8341072533866751257:("出版社") , 7618679080370469540->-5163194202097628956:("描述") , -2711370858197982825->2707891216511384902:("公司口号") , 1103413236584399501->-2062224453361981929:("运动项目") , -1939269171456948063->-1504571020113232826:("国籍") , 5013592969374257257->-6262388409430885669:("描述") , -5831494727267857776->569169981729827561:("通过") , 2290138949484059678->6359382192559462999:("外文名") ;, Error: read tcp 172.18.0.3:59024->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 1 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -3581680427339557063: ("万神斩"), -2532336430165157112: ("小说类型游戏网游内容简介本书主角本是一个不起眼的学生,为了赚钱,他进入了一款名为“命运”的虚拟网游,他打怪练级,交朋友,PK,渐渐的他明白了一个道理,自己的命运,掌握在自己手上。"), 1508656953270114038: ("月涵枫"), -3094833407794123988: ("伊恩泰格战记"), -5588731985704332902: ("《草根学写作》是在起点中文网连载的小说，作者是赵公明1963。"), 423769485797906281: ("纠结的小辰"), 6977302809928818465: ("星云铁骑"), -2613608734712028360: ("小说类型传统武侠内容简介《赤陨——回雁峰之卷》 独伫秋园烟笼江,枫露泣凝香,楚山连天遮望眼,紫电射寒芒,潇湘夜雨易残阳。"), -8108757951390358342: ("血天狼"), -1941487336550550725: ("回清寻梦");, Error: read tcp 172.18.0.3:59020->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 5 fail to execute: INSERT EDGE `relation`(`name`) VALUES  -6985695815553932013->-874090435848548794:("标签") , 2767296877180577957->4799770939067836397:("标签") , 4235439799046058043->-874090435848548794:("标签") , 508742218600458907->6920171280495624175:("工作原理") , 5420361172934897975->8335384023635012047:("条形码") , 1698649983645148965->-7689068300747841594:("描述") , 1334757200368595062->-2062224453361981929:("运动项目") , -801420477504043716->-4389840967350532376:("标签") , 1585732764720760391->3106527204773368865:("描述") , 7722754694675539230->1338975269416351635:("民族") ;, Error: read tcp 172.18.0.3:59036->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 4 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -8075768235188565848: ("春山暖日"), 4371468786053804464: ("KISS 蔷薇花的☆ 吻"), -4570686936033665402: ("小说类型都市言情内容简介苍茫大地一剑尽挽破,何处繁华笙歌落。"), 1021127539608268308: ("画下你爱笑的眼睛"), -6891452421229195348: ("jsb蒋超圆"), 849409417131929107: ("情蛊劫"), -269201173541206220: ("《梦回大清之争夺后位》是连载于红袖添香网的一部网络小说，作者是淡定青春。"), 2076472016054536508: ("心瑶妹子"), -5012926266642870897: ("末世我们不爱"), -3707291060790681177: ("小说类型都市言情内容简介诡异的校园,惊悚的游戏,和惨死的猫。");, Error: read tcp 172.18.0.3:59032->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 7 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -1964216835976852384: ("阿堃"), 9073467438876695885: ("流星与辉"), 7831997858354183051: ("《网游之逍遥王座》是一部连载于17k小说网的网络小说，作者是光翼。"), 7674801070408297969: ("逆流成河的小忧伤"), 1048863740161469481: ("琥珀荆棘"), 8161162477406276631: ("都市美人传"), 2208837660312936792: ("小说类型异界大陆内容简介骂破虚空,骂破苍穹,骂爆时空,。"), 6783474647727666375: ("荒凉破"), -2591241419891356468: ("榨汁机里的人"), 5823436688236217405: ("小说类型游戏网游内容简介骑神龙?不好意思此游戏没有神兽!万人敌?ON~ON!心中的女孩一个眼神就能将他秒杀!争霸天下,纵横四海?他只想和她在游戏中简简单单的度过这快乐的时光。");, Error: read tcp 172.18.0.3:59044->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 0 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -7209598038711948891: ("失而复得的惊喜"), -5593974939235023395: ("小说类型青春校园内容简介想当年,周末晚上和她偷跑出学校去山上看星星那会,最多也就忍不住捏她的小脸蛋玩玩,让她靠一下肩膀占我一下便宜,彼此讨论一些,以后生多少个孩子呀,要男要女的呀,起名字是叫杨梅,还是叫杨柳之类的话题…… ..."), -5497314720172971792: ("小说类型言情小说内容简介淡漠如丝,爱的边际有着无限的回忆,缠绵如藤,剪不断心中的那份思念。"), 7972444312716900463: ("银色妖姬"), -2849755403765709372: ("迷糊女生拼爱记之赖上冰山王子"), -6369212769498465054: ("《秦河落微阁》是连载于小说阅读网的小说，作者是锦忧忆水。"), -3507924252684621985: ("玄天行"), 8616135614261956301: ("《吾为红颜负天下》，作者风浅浅，连载网站小说阅读网。"), 3433351002063349040: ("半夏轻浅"), 8954576638061868553: ("小说类型都市言情内容简介天生的炽热绯红长发,暗红的瞳孔,注定一生不得安宁。");, Error: read tcp 172.18.0.3:59016->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 6 fail to execute: INSERT EDGE `relation`(`name`) VALUES  3779121965457918263->6520908577538597652:("出版时间") , -9086971291561715032->7687585620880455230:("标签") , -518358727322793303->7282951971071689374:("开本") , -9200522132604590447->3074751653163934332:("标签") , 8244627626128670787->-5649064269410248986:("ISBN") , 6642625102876225939->2644902012374825024:("描述") , 6642625102876225939->-8848188186126307262:("标签") , -5852858339732695754->1167925064520439529:("页数") , -5556131403125252635->7625043222466528130:("总部地点") , 685502733050975865->7377199760391386599:("别名") ;, Error: read tcp 172.18.0.3:59040->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 3 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -4634979002439220285: ("梧桐心雨"), -188569099671833269: ("侧影和背影哪个才是你"), 5181758171081732036: ("《一个梦旅人的自述》是连载于起点中文网的一部网络小说，作者是随便叫。"), 7927945489374124092: ("苮魜球"), -4636318163364626306: ("等待一生最初的守候"), 2780111036490293340: ("天堂没有路"), 2787487906616979409: ("小说类型都市言情内容简介男女之情,来时,如兰花绽放般清新怡人;去时,如柳絮飞舞般身不由己——斯文俊雅的葛慕杨,美丽飒爽的赵娉婷,内敛脱俗的顾倾睿,温柔内秀的席幼妤,他们的爱情故事将如何演绎…… ..."), 5539638337030216425: ("静竹香"), 5417769341266877447: ("苏氏瑾宁"), 4296157346083584972: ("《胖妞重生计》是在起点中文网连载的小说，作者是火玫瑰夫人。");, Error: read tcp 172.18.0.3:59028->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:23 [ERROR] handler.go:63: Client 9 fail to execute: INSERT EDGE `relation`(`name`) VALUES  750105294097839180->304511375253528807:("作者") , -6126900628005909267->-3189716836055200871:("标签") , 6669737312309156279->1338975269416351635:("民族") , 6363483546888560653->7843539366038776689:("出版时间") , 585404414414589067->-3744805985555880801:("标签") , 347170582693935743->347170582693935743:("中文名称") , 933604639445974686->4059523959365298980:("标签") , -7570683494007623912->-2894346793972029949:("对白语言") , 5383249692669031825->4860908088795856387:("描述") , 991402404746102606->4735064380198607969:("行政区类别") ;, Error: read tcp 172.18.0.3:59052->172.22.205.125:3699: i/o timeout
2020/12/19 17:27:25 [INFO] statsmgr.go:61: Tick: Time(4160.00s), Finished(59002650), Failed(100), Latency AVG(4875us), Batches Req AVG(6851us), Rows AVG(14183.33/s)
2020/12/19 17:27:30 [INFO] statsmgr.go:61: Tick: Time(4165.00s), Finished(59002650), Failed(100), Latency AVG(4875us), Batches Req AVG(6851us), Rows AVG(14166.30/s)
2020/12/19 17:27:30 [ERROR] handler.go:63: Client 7 fail to execute: INSERT EDGE `relation`(`name`) VALUES  -6985695815553932013->-9175562931545643250:("标签") , 4235439799046058043->-8797508427330112861:("描述") , -2552466786910765933->8183491175635847302:("描述") , 508742218600458907->-570095267552044049:("最小长度") , 5420361172934897975->2722256086988226037:("标签") , 1698649983645148965->1150407853588551012:("总部地点") , 1334757200368595062->4799770939067836397:("标签") , -801420477504043716->-874090435848548794:("标签") , 1585732764720760391->1816610825190024971:("总部地点") , 7722754694675539230->4255487096296398141:("出生日期") ;, Error: execute failed: out of sequence response
2020/12/19 17:27:30 [ERROR] handler.go:63: Client 8 fail to execute: INSERT EDGE `relation`(`name`) VALUES  5745481969369585505->-4891897809393969079:("车站编号") , -8819690325893444282->-2844061290914049957:("信仰") , -2084799090178645225->2633987629207259833:("参战国家") , -8522590291375015515->6292823152600741786:("途经线路") , -5447613220175591493->-4996911017324977324:("类型") , 6455377763794465010->316500858201385943:("联系电话") , 4908006728687260784->2899015600721308611:("集数") , 2830534178405012093->-2062224453361981929:("运动项目") , -9133950673050032240->-3993314131756484388:("车站类型") , -1313330490509912815->7851585129113634973:("出生日期") ;, Error: execute failed: out of sequence response
2020/12/19 17:27:30 [ERROR] handler.go:63: Client 2 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -4975309244847920633: ("《都市之守护女生》是一部连载于17k小说网的网络小说，作者是无敌小勇士。"), 5990200252637170632: ("竺七"), -5839006339422524136: ("灵魂代言人"), -4262723089337369128: ("轻型护卫舰"), -1401830911532075296: ("宫紫雪"), 305702259590070792: ("恶魔女王生死簿"), -4363801812706443723: ("《季生木何生水》是17k小说网连载的小说，作者是穆晓冉。"), 5643302698517848774: ("兄弟属于我们的天空"), 7958942541152664224: ("《帝王乱清漪辞》是一部连载于17k小说网的网络小说，作者是萧清鸢。"), 597471962746771385: ("枢御龙");, Error: execute failed: out of sequence response
2020/12/19 17:29:08 [ERROR] handler.go:63: Client 0 fail to execute: INSERT EDGE `relation`(`name`) VALUES  9013601137066052424->-1764860694511626052:("总部地点") , -3310375658103804112->1985460052429875809:("描述") , -7067310264040391655->7252974775703408684:("城市") , 8872752802743947683->3980388757461222820:("标签") , -8526918592528877510->7995238595416485409:("员工数") , -4963054180468094170->1673121944102696857:("特点") , 2927141433154591096->-2362922767865693136:("描述") , -8345955770112738981->-4096862153664026190:("原理") , 1201675413372406068->-7728280233812262149:("类型") , 7788064872171220694->-9132599947426828653:("描述") ;, Error: execute failed: out of sequence response
2020/12/19 17:29:08 [ERROR] handler.go:63: Client 9 fail to execute: INSERT VERTEX `entity`(`name`) VALUES  -1752337372693864110: ("红尘飘"), -5041629901887251133: ("殿下太惹火"), -1340843774746661194: ("小说类型贵爵爱恋内容简介女主人公的爸爸由于买六合彩中了几百万的大奖,所以将女主人公朱瑟菲送进了一所私立的贵族高中“圣天泽”就读,天真可爱而且善良的朱瑟菲本是一个没有任何烦恼的小女孩,没想到在进入这所学校之后,她的人生开始了惊天动地的起伏…… ..."), 8279988568950678651: ("南霜"), -3133642240152670628: ("之所以逃学"), -89305556481053109: ("小说类型中篇短篇内容简介那是花的味道,不知名的花。"), -3381909159134926817: ("~四叶草~"), -7309455192007696204: ("霸道公主的假面"), 2401663375267621122: ("小说类型都市言情内容简介他,在别人眼中是一个同时拥有财富、地位和才华的酷、帅富家公子她,一个温柔而善解人意,却因自己的出生而气死了外祖父的单亲女在如今这个拜金至上,爱情已不再单纯的年代,看他、她们如何演绎出一段至真至美,而又感天动地的爱情故事!惟愿执子之手,却是否能与子偕老…… ..."), -6904998856250825160: ("蓺月");, Error: execute failed: out of sequence response
2020/12/19 17:29:09 [INFO] statsmgr.go:61: Tick: Time(4258.65s), Finished(59002680), Failed(130), Latency AVG(4875us), Batches Req AVG(6851us), Rows AVG(13854.79/s)
2020/12/19 17:29:10 [INFO] statsmgr.go:61: Tick: Time(4265.78s), Finished(59002690), Failed(140), Latency AVG(4875us), Batches Req AVG(6851us), Rows AVG(13831.64/s)
2020/12/19 17:29:10 [ERROR] handler.go:63: Client 3 fail to execute: INSERT EDGE `relation`(`name`) VALUES  -390143873333110939->3095933803954204685:("外文名") , 8607143765777335731->-4698223675620327215:("又名") , -9063481519231247750->-874090435848548794:("标签") , -8930496888335789898->1477564308600595872:("影片字幕") , 5795385949745681772->9061759628210610239:("国籍") , -2869727048312604465->-4746358700892978320:("地理位置") , -6537816198199951934->-8848188186126307262:("标签") , 2464567287681905228->8347714177519111439:("标签") , 4328087331317800710->-3821869873796283665:("标签") , 1724711334993626012->3254515169072235482:("标签") ;, Error: execute failed: out of sequence response
2020/12/19 17:29:11 [ERROR] handler.go:63: Client 6 fail to execute: INSERT EDGE `relation`(`name`) VALUES  -7315199589829502331->5188043133343758709:("网站名称") , 9078046725225506013->-8930177808007580216:("页数") , 2180522982051764108->2180522982051764108:("书名") , 2180522982051764108->2722256086988226037:("标签") , 1681866237306336853->-8848188186126307262:("标签") , -4952898943167379692->8768428215193116712:("标签") , -7788285595406662530->-2157797326291761492:("装帧") , -5504350934412669103->-7270664076321599049:("出版时间") , -5504350934412669103->2722256086988226037:("标签") , 6738374740247148425->3475608841575764307:("出版社") ;, Error: execute failed: out of sequence response
2020/12/19 17:29:24 [ERROR] handler.go:63: Client 4 fail to execute: INSERT EDGE `relation`(`name`) VALUES  -1424379161817594780->2109833012850111063:("标签") , -8443080556663272075->-2062224453361981929:("标签") , 6931959249847634747->6931959249847634747:("中文名称") , 4548777768130118687->750275936969873142:("所属地区") , -1612193610247173645->-874090435848548794:("标签") , 1559356169017148772->-9108538173654761882:("描述") , 1559356169017148772->-874090435848548794:("标签") , 7654073387020506081->4799770939067836397:("标签") , -8968689968976209090->-8968689968976209090:("书名") , 8658840295780768889->8658840295780768889:("公司名称") ;, Error: execute failed: out of sequence response

Dligence · 2020 年12 月 20 日 02:09

会不会是运行着服务压力太大崩掉了。我在studio上导入刚开始系统还不卡，到后面很卡的。

NicolaCage · 2020 年12 月 21 日 02:58

@yee

yee · 2020 年12 月 21 日 03:11

你是用 docker 部署的一副本还是三副本？磁盘是 ssd 还是 hdd？nebula-importer 对 1.0 版本的 nebula 请使用 v1 分支的代码。

从报错的信息看是 nebula 的服务端没了响应，你看下 docker ps 每个 nebula 的容器的状态是不是 healthy，如果不是 healthy 需要到 logs 的目录里看看对应的日志文件内容

Dligence · 2020 年12 月 21 日 03:50

我是用 docker 部署的一副本。磁盘是 hdd。nebula1.0，用的studio导入的，studio版本v1.2.2-beta,没单独用nebula-importer。我现在查状态都是healthy，是不是要得在导入一次，等崩溃后再查？

yee · 2020 年12 月 21 日 06:06

那导入之前有没有创建 index ，如果有可以先 drop 掉，导完在创建；
另外看下有没有把 compaction 关闭，导完再打开：

UPDATE CONFIGS storage:rocksdb_column_family_options = { disable_auto_compactions = true };

也可以看看 storage 的 INFO 日志，观察一下 storage 在做什么任务

Dligence · 2020 年12 月 22 日 03:39

没创建索引。compaction也已关闭。我又尝试了一次，正常运行一段时间后就会崩掉。笔记本感觉一直在全负荷运转，风扇一直转的挺响，笔记本也开始发烫，系统也卡的不行。导入一段时间后连无线网都断开连接了。docker ps有都显示healthy。

Dligence · 2020 年12 月 22 日 03:41

没创建索，compaction也已关闭。这难道是我笔记本配置不行？我是装的双系统，会不会也有影响。今天又尝试了一次，正常运行一段时间后就会崩掉。笔记本感觉一直在全负荷运转，风扇一直转的挺响，笔记本也开始发烫，系统也卡的不行。导入一段时间后连无线网都断开连接了。docker ps有都显示healthy。

min.wu · 2020 年12 月 22 日 03:42

你笔记本内存估计不够吧。
我印象中要16GB内存起才够（默认配置）。

Dligence · 2020 年12 月 22 日 03:42

我笔记本才8g

min.wu · 2020 年12 月 22 日 03:47

你可以试试把参数放小了再试试吧，所有默认参数是为服务器设计的。

不过跑起来估计性能也非常差吧。

强调下，机械盘是跑不动的，不用试了。

etc/nebula-storage.conf
–local_config=true
–enable_partitioned_index_filter=true
–rocksdb_block_cache=256

go-importer:
batchSize: 10 至 50
concurrency: 1 至 5
channelBufferSize：100
partition 10

Dligence · 2020 年12 月 22 日 03:54

我之前导入了一个400mb的csv文件。400多万个点，200多万条边，导入还挺顺利的，也不会卡。那我8g内存，用studio导入csv的峰值大概是多少

Dligence · 2020 年12 月 22 日 03:55

好的。我只是想用自己的笔记本试一试nebula，调研来着。目的就是想试一试nebula的性能，数据导入和操作怎么样。目前来看配置不够

min.wu · 2020 年12 月 22 日 03:56

你把参数改小了，然后功能可以跑。但是性能就指望了。
还是去阿里云上开个ECS来跑，可以评测性能。（它们可以开发票）

另外，具体性能，其实你看看其他公司的评测，大体也够了。