Star

关于benchmark,nebula基准测试的问题

  • nebula 版本:2.1.2
  • 部署方式:Docker
  • 硬件信息
    • 磁盘 SSD
    • CPU、内存信息:16c 64G
  • 出问题的 Space 的创建方式:执行nebula-bench的倒入数据脚本 ./nb --bench-config=ldbc/import/all.json
  • 问题的具体描述
    执行该脚本之后,脚本运行无任何输出,导入csv数据量也不是很大,使用LDBC SNB SF3数据,由于在调研期间,只能通过这个官方项目benchmark了,请问如何正确导入测试数据并运行benchmark?
    非常感谢:pray:
    附:GitHub - vesoft-inc/nebula-bench: Collection of benchmark services and tools for Nebula Graph

你好, 可以贴一下你的all.json文件吗?

var base_dir = /home/wangyang/ldbc_snb_datagen/out/social_network
{
    "test-name": "import-ldbc-workload",
    "graph-daemons": [{ "host": "172.18.0.75", "port": 3699}],
    "user": "bigdata",
    "pass": "123456",
    "space": "ldbc_snb",
    "rate": 16000,
    "concurrent": 200,
    "mysql-dsn": "xxx:xxx@xxx.mysql.rds.aliyuncs.com:3306/xxx", // user:pass@ip:port/database
    "mysql-tablename": "test2",
    "workload": {
            "file": "${base_dir}/dynamic/person.csv",
            "type": "template",
            "repeatable": false,
            "batch-count": 10000,
            "csv-separator": "|",
            "csv-skip-header": 1,
            "stmt-template": "INSERT VERTEX person(first_name,last_name,gender,birthday,ip,browser) VALUES $LOOP$ $2$:(\"$3$\",\"$4$\",\"$5$\",\"$6$\",\"$7$\",\"$8$\")$END$"

    }
}

你本地用console能连上host": "172.18.0.75", "port": 3699这个服务吗?

还有你nebula版本是2.1.2? 是写错了吗? 我们没有这个版本号

(帖子被作者删除,如无标记将在 24 小时后自动删除)

用的docker版本是v2-nightly,可以访问到这个服务,这个nebula-web-docker 连接的这个host:port就可以连接
附:nebula-web-docker GitHub - vesoft-inc/nebula-web-docker: Docker of kinds of web tools of Neubla Graph

你好, 问了一下同事, nebula-bench项目是给nebula 1.x用的, nebula 2.x目前还用不了。不好意思。

好的 谢谢了
我猜就是这个原因0-0

{
    "test-name": "import-ldbc-workload",
    "graph-daemons": [{ "host": "172.18.0.75", "port": 3699}],
    "user": "bigdata",
    "pass": "123456",
    "space": "ldbc_snb",
    "rate": 16000,
    "concurrent": 200,
    "mysql-dsn": "root:123456@localhost:3306/nb",
    "mysql-tablename": "test",
    "workload": {
            "file": "${base_dir}/dynamic/person.csv",
            "type": "template",
            "repeatable": false,
            "batch-count": 10000,
            "csv-separator": "|",
            "csv-skip-header": 1,
            "stmt-template": "INSERT VERTEX person(first_name,last_name,gender,birthday,ip,browser) VALUES $LOOP$ $2$:(\"$3$\",\"$4$\",\"$5$\",\"$6$\",\"$7$\",\"$8$\")$END$"

    }
}

切换为v1.0版本后,使用这个json报错: 2021/01/25 17:46:28 main.go:108: default addr for network ‘localhost:3306’ unknown
请问这是为什么呢

你可以直接把"mysql-dsn"和"mysql-tablename"这两行删掉试试

OK了 谢谢,git上希望可以同步改一下~ GitHub - vesoft-inc/nebula-bench: Collection of benchmark services and tools for Nebula Graph

1赞

你好 还有个问题就是执行benchmark报错了,希望可以解答一下

var base = /home/wangyang/ldbc_snb_datagen/out/social_network
{
    "test-name": "1-hop-knows-degree",
    "graph-daemons": [{ "host": "172.18.0.75", "port": 3699}],
    "user": "bigata",
    "pass": "123456",
    "space": "ldbc_snb",
    "rate": 160000,
    "concurrent": 200,
    "workload": {
        "type": "template",
        "file": "${base}/dynamic/person.csv",
        "repeatable": true,
        "csv-separator": "|",
        "csv-skip-header": 1,
        "stmt-template": "GO 1 STEP FROM $2$ OVER knows"
    }
}

执行该json进行benchmark ./nb --bench-config=ldbc/query/1-hop-knows-degree.json
如下报错

2021/01/26 10:25:26 driver.go:142: Statement: GO 1 STEP FROM Yang OVER knows, ErrorCode: E_SYNTAX_ERROR, ErrorMsg: SyntaxError: syntax error near `OVER'
2021/01/26 10:25:26 stats.go:155: [server-side] {id:0 ts:{wall:0 ext:0 loc:<nil>} samples:0 qps:0 avg:0 p999:0 p99:0 p95:0 err:0}
2021/01/26 10:25:26 stats.go:155: [client-side] {id:0 ts:{wall:0 ext:0 loc:<nil>} samples:0 qps:0 avg:0 p999:0 p99:0 p95:0 err:0}
panic: runtime error: index out of range [10000001] with length 10000001

goroutine 254 [running]:
github.com/vesoft-inc/nebula-bench/util.(*Stats).WriteHistToCSV(0xc0000c6100, 0x77f70c, 0x1c, 0x0, 0x0)
	/root/nebula-bench/util/stats.go:237 +0x775
github.com/vesoft-inc/nebula-bench/driver.(*Driver).Start.func1(0xc000146420)
	/root/nebula-bench/driver/driver.go:173 +0x157
created by github.com/vesoft-inc/nebula-bench/driver.(*Driver).Start
	/root/nebula-bench/driver/driver.go:164 +0x215
1赞

GO 1 STEP FROM Yang , Yang是什么? 顶点的vid吗? nebula 1.0 只支持int64类型的vid。

好的 谢谢 这个项目readme写的不太清晰 ==

执行这个导入数据的命令 ./nb --bench-config=ldbc/import/all.json

2021/01/27 10:47:31 workload.go:340: Ignore too few fields record: [3298534985317 790]

导入数据的时候出新这个信息,忽略了该条数据写入,就是没写入这一条,对吗

是的, 应该没写入, 你可以用fetch prop on语句验证下。 这条数据是不是和你的schema的属性不匹配?

浙ICP备20010487号