关于benchmark，nebula基准测试的问题

Guanpx · 2021 年1 月 22 日 01:42

nebula 版本：2.1.2
部署方式：Docker
硬件信息
- 磁盘 SSD
- CPU、内存信息：16c 64G
出问题的 Space 的创建方式：执行nebula-bench的倒入数据脚本 ./nb --bench-config=ldbc/import/all.json
问题的具体描述
执行该脚本之后，脚本运行无任何输出，导入csv数据量也不是很大，使用LDBC SNB SF3数据，由于在调研期间，只能通过这个官方项目benchmark了，请问如何正确导入测试数据并运行benchmark？
非常感谢
附：GitHub - vesoft-inc/nebula-bench: Collection of benchmark services and tools for Nebula Graph

jievince · 2021 年1 月 22 日 06:44

你好，可以贴一下你的all.json文件吗？

Guanpx · 2021 年1 月 22 日 07:39

var base_dir = /home/wangyang/ldbc_snb_datagen/out/social_network
{
    "test-name": "import-ldbc-workload",
    "graph-daemons": [{ "host": "172.18.0.75", "port": 3699}],
    "user": "bigdata",
    "pass": "123456",
    "space": "ldbc_snb",
    "rate": 16000,
    "concurrent": 200,
    "mysql-dsn": "xxx:xxx@xxx.mysql.rds.aliyuncs.com:3306/xxx", // user:pass@ip:port/database
    "mysql-tablename": "test2",
    "workload": {
            "file": "${base_dir}/dynamic/person.csv",
            "type": "template",
            "repeatable": false,
            "batch-count": 10000,
            "csv-separator": "|",
            "csv-skip-header": 1,
            "stmt-template": "INSERT VERTEX person(first_name,last_name,gender,birthday,ip,browser) VALUES $LOOP$ $2$:(\"$3$\",\"$4$\",\"$5$\",\"$6$\",\"$7$\",\"$8$\")$END$"

    }
}

jievince · 2021 年1 月 22 日 07:46

你本地用console能连上host": "172.18.0.75", "port": 3699这个服务吗？

还有你nebula版本是2.1.2? 是写错了吗？我们没有这个版本号

Guanpx · 2021 年1 月 22 日 08:34

（帖子被作者删除，如无标记将在 24 小时后自动删除）

Guanpx · 2021 年1 月 22 日 08:35

用的docker版本是v2-nightly，可以访问到这个服务，这个nebula-web-docker 连接的这个host:port就可以连接
附:nebula-web-docker GitHub - vesoft-inc/nebula-web-docker: Docker of kinds of web tools of Neubla Graph

jievince · 2021 年1 月 22 日 08:50

你好，问了一下同事， nebula-bench项目是给nebula 1.x用的， nebula 2.x目前还用不了。不好意思。

Guanpx · 2021 年1 月 22 日 08:56

好的谢谢了
我猜就是这个原因0-0

Guanpx · 2021 年1 月 25 日 09:58

{
    "test-name": "import-ldbc-workload",
    "graph-daemons": [{ "host": "172.18.0.75", "port": 3699}],
    "user": "bigdata",
    "pass": "123456",
    "space": "ldbc_snb",
    "rate": 16000,
    "concurrent": 200,
    "mysql-dsn": "root:123456@localhost:3306/nb",
    "mysql-tablename": "test",
    "workload": {
            "file": "${base_dir}/dynamic/person.csv",
            "type": "template",
            "repeatable": false,
            "batch-count": 10000,
            "csv-separator": "|",
            "csv-skip-header": 1,
            "stmt-template": "INSERT VERTEX person(first_name,last_name,gender,birthday,ip,browser) VALUES $LOOP$ $2$:(\"$3$\",\"$4$\",\"$5$\",\"$6$\",\"$7$\",\"$8$\")$END$"

    }
}

切换为v1.0版本后，使用这个json报错： 2021/01/25 17:46:28 main.go:108: default addr for network ‘localhost:3306’ unknown
请问这是为什么呢

jievince · 2021 年1 月 25 日 10:40

你可以直接把"mysql-dsn"和"mysql-tablename"这两行删掉试试

Guanpx · 2021 年1 月 25 日 10:56

OK了谢谢，git上希望可以同步改一下～ GitHub - vesoft-inc/nebula-bench: Collection of benchmark services and tools for Nebula Graph

Guanpx · 2021 年1 月 26 日 02:36

你好还有个问题就是执行benchmark报错了，希望可以解答一下

var base = /home/wangyang/ldbc_snb_datagen/out/social_network
{
    "test-name": "1-hop-knows-degree",
    "graph-daemons": [{ "host": "172.18.0.75", "port": 3699}],
    "user": "bigata",
    "pass": "123456",
    "space": "ldbc_snb",
    "rate": 160000,
    "concurrent": 200,
    "workload": {
        "type": "template",
        "file": "${base}/dynamic/person.csv",
        "repeatable": true,
        "csv-separator": "|",
        "csv-skip-header": 1,
        "stmt-template": "GO 1 STEP FROM $2$ OVER knows"
    }
}

执行该json进行benchmark ./nb --bench-config=ldbc/query/1-hop-knows-degree.json
如下报错

2021/01/26 10:25:26 driver.go:142: Statement: GO 1 STEP FROM Yang OVER knows, ErrorCode: E_SYNTAX_ERROR, ErrorMsg: SyntaxError: syntax error near `OVER'
2021/01/26 10:25:26 stats.go:155: [server-side] {id:0 ts:{wall:0 ext:0 loc:<nil>} samples:0 qps:0 avg:0 p999:0 p99:0 p95:0 err:0}
2021/01/26 10:25:26 stats.go:155: [client-side] {id:0 ts:{wall:0 ext:0 loc:<nil>} samples:0 qps:0 avg:0 p999:0 p99:0 p95:0 err:0}
panic: runtime error: index out of range [10000001] with length 10000001

goroutine 254 [running]:
github.com/vesoft-inc/nebula-bench/util.(*Stats).WriteHistToCSV(0xc0000c6100, 0x77f70c, 0x1c, 0x0, 0x0)
	/root/nebula-bench/util/stats.go:237 +0x775
github.com/vesoft-inc/nebula-bench/driver.(*Driver).Start.func1(0xc000146420)
	/root/nebula-bench/driver/driver.go:173 +0x157
created by github.com/vesoft-inc/nebula-bench/driver.(*Driver).Start
	/root/nebula-bench/driver/driver.go:164 +0x215

jievince · 2021 年1 月 26 日 03:35

GO 1 STEP FROM Yang ， Yang是什么？顶点的vid吗？ nebula 1.0 只支持int64类型的vid。

Guanpx · 2021 年1 月 26 日 03:56

好的谢谢这个项目readme写的不太清晰 ==

Guanpx · 2021 年1 月 27 日 02:59

执行这个导入数据的命令 ./nb --bench-config=ldbc/import/all.json

2021/01/27 10:47:31 workload.go:340: Ignore too few fields record: [3298534985317 790]

导入数据的时候出新这个信息，忽略了该条数据写入，就是没写入这一条，对吗

jievince · 2021 年1 月 27 日 03:02

是的，应该没写入，你可以用fetch prop on语句验证下。这条数据是不是和你的schema的属性不匹配？

system · 2024 年3 月 25 日 06:03

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。