spark writer 日志问题

问答 问题
1

在用spark writer导入数据的时候，发现日志里面存在很多插入语句。当写入数据量很多的时候，日志中会大量存在这些插入语句，以至于排查问题会变得很困难。

2

你是说 Graph 日志里面有很多语句是吧

3

如果是Graph的日志，建议参考Graph 配置调整日志等级为4来减少日志打印

4

是spark writer 程序会把所有的执行语句全部打印出来，导致spark程序日志很大。

5

我记得这个日志级别是可以调整的

6

spark writer是可以调节日志级别的，修改log4j.properties这个文件

https://github.com/vesoft-inc/nebula/blob/master/src/tools/spark-sstfile-generator/src/main/resources/log4j.properties

1 个赞