Star

spark writer 日志问题

在用spark writer导入数据的时候,发现日志里面存在很多插入语句。当写入数据量很多的时候,日志中会大量存在这些插入语句,以至于排查问题会变得很困难。

你是说 Graph 日志里面有很多语句是吧

如果是Graph的日志,建议参考Graph 配置调整日志等级为4来减少日志打印

是spark writer 程序会把所有的执行语句全部打印出来,导致spark程序日志很大。

我记得这个日志级别是可以调整的

浙ICP备20010487号