sparkWrite导入double数据失败

遇到一个问题,json文件中double数据用sparkwrite导入失败,报错为:syntax error near `E8’,看样子是不支持科学计数法导致的,可是我的double数据是不带科学技术法的,找了一条报错的数据为例,原始double数值为 106692354.63 , 用sparkwrite导入失败,在报错的log里面该值变为:1.0669235463E8,好奇是否在调导入工具的jar包时,较大的double是否会默认转化科学技术表示,而目前nebula又不支持科学计数法,所以导致出错?

是的,目前我们还不支持科学计数法,你可能需要自己处理下

Nebula 目前还不支持科学计数法

可是我已经处理成了所有的double数据都不带科学计数法了,为啥还是会导不进去呢,是否sparkwrite在读json数据的时候又默认转成了科学计数法表示呢?如果处理成不带科学计数法导入还是不行的话,那么比较大的double型数据应该怎么入库啊,求问

df.withColumn("value", format_number($"value", 5)).show()
+---+-------------+-------------------+
| id|         name|              value|
+---+-------------+-------------------+
|  1|darion.yaphet|9,999,999,999.99900|
+---+-------------+-------------------+

你可以用类似的方式处理一下 我下午看看怎么修一下 这个问题

1 个赞